[关闭]
@zhangyy 2021-01-12T18:43:05.000000Z 字数 916 阅读 137

Dbus数据总线(二):DBus产线集群部署

DBus系列



一: 前置条件

1.1 配置好大数据集群HDP

  1. 构建好 大数据的hdp集群
  2. cat /etc/hosts
  3. ----
  4. 192.168.3.61 hdp01.uniondrug.cn
  5. 192.168.3.62 hdp02.uniondrug.cn
  6. 192.168.3.63 hdp03.uniondrug.cn
  7. 192.168.3.64 hdp04.uniondrug.cn
  8. ----
  9. hdp3.1.4 安装参考:
  10. https://blog.51cto.com/flyfish225/2562179

image_1erqvc81seoo36l1ke71lrmm6n9.png-358.7kB


1.2 环境准备

  1. Dbus 依赖组件:

image_1err10f2eh9j1lp7bubhja148v9.png-135.5kB

  1. 软件选择
  2. Ambari托管】:DBus依赖的很多组件HDP3.1已经包含了,如果使用HDP包含的软件就叫做Ambari托管(使用Ambari部署和管理),只不过需要注意版本问题。
  3. 【跟Ambari共用】:有些软件可以跟Ambari公用,比如AmbariDBus都需要用MySQLGrafana,但是这俩又不属于HDP软件栈,只不过需要注意版本问题。
  4. 【独立部署】:还有部分依赖软件需要独立部署。
  5. 部分软件直接使用HDP自带的组件,布署如下:

image_1err14gvivjt51f1a7vn8u1aufm.png-125.9kB

1.3 配置hdp集群的kafka的监控kafka-manager

  1. hdp01.uniondrug.cn 主机:
  2. mkdir -p /app
  3. unzip kafka-manager-2.0.0.2.zip
  4. mv kafka-manager-2.0.0.2 /app/kafka-manager
  5. cd /app/kafka-manager/

image_1err2e3ph1ki78uo1c5arn8i2a1t.png-98.6kB


  1. 配置kafka-manager 的环境变量
  2. vim /etc/profile
  3. ---
  4. ###kafka-manager####
  5. export KAFKA_MANAGER_ HOME=/app/kafka-manager
  6. export PATH=$KAFKA_ MANAGER_HOME/bin:$PATH
  7. ---

image_1err1ko1013qi2un1ugfl1du21g.png-59.3kB

  1. 修改kafka-manager 的配置文件:
  2. cd /app/kafka-manger/conf
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注