CDP DC 的介绍与安装部署

大数据平台构建

• 一： CDP DC 的介绍
• 二： CDP DC 集成使用版本的一下介绍
• 三： CDP DC 的安装部署

一： CDP DC 的介绍

1.1：CDP DC 的版本介绍

CDP DC7.1是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise并且可用于生产环境的版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等，如下图所示：

二：CDP DC 的集成大数据 的组件版本

Cloudera Runtime的主要组件版本如下图所示：

三：CDP DC 的安装

3.1 环境包准备：

jdk:
openjdk8-8.0+232_9-cloudera.x86_64.rpm
CM 部署工具：
cloudera-manager-agent-7.1.1-3274282.el7.x86_64.rpm 
cloudera-manager-server-db-2-7.1.1-3274282.el7.x86_64.rpm
cloudera-manager-daemons-7.1.1-3274282.el7.x86_64.rpm
enterprise-debuginfo-7.1.1-3274282.el7.x86_64.rpm
cloudera-manager-server-7.1.1-3274282.el7.x86_64.rpm
下载地址：
  https://archive.cloudera.com/cm7/7.1.1/redhat7/yum/RPMS/x86_64/    
CDH部署包：
CDH-7.1.1-1.cdh7.1.1.p0.3266817-el7.parcel
CDH-7.1.1-1.cdh7.1.1.p0.3266817-el7.parcel.sha256
allkeys.asc
manifest.json
下载地址：
      http://archive.cloudera.com/cdh7/7.1.1.0/parcels/
jdbc 驱动：
http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.46/mysql-connector-java-5.1.46.jar
http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

3.2 系统环境初始化

 1、系统主机名：
 OS: CentOS7.5x64
 2、主机名：
 cat /etc/hosts 
192.168.11.160  dev01.lanxintec.cn
192.168.11.161  dev02.lanxintec.cn
192.168.11.162  dev03.lanxintec.cn

3.3 无密钥登录配置

做root用户无密钥认证
 ssh-keygen ---一直敲回车到最后
 cat id_rsa.pub >> authorized_keys 
 将所有的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面
 然后测试

3.4 firewalld，iptables 与 selinux

所有节点都要配置：
yum install -y firewall* iptable* 
  (1) 关闭firewalld
 systemctl stop firewalld.service
 systemctl disable firewalld.service
 firewall-cmd --state
 (2) 关闭iptables 
 iptables -F
 systemctl stop iptables.service 
 service iptables save
 systemctl disable iptables.service 
 (3) 禁用 selinux 
  sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config  
  setenforce 0
  getenforce 0
  sestatus
  重启机器
  reboot

3.5 所有机器更改centos7.6的文件句柄数

vim /etc/security/limits.conf
---
*               soft    nofile          65535
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited
---

3.6 时间同步：

所有机器 yum install chrony*
1. dev01.lanxintec.cn:
vim /etc/chrony.conf 增加
----
注释掉相关默认的server
server ntp1.aliyun.com iburst
allow 192.168.11.0/24
service chronyd start
chkconfig chronyd on 
2. dev02.lanxintec.cn----dev03.lanxintec.cn 同步dev01.lanxintec.cn
vim /etc/chrony.conf
----
注释掉默认的server
server 192.168.11.160 iburst
----
service chronyd stop 
service chronyd start 
chkconfig chronyd on 

3.7:安装jdk

所用大数据节点都要配置：jdk 
rpm -ivh openjdk8-8.0+232_9-cloudera.x86_64.rpm
vim /etc/profile
---
export JAVA_HOME=/usr/java/jdk1.8.0_232-cloudera
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
---
source /etc/profile 
java -version

3.8 安装mariadb-server

dev01.lanxintec.cn
yum install -y mariadb-server 
service mariadb start
chkconfig mariadb on 
mysql_secure_installation
mysql -uroot -pflyfish225

3.9配置 httpd 分发服务器

dev01.lanxintec.cn:
yum install -y httpd 

vim /etc/httpd/conf/httpd.conf
----
修改/etc/httpd/conf/httpd.conf配置文件，在<IfModule mime_module>中修改以下内容
AddType application/x-gzip .gz .tgz .parcel
----
service httpd start 
chkconfig httpd on

做CM7.1.1 的 分发源
yum install -y createrepo
cd /root/cdh7/
createrepo .
cp -ap cdh7 /var/www/html/

vim /etc/yum.repos.d/cloduera-manger.repo
------
[cmrepo]
name = cm_repo
baseurl =http://192.168.11.160/cdh7
enable = 1
gpgcheck = 0
-----
yum makecache fast

所有主机执行命令同步：
rsync -avrzP root@192.168.11.160:/etc/yum.repos.d/cloudera-manager.repo /etc/yum.repos.d/
yum makecache fast

3.10 配置mysql-jdbc

cd /usr/share/java/
cp -p mysql-connector-java-8.0.15.jar  mysql-connector-java.jar

四： 安装CDH7.1.1所需环境

4.1:安装所需依赖包

所有大数据节点都要安装：
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql* portmap mod_ssl openssl-devel python-psycopg2 MySQL-python

4.2 安装cloudera-server

yum install -y cloudera-manager-server 

4.3 在 mysql 当中创建 CM 需要的注册库

# mysql -uroot -pflyfish225
mysql> create database cmf character set utf8;
mysql> grant all privileges on cmf.* to 'cmf'@'%' identified by 'cmf_1234' with grant option;
mysql> grant all privileges on cmf.* to 'cmf'@'dev01.lanxintec.cn' identified by 'cmf_1234' with grant option;
mysql> flush privileges;

4.4 注入CM-server库 与 CM-agent端的server

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmf cmf cmf_1234

五： 配置CDH7.1.1的cloudera-manager安装

5.1 安装启动CM

service cloudera-scm-server start 
cd /var/log/cloudera-scm-server/
tail -f cloudera-scm-server.log

六： 打开web 安装：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

注意：Cloudera Management Service中的Activity Monitor现在已经基本上不用，可以不安装该服务。Telemetry Publisher是遥感服务，用于Workload XM通信，如果没有计划使用Workload XM，则不需要安装该服务。ZooKeeper至少安装3节点，需要为奇数节点数。

create database cdh_hive default character set latin1;
grant all privileges on cdh_hive.* to 'hive'@'%' identified by 'Hive_123' with grant option;
create database cdh_oozie default character set utf8;
grant all privileges on cdh_oozie.* to 'oozie'@'%' identified by 'Oozie_123' with grant option;
create database cdh_hue default character set utf8;
grant all privileges on cdh_hue.* to 'hue'@'%' identified by 'Hue_123' with grant option;
create database cdh_rm default character set utf8;
grant all privileges on cdh_rm.* to 'rm'@'%' identified by 'Rm_123' with grant option;
flush privileges;