大数据运维专栏

大数据运维专栏

• 一：目录提示

大数据运维实操 ：
   契子：写在前面话关于运维人员的出路
一： 企业常用大数据组件概述
    1.1 大数据生态圈介绍
    1.2 Hadoop 的常用发行版本
 二：  企业大数据环境部署：
    1. 关于Apache Hadoop版本的部署实践
        1.3 部署一个hadoop 伪分布与分布式集群
        1.4 部署一个 hdfs fedration 联盟（双active）
        1.5 部署一个 高可用集群 hdfs HA + YARN HA
    2. 企业大数据平台构建：
       2.1 cloudera(CM) 管理工具介绍：
            2.1.1 CDH5.16.2 部署 （离线部署）
            2.1.2 CDH6.2.1 部署 （离线部署）
       2.2  开源ambari 大数据图形化的介绍：
            2.2.1 HDP2.6.5 部署 （离线部署）
            2.2.2 HDP2.7.4 部署 （离线部署）
三： 大数据平台环境的裁剪
    1. Hadoop 的集群的裁剪
       Hadoop 集群如何增加节点
       hadoop 集群如何下降节点
    2. 关于CDH6.2.1 裁剪
        2.2.1 CDH6.2.1 如何增加节点
        2.2.2 CDH6.2.1 如何下降节点
    3. 关于HDP2.7.3 裁剪   
        3.1.1 HDP2.7.3 如何增加节点
        3.1.2 HDP2.7.3 如何下降节点
 --------
 四： 大数据平台的升级
     如何从CDH5.16.2 升级到CDH6.3.2 （跨版本的滚动升级）
     如何从CDH6.2.1 升级到CDH6.3.2 （跨小版本的升级） 
     如何从HDP2.6.5 升级到CDH6.3.2  （跨组件之间的升级）
 五： 关于大数据平台的高科用：
   CDH6.2.1 上 启用HDFS HA 与 yarn HA  
   HDP2.6.5 启用 HDFS HA 与 yarn HA 
六： 关于CDH大数据平台与扩展包的集成：
    6.1  官方提供包集成
          CDH 扩展包的与cas版本flink 的 集成 
          CDH6.3.2 集成kylin与构建cube 测试
          CDH6.3.2 集成phoinex 与 hbase  结合 与 数据导入测试
    关于CDH6.3.2的定制parcels 与 csd 平台 jar 包定制
    关于 flink 包的编译与CDH6.3.2 集成
    关于 ES  包的 编译与CDH6.3.2 集成
    关于 zeeplin 包的编译 与 CDH6.3.2 的集成
七. 关于大数据平台监控
    使用ganalia 对 apache 版本的 Hadoop 进行 监控处理 
    CDH6.3.2 与 grafana 集成与使用 
    HDP2.6.5  grafana 的安装与使用
 八：关于大数据平台的权限管理：
     8.1 认证管理：
     大数据认证平台Kerberos 介绍
     CDH5.16.2 开启Kerberos认证 
     CDH6.3.2  开启Kerberos认证
     关于CDH 开启Kerberos 的一些填坑记录  
     HDP 2.6.5 开启Kerberos认证
     8.2 授权管理：
      关于 sentry的 一些介绍：
     CDH5.16.2 开启kerberos 与 sentry  授权 的启用
     CDH5.3.2 开启kerberos 与 sentry  授权 的启用
      ranger 的介绍：
      HDP2.6.5 开启Kerberos 与 ranger 授权的启用
     ----
 ----