大数据专栏1

大数据运维专栏

51CTO用户名 ： yangyangsq123 姓名： 张洋洋

博客地址：https://blog.51cto.com/flyfish225

是否有粉丝资源
（请说明平台） ： 51cto 博客有粉丝资源

总计章节： 　30 章 截稿时间： 　2020 年 9月1 日

视频课程地址： 无（占时未录）： 出版物地址 无

专题名称 大数据运维实操： 内容占比： 理论/实战=理论20% 实战 80%

作者介绍 本名：张洋洋 网名：flyfish 高级运维工程师 8年一线系统运维经验，曾任职平安保险，基金期货公司，大型物流公司 系统运维工程师，大数据运维工程师，运维经理 等职位。
擅长：企业系统部署管理，应用平台运维，云计算，容器化，大数据 运维等方面的工作

适应人群 1. 系统运维工程
2. 大数据运维工程
3. 大数据开发工程师

专栏介绍 过去10年我们正在从IT时代往DT(大数据) 时代，大数据亦成为各个公司必不可谈的话题。企业正在用大数据技术做图表展示，分析，决策，监察，等方面的工作，慢慢大数据形成了以Hadoop 为代表的大数据技术生态栈
So , 如何快速掌握一套大数据技术，成为了从事IT 工作者的必备技能，为此个人（flyfish）根据自我的实践运维工作经验以及总结书写了30篇的博客文章，希望带领广大从事IT系统运维 工作者 走进大数据运维殿堂。

--

学习收获 实站方向：如何为 快速入门大数据方向，为企业快速部署出一套以Hadoop 为中心的可用，安全的大数据平台。

专栏大纲
序号 章节名称
（命名上，可参考知识点+解决的问题） 更新时间
（年/月/日）
1 序：关于个人对企业运维与大数据运维的一些感悟 2020年 7月20日
2 企业常用大数据组件概述
大数据生态圈介绍 与 Hadoop的常用发行版本 2020年7月22日
3 1.大数据环境Apache分支部署（入门篇）：
4 1.1 部署一个Hadoop 伪分布 与 分布式集群（以 新版Hadoop 3.2.0版本为例） 2020 年7月23日
5 1.2 部署Hadoop 的HDFS 的联盟 federation ( hdfs双 active) 2020年7月24日
6 1.3 部署 完全分布式高可用 Hadoop hdfs HA + yarn HA　 2020 年7月26日
7 2. 企业级别的大数据环境部署运用（部署运维篇）
8 2.1 CDH的部署 与 HDFS HA + YARN HA启用与其它常用组件集成安装 2020年7月28日
9 2.2 CDH 如何禁用 HDFS HA 与 YARN HA 2020年7月29日
10 2.3 CDH 如果出现NN 节点HA 故障 该如何修复 2020年7月31日
11 2.4 CDH如何平稳增加数据计算节点 2020年8月1日
12 2.5 CDH如何平稳下线有故障节点 (强制下线与平稳下线) 2020年8月2日
13 2.6 CDH 如何使用HDFS 快照与恢复 2020年8月4日
14 3. 关于企业大数据平台CDH 的 认证与授权 监控篇
15 3.1 CDH如何开启kerberos 部署安全认证 与开启kerberos 填坑介绍 2020年8月6日
16 　3.2 CDH 在启用kerberos 认证 配置sentry 授权 2020年8月7日
17 3.3 CDH 如何 关闭 Kerberos 与 卸载 sentry 授权 2020年8月9日
18 3.4．关于如何实现CDH 元数据的MySQL的高可用于复制集群解决元数据 平滑无故障 在线迁移元数据 　 2020年8月11日
19 3.5.CDH 使用配置使用SNMP 邮箱告警 2020年8月12日
20 3.6．关于CDH 如何与图形化工具grafana 集成做出漂亮监控绘图 2020年8月13日
21 4. 关于CDH 自定义扩展集成篇：
22 4.1 CDH 中 如何集成官方spark2 parcels 能使 spark1 与 spark2 的共存 2020年8月15日
23 4.2 CDH 如何集成 官方自定义CAS parcles 版本的flink 2020年8月16日
24 4.3 CDH 如何在启用kerberos 的情况 HBASE集成使用phoenix　 2020年8月18日
25 4.4 CDH 如何集成是用kylin 以及常用配置使用 2020年8月19日
26 4.5 如何自定义编译 CDH的 扩展parcels 与CSD 的 jar 包：编译最新版本flink 1.10.1 集成CDH 6.3.2 2020年8月20日
27 4.5 如何自定义编译zeppelin 的parcels 与CDH 集成 2020年8月21日
28 5. CDH 如何升级
29 5.1 CDH 版本的升级介绍 2020年8月22日
30 5.2 CDH 如何 迁移 管理 节点 CM(Cloudera Manager) 2020年8月24日
31 5.3 CDH 跨 小版本的升级：CDH 5.12.0 升级到 5.16.2 2020年8月26日
32 5.4 CDH 跨大版本的升级： CDH 5.16.2 升级到CDH6.3.2 2020年8月29日
33 6. 后记： 关于CDH 的控制组件体系
34 6.1 CDH 组件 各版本 安装目录与主机资源与端口分配 2020年8月30日
35 6.2 企业大数据平台选与常用配置硬件选型 2020年8月30日
36 6.3 关于另一个大数据平台HDP 2.7.4 介绍与构建 2020年8月31日
37
38