[关闭]
@cyysu 2018-03-28T12:39:44.000000Z 字数 4417 阅读 1440

Hadoop生态系统一键安装脚本

  • 时间：2017年9月14日
  • 作者：MJ_DZ chen yuan
  • 邮箱：chenyuan@ypmingjiang.cn
  • 版本：4.0
  • 描述：采用模块化安装Hadoop组件，可以随时增加模块。

大数据

集群目录概览

  1. mj@DZ:~/桌面/hadoop-install-atuo$ tree .
  2. .
  3. ├── Flume
  4. │   ├── core
  5. │   │   ├── config.sh
  6. │   │   ├── remote.sh
  7. │   │   ├── slaveHost
  8. │   │   └── xml.awk
  9. │   ├── Flume NG集群图.png
  10. │   ├── README
  11. │   ├── src
  12. │   │   └── Flume.tar.gz
  13. │   ├── templetes
  14. │   │   ├── flume-client.properties
  15. │   │   ├── flume-server.properties
  16. │   │   └── path
  17. │   ├── tools
  18. │   │   ├── install.expect
  19. │   │   ├── master.expect
  20. │   │   └── scp.expect
  21. │   └── 参数解析
  22. ├── hadoop
  23. │   ├── core
  24. │   │   ├── config.sh
  25. │   │   ├── remote.sh
  26. │   │   ├── slaveHost
  27. │   │   └── xml.awk
  28. │   ├── README
  29. │   ├── src
  30. │   │   ├── hadoop.tar.gz
  31. │   │   └── jdk.rpm
  32. │   ├── templetes
  33. │   │   ├── core-site.xml
  34. │   │   ├── hdfs-site.xml
  35. │   │   ├── mapred-site.xml
  36. │   │   ├── path
  37. │   │   ├── slaves
  38. │   │   └── yarn-site.xml
  39. │   └── tools
  40. │       ├── install.expect
  41. │       ├── master.expect
  42. │       └── scp.expect
  43. ├── Hbase
  44. │   ├── core
  45. │   │   ├── config.sh
  46. │   │   ├── remote.sh
  47. │   │   ├── slaveHost
  48. │   │   └── xml.awk
  49. │   ├── Hadoop和Hbase对应的版本图.png
  50. │   ├── README
  51. │   ├── src
  52. │   │   ├── aws-java-sdk-1.7.4.1.jar
  53. │   │   └── Hbase.tar.gz
  54. │   ├── templetes
  55. │   │   ├── hbase-env.sh
  56. │   │   ├── hbase-site.xml
  57. │   │   ├── path
  58. │   │   └── regionservers
  59. │   └── tools
  60. │       ├── install.expect
  61. │       ├── master.expect
  62. │       └── scp.expect
  63. ├── Hive
  64. │   ├── core
  65. │   │   ├── config.sh
  66. │   │   ├── remote.sh
  67. │   │   ├── slaveHost
  68. │   │   └── xml.awk
  69. │   ├── README
  70. │   ├── src
  71. │   │   └── Hive.tar.gz
  72. │   ├── templetes
  73. │   │   ├── hive-env.sh
  74. │   │   ├── hive-log4j.properties
  75. │   │   ├── hive-site.xml
  76. │   │   └── path
  77. │   └── tools
  78. │       ├── install.expect
  79. │       ├── master.expect
  80. │       └── scp.expect
  81. ├── hostConfig.xml
  82. ├── init
  83. │   ├── ALLSSH.expect
  84. │   ├── config.sh
  85. │   ├── README
  86. │   ├── remoteScriptIP.sh
  87. │   ├── SCP.expect
  88. │   └── ssh_nopassword.expect
  89. ├── install.sh
  90. ├── Kafka
  91. │   ├── core
  92. │   │   ├── config.sh
  93. │   │   ├── remote.sh
  94. │   │   ├── slaveHost
  95. │   │   └── xml.awk
  96. │   ├── README
  97. │   ├── src
  98. │   │   └── Kafka.tar.gz
  99. │   ├── templetes
  100. │   │   ├── consumer.properties
  101. │   │   ├── path
  102. │   │   ├── producer.properties
  103. │   │   ├── server.properties
  104. │   │   └── slaves
  105. │   └── tools
  106. │       ├── install.expect
  107. │       ├── master.expect
  108. │       └── scp.expect
  109. ├── Readme
  110. ├── reboot
  111. │   ├── core
  112. │   │   └── config.sh
  113. │   ├── README
  114. │   ├── src
  115. │   ├── templetes
  116. │   └── tools
  117. │       └── reboot.expect
  118. ├── ref
  119. │   ├── BI框架.png
  120. │   ├── BI离线计算.png
  121. │   ├── BI平台实时计算.png
  122. │   └── BI平台组成.png
  123. ├── script
  124. │   ├── cluster.sh
  125. │   ├── cmd.sh
  126. │   ├── secure_cluster.sh
  127. │   └── syn.sh
  128. ├── Spark
  129. │   ├── core
  130. │   │   ├── config.sh
  131. │   │   ├── remote.sh
  132. │   │   ├── slaveHost
  133. │   │   └── xml.awk
  134. │   ├── README
  135. │   ├── src
  136. │   │   ├── scala.tar.gz
  137. │   │   └── Spark.tar.gz
  138. │   ├── templetes
  139. │   │   ├── path
  140. │   │   └── slaves
  141. │   └── tools
  142. │       ├── install.expect
  143. │       ├── master.expect
  144. │       └── scp.expect
  145. ├── uninstall.sh
  146. └── zookeeper
  147.     ├── core
  148.     │   ├── config.sh
  149.     │   ├── remote.sh
  150.     │   ├── slaveHost
  151.     │   └── xml.awk
  152.     ├── README
  153.     ├── src
  154.     │   └── zookeeper.tar.gz
  155.     ├── templetes
  156.     │   ├── path
  157.     │   └── zoo.cfg
  158.     └── tools
  159.         ├── install.expect
  160.         ├── master.expect
  161.         └── scp.expect

启动脚本

  1. #!/bin/bash
  3. # 获取程序名字
  4. readonly PROGNAME=$(basename $0)
  5. # 获取程序所在目录
  6. readonly PROGDIR=$(readlink -m $(dirname $0))
  7. # 获取脚本的所有参数
  8. readonly ARGS="$@"
  9. # 获取当前系统运行时间
  10. DATE=`date +"%Y-%m-%d"`
  12. # 查看登录账户是否为root
  13. if [ `id -u` -ne 0 ]; then
  14.    echo "[ERROR]:Must run as root";  exit 1
  15. fi
  17. # print author infomation
  18. echo -e "\033[44;37;5m #=======================================================\033[0m"
  19. echo -e "\033[44;37;5m # Author           : MJ_DZ chenyuan                     \033[0m"
  20. echo -e "\033[44;37;5m #                                                       \033[0m"
  21. echo -e "\033[44;37;5m # Email            : cyysu.github.io@gmail.com          \033[0m"
  22. echo -e "\033[44;37;5m #                                                       \033[0m"
  23. echo -e "\033[44;37;5m # Last modified    : $DATE                         \033[0m"
  24. echo -e "\033[44;37;5m #                                                       \033[0m"
  25. echo -e "\033[44;37;5m # Filename         : install.sh                         \033[0m"
  26. echo -e "\033[44;37;5m #                                                       \033[0m"
  27. echo -e "\033[44;37;5m # Description      : Hadoop component automatic install \033[0m"
  28. echo -e "\033[44;37;5m #=======================================================\033[0m"
  30. # solve system dependece update system and update time
  31. bash $PROGDIR/init/config.sh $PROGDIR
  33. # Install hadoop file and copy master hadoop file to other hosts 
  34. bash $PROGDIR/hadoop/core/config.sh $PROGDIR
  36. # Install zookeeper file on datenode 
  37. bash $PROGDIR/zookeeper/core/config.sh $PROGDIR
  39. # Install Hbase file on all host
  40. bash $PROGDIR/Hbase/core/config.sh $PROGDIR
  42. # Install Hive file on all hosts,but this feature is partially incomplete
  43. bash $PROGDIR/Hive/core/config.sh $PROGDIR
  45. # Install Spark file on all host
  46. bash $PROGDIR/Spark/core/config.sh $PROGDIR
  48. # Install Kafka file on all host
  49. bash $PROGDIR/Kafka/core/config.sh $PROGDIR
  51. # Install Flume file on all host
  52. bash $PROGDIR/Flume/core/config.sh $PROGDIR
  54. # reboot all machine 
  55. bash $PROGDIR/reboot/core/config.sh $PROGDIR
  60. # 集群的启动过程留给大家进行设计，这里给出一个规范
  61. #sh $PROGDIR/script/cluster.sh hive      stop
  62. #sh $PROGDIR/script/cluster.sh hbase     stop
  63. #sh $PROGDIR/script/cluster.sh zookeeper stop
  64. #sh $PROGDIR/script/cluster.sh hadoop    stop
  66. #sh $PROGDIR/script/format_hadoop.sh
  67. #sh $PROGDIR/script/cluster.sh            hadoop-hdfs start
  68. #sh $PROGDIR/script/cluster.sh            zookeeper start
  69. #sh $PROGDIR/script/cluster.sh            hbase start
  70. #sh $PROGDIR/script/cluster.sh            hive start
  73. echo -e "\033[44;37;5m[INFO]:Install hadoop on cluster complete!\033[0m"
  74. # 上面模块就搭建到此处，后面有需要可以自己按照本框架去搭建！第一次设计，写到此处我个人感觉就是很low！希望看到
  75. # 此篇文章的人可以分享一些经验，记于2017年09月14日

源码包

百度云传送门 提取密码：773d

使用说明

  1. 详细的使用说明参考根目录下的Readme文档。如果脚本中有什么内容不当或者您有什么疑问均可以联系我。

打赏

                    支付宝                                                         微信

微信与支付宝支付

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注