hadoop之HDFS

Hadoop

HDFS设计目标

• 硬件故障是常见的
• 流式的数据访问
• 存储大数据集
• 简单的一致性数据读写模型
• 对机器的要求不高，支持小型机器

1.namenode

nmanode简述

1. 负责元数据的操作（镜像，编辑文件Edits）。副本的存储情况，位置，datanode的情况存储再元数据中。
2. 单一节点。不处理数据读写的请求。只查询与那些datanode有联系
3. 读取namenode节点时，namenode会尽量让用户读取最近的副本，以降低资源消耗
4. 管理数据块的复制。周期性的接受各个datanode发送的心跳报告和块状态报告。块状报告包含datanode上数据详细情况列表

namenode启动过程

1.加载fsimage和edits文件。执行日志中的各项操作
2. 内存中建立系统的元数据映射，生成新的fsimage和一个空的edits文件
3.在安全模式下datanode向namenode注册。以及发送最新的Block Report
4.安全模式运行的namenode，对客户端来说是只读的。
5.在系统操作期间，namenode会在内存中保留所有块的映射信息。
6.namenode获取所有的datanode后，安全模式等待30。是HDFS系统处于平稳的状态

<!--hdfs-site.xml,WEB配置-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop.zc.com:50070</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
</property>
<!-- hdfs-site.xml -->
<!-- hdfs本地数据存储位置datanode -->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
<!-- hdfs-site.xml -->
<!-- hdfs本地元数据位置（镜像文件）namenode -->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<!-- hdfs-site.xml -->
<!-- 编辑日志edits位置 -->
<property>
  <name>dfs.namenode.edits.dir</name>
  <value>${dfs.namenode.name.dir}</value>
</property>

2.datanode

1. 块状形式存储数据（默认128M），块的内容包括，数据本身和块的元数据（数据大小，数据校验，时间戳等信息）
2. 负责处理文件内容的读写请求
3. datanode启动后向namenode注册。通过后周期性（默认1小时）的向namenode上报datanode上所有块的信息
4. datanode周期性（默认3秒）向namenode发送心跳，namenode返回结果带有给datanode执行的命令（如复制数据到其他datanode）。一段时间内（默认10分钟）namenode未收到datanode的心跳报告，namenode认为该datanode节点不可用。
5. 集群可以安全的加入和移除datanode
6. 副本策略。默认副本数（3）。第一个副本放在本地机架上。第二个副本再本地机架的另外的datanode上。第三个副本放在其他机架上。

<!--hdfs-site.xml,datanode默认心跳发送周期配置-->
<property>
        <name>dfs.heartbeat.interval</name>
        <value>3</value>
</property>
<!--hdfs-site.xml,datanode块大小设置(单位B)-->
<property>
  <name>dfs.blocksize</name>
  <value>134217728</value>
</property>
<!--hdfs-site.xml,默认副本数-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

3.SecondaryNameNode

<!--hdfs-site.xml-->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop.zc.com:50090</value>
</property>

在此输入正文