MapReduce框架组成

大数据

1. 原文地址：MapReduce的架构组成

MapReduce基本架构

分而治之，并行计算

一句话 —— 整体主从架构，map加reduce；map、split入磁盘，数据对分partition；shuffle、sort、key-value，一个reduce解析一个partition。

一堆话 —— 如下：
和HDFS一样，MapReduce也是采用Master/Slave的架构，其架构如下图所示：

MapReduce包含四个组成部分，分别为Client，JobTracker，TaskTracker，Task
1. client客户端
每一个Job都会在用户端通过Client类将应用程序以及配置信息Configuration打包成Jar文件上传到HDFS，并把路径提交到JobTracker的master服务，然后由master创建每一个Task（即MapTask和ReduceTask），将它们分发到各个TaskTracker服务中去执行。

2. JobTracker
JobTracker负责资源监控和作业调度。JobTracker监控所有的TaskTracker与Job的健康状态，一旦发现失败，就将相应的任务转移到其他节点；同时JobTracker会跟踪任务的执行进度，资源使用量等信息，并将这些信息告诉任务调度器，而调度器会在资源出现空闲时，选择合适的任务使用这些资源。在Hadoop中，任务调度器是一个可插拔的模块，用于可以根据自己的需要设计相应的调度器。

TaskTracker
TaskTracker是运行在多个节点上的slave服务。TaskTracker主动与JobTracker通信（与DataNode和NameNode相似，通过心跳来实现），会周期性地将本节点上资源使用情况和任务的运行进度汇报给JobTracker，同时执行JobTracker发送过来的命令并执行相应的操作（如启动新任务，杀死任务等）。TaskTracker使用"slot"等量划分本节点上的资源量。"slot"代表计算资源(cpu，内存等)。一个Task获取到一个slot之后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为MapSlot和ReduceSlot两种，分别提供MapTask和ReduceTask使用。TaskTracker通过slot数目（可配置参数）限定Task的并发度。

Task：
Task分为MapTask和ReduceTask两种，均由TaskTracker启动。HDFS以固定大小的block为基本单位存储数据，而对于MapReduce而言，其处理单位是split。split是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全有用户自己决定。但需要注意的是，split的多少决定了MapTask的数目，因为每一个split只会交给一个MapTask处理。spilt与block的关系如下图：

MapTask的执行过程如下图所示：由下图可知，Map Task先将对应的split迭代解析成一个key-value对，依次调用用户定义的map()函数进行处理，最终将临时结果存放到本地磁盘上。其中，临时数据被分成若干个partition，每个partition将被一个Reduce Task处理。

ReduceTask的执行过程如下图所示。该过程分为三个阶段：
1. 从运程节点上读取Map Task中间结果（称为"Shuffle阶段"）
2. 按照Key对Key-Value对进行排序（称为"Sort阶段"）
3. 依次读取，调用用户自定义的Reduce函数处理，并将最终结果存到HDFS上（称为"Reduce阶段"）
过程如下图：