yarn

apache hadoop yarn

标签（空格分隔）： 未分类

1.简介

YARN是hadoop2.x上的任务管理器和资源调度框架，其基本思想就是将MRv1的JobTracker拆分为资源管理和作业调度监两个单独的守护进程；这个思想就是把全局的ResourceManager（RM）和每个任务的ApplicationMaster。一个应用要么是一个单独的job或者是DAGjob。

ResourceManager 和 NodeManager 形成数据计算框架。ResourceManager 是仲裁资源中的所有应用程序在系统中的终极权威。NodeManager 是每台机器框架代理，它负责容器，监测其资源 (cpu、 内存、 磁盘、 网络) 使用情况以及向 ResourceManager/Scheduler。事实上，每个应用程序 ApplicationMaster是框架特定库，负责与ResourceManager谈判获取资源和并和NodeManager(s) 来执行和监视任务。

ResourceManager has two main components: Scheduler and ApplicationsManager.

2. 基本组成结构

YARN采用的是Master/Slave结构，ResouceManager是Master，NodeManager是Slave。ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManger启动可以占用一定资源的任务。由于不同的ApplicationMaster被分布到不同的节点上，因此它们之间不会相互影响。在本小节中，我们将对YARN的基本组成结构进行介绍。

参考文献

1.http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html
2.http://blog.csdn.net/liuwenbo0920/article/details/43304243