YARN-NodeManager重启

YARN

原文：http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/NodeManagerRestart.html

介绍

NodeManager的重启，是一个NodeManager的功能特性，用来支持NodeManager重启且不丢失运行中的活动的container的能力。从一个高层视角来看，NM在处理container管理请求时，存储了每一个有必要的状态到一个本地的state-store状态存储里。当NM重启时，它通过先为不同的子系统加载状态，然后让这些子系统利用这些加载的状态来进行recovery。

开启NM重启

1，开启NM的重启，先将conf/yarn-site.xml的如下属性进行设置为true：

2，为NodeManager存储器状态配置一个本地文件系统目录路径
|Property| Description|
|yarn.nodemanager.recovery.dir| 用以存储状态的本地文件系统路径。默认是$hadoop.tmp.dir/yarn-nm-recovery.|

3，配置NodeManager的RPC地址。

4， 附加服务
一个YARN集群中的NodeManager可以配置运行附加服务。对于一次完全的NM重启，YARN依赖于这些附加服务也支持恢复。这通常包括（1）避免使用ephemeral端口，这会导致以前连接的client在重启后端口混乱无法通信，（2）附加服务要支持通过重新加载之前状态做到恢复的能力。

一个简单的例子就是用于MapReduce（MR）的附加服务“ShuffleHandler”。ShuffleHandler满足上面两个要求：（1）配置属性mapreduce.shuffle.port控制ShuffleHandler在NodeManager主机上绑定到什么端口。（2）ShuffleHandler已经支持在NM重启后通过加载之前状态来恢复。所以用户和管理员不需要做任何事情来支持NM重启。