历史日志服务,日志聚集，权限检查，静态用户

历史日志 日志聚集 权限检查 静态用户

1.jobhistoryserver

<!--查看日志-->
$ tail -f xxx.log   
<!--启动历史日志服务-->
$ sbin/mr-jobhistory-daemon.sh start historyserver 
<!--关闭历史日志服务-->
$ sbin/mr-jobhistory-daemon.sh stop historyserver 
<!--历史日志服务地址-->
http://hadoop.zc.com:19888/  
<!--历史日志服务内部地址,mapred-site.xml-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop.zc.com:10020</value>
</property>
<!--历史日志服务地址web,mapred-site.xml-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop.zc.com:19888</value>
</property>

2.Aggregation

日志聚集。将MapReduce运行时产生的日志文件，上传到HDFS对应目录中。

<!--启用aggregation（日志聚集）-->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!--aggregation（日志聚集）保留时间，秒。-->
<property>
    <name>yyarn.log-aggregation.retain-seconds</name>
    <value>100800</value>
</property>

3.不进行用户权限检查

<!-- 禁用权限检查 -->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

4.配置静态用户

<!--配置静态用户-->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>zc</value>
</property>

5.配置日志路径

<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<property>
  <name>dfs.namenode.edits.dir</name>
  <value>${dfs.namenode.name.dir}</value>
</property>

在此输入正文