[Spark] Spark的History关联对应的executor的日志
场景在于,因为很多用户想在Spark的history上看到对应的executor日志,其实这个并不是Spark的什么新功能,他们不需要用yarn application -logs下载所有的日志,因为我们之前一直忽略这个,没配置,后来配置上就可以了。
除了要开启yarn的日志收集功能之外
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
还要在yarn-site.xml增加参数,并且重启NodeManager即可,当我们访问时,就会帮我们重定向到日志服务器上,找到对应的日志
<property>
<name>yarn.log.server.url</name>
<value>http://HistoryServerAddress:19888/jobhistory/logs</value>
</property>
然后点击对应的日志链接就可以链接过去了
记录一下以免忘记。