1.某些任务因为一个task变慢导致整个job变慢

场景:

之前遇到有些任务的map执行很慢,然后发现在执行任务时读取某些文件变慢,但就是不知道慢在哪,这时我们可以在那台机器,打开debug日志

export HADOOP_ROOT_LOGGER=DEBUG,console

然后用hdfs dfs -get /path/to/yourFIle就可以详细的看到他是链接到哪台DN导致响应缓慢,然后就可以登陆机器排查改DN的网络是否流量过高,机器负载等相关信息

解决方案

把该DN临时停止,读取数据时连接到其他副本的DN