牛骨文教育服务平台(让学习变的简单)
博文笔记

Yarn shuffle OOM错误分析及解决

创建时间:2015-03-19 投稿人: 浏览次数:176

前两周和同事一起分析了一下yarn shuffle oom的问题,最后他写了一个blog,我这里就不重复写了,把他的转载过来,他的blog写得都很有深度,推荐大家去看看。

原文地址:http://dj1211.com/?p=358

最近集群中一些任务经常在reduce端跑出Shuffle OOM的错误,具体错误如下

2015-03-09 16:19:13,646 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : 
声明:该文观点仅代表作者本人,牛骨文系教育信息发布平台,牛骨文仅提供信息存储空间服务。