Hadoop流媒体作业已成功但被ApplicationMaster杀死

Geb*_*ils 13 python hadoop


我刚刚设置了一个小的hadoop集群(使用3个ubuntu机器和apache hadoop 2.2.0),现在我正在尝试运行python流工作.

运行测试作业我遇到以下问题:
几乎所有的map任务都被标记为成功,但注意到Container已被杀死.

在联机界面上,地图作业的日志显示:
Progress 100.00
State SUCCEEDED

但是注意它几乎每次尝试(~200)
容器被ApplicationMaster杀死.
或
由ApplicationMaster杀死的容器.根据要求杀死容器.退出代码是143

在与该尝试相关联的日志文件中,我可以看到一个日志,说任务'attempt_xxxxxxxxx_0'已完成.

我还获得3次尝试用相同的日志,只有3已经
国家镇静
它们便会被杀死的工作.

对于所有作业/尝试,stderr输出为空.

在查看应用程序主日志并执行其中一次成功(但已杀死)尝试后,我会找到以下日志:

  • 从NEW过渡到UNASSIGNED
  • 从UNASSIGNED转换为ASSIGNED
  • 几个进度更新,包括:1.0
  • 完成确认
  • 运行到SUCCESS_CONTAINER_CLEANUP
  • CONTAINER_REMOTE_CLEANUP
  • KILLING attempt_xxxx
  • 从SUCCESS_CONTAINER_CLEANUP转换为SUCCEEDED
  • 任务从RUNNING转换为SUCCEEDED

所有的尝试都编号为xxxx_0所以我认为它们不会因为推测性执行而被杀死.

我应该担心吗?是什么导致容器被杀?任何建议将不胜感激!

psm*_*ith 0

据我所知,同一个任务在很多节点上运行。一旦一个节点返回结果,其他节点上的任务就会被杀死。这就是为什么作业成功但单个任务处于 KILLED 状态。