nbu*_*bis 11 distributed-computing mesos apache-spark
我有一个很长的Spark工作,目前很少有任务被停止.有没有办法从驱动程序节点中杀死那些停滞的任务？
出于权限原因,我可以登录,但不能杀死从属节点上的作业,所以我正在寻找一种方法来单独从驱动程序节点执行此操作.注意,我不想杀死整个Spark工作 - 只有一两个停滞的任务.
如果它有帮助,我使用Mesos并可以访问Web UI,但是它不包含杀死任务的选项.
不,不是真的.
您无法手动终止单个火花任务,但是您可以使用火花推测来自动确定哪些任务花费的时间过长并主动重新启动它们.
如果你想这样做,设置spark.speculation为true,[如果你敢]修改spark.speculation.interval,spark.speculation.multiplier,spark.speculation.quantile配置选项.
相关文档:http: //spark.apache.org/docs/latest/configuration.html#viewing-spark-properties
相关SO:如何在纱线客户端处理运行时间过长的任务(与工作中的其他人相比)？
| 归档时间： |
|
| 查看次数： |
2363 次 |
| 最近记录： |