相关疑难解决方法(0)

火花错误:executor.CoarseGrainedExecutorBackend:收到信号条款

我正在使用以下火花配置

maxCores = 5
 driverMemory=2g
 executorMemory=17g
 executorInstances=100
Run Code Online (Sandbox Code Playgroud)

问题:在 100 个 Executor 中,我的工作最终只有 10 个活动的 executor,但仍有足够的可用内存。即使尝试将执行程序设置为 250,只有 10 个仍然处于活动状态。我要做的就是加载一个多分区配置单元表并对其执行 df.count。

Please help me understanding the issue causing the executors kill
17/12/20 11:08:21 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
17/12/20 11:08:21 INFO storage.DiskBlockManager: Shutdown hook called
17/12/20 11:08:21 INFO util.ShutdownHookManager: Shutdown hook called
Run Code Online (Sandbox Code Playgroud)

不知道为什么纱线会杀死我的执行者。

scala apache-spark

6
推荐指数
1
解决办法
3万
查看次数

标签 统计

apache-spark ×1

scala ×1