请求执行程序,因为任务被积压

Question

我有一个火花流应用程序,直到昨天一直运行得很好,突然遇到这个警告.我有相同的环境并使用相同的代码.以下是警告:

05/09 17:13:03 INFO ExecutorAllocationManager:请求16个新的执行程序,因为任务被积压(新的期望总数将是31)16/05/09 17:13:03 INFO ExecutorAllocationManager:请求19个新的执行程序因为任务被积压(new期望的总数将是50)

16/05/09 17:13:12警告YarnScheduler:最初的工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

16/05/09 17:13:27 WARN YarnScheduler:最初的工作没有接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

我在cloudera 5.5上使用apache spark 1.6.快速入门VM.群集上没有运行任何应用程序来使用可用资源.

是否有任何配置.

谢谢!

Answer 1

快速启动虚拟机旨在让您快速体验功能，并且可能配置为“适合盒子”，而不是为了长期稳定性。

一般来说，对于沙箱和快速入门问题，我的建议是在需要时设置一个新沙箱和快速入门。

在这种特定情况下，快速入门适用于 CDH，其后继者 (CDP) 已经出来。

CDP（Cloudera 数据平台）是 CDH 和 HDP 的继承者。

如果您想查看最新版本，有一个试用版可以满足您可能想要使用快速入门的大多数目的。可以在此处下载。

全面披露：我是 Cloudera 的员工，该公司是 CDH 和 CDP 背后的公司。