EMR Spark - TransportClient:无法发送RPC

Question

我收到此错误,我试图增加集群实例和执行程序和驱动程序参数的内存,但没有成功.

17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java.nio.channels.ClosedChannelException

有没有人有任何线索来修复此错误？

顺便说一句,我正在使用YARN作为集群管理器

提前致谢

Answer 1

最后，我解决了这个问题。这是由于磁盘空间不足。一列hadoop日志显示：

Hadoop YARN：1/1本地目录是错误的：/ var / lib / hadoop-yarn / cache / yarn / nm-local-dir; 1/1日志目录不正确：/ var / log / hadoop-yarn / containers

谷歌搜索我发现http://gethue.com/hadoop-yarn-11-local-dirs-are-bad-varlibhadoop-yarncacheyarnnm-local-dir-11-log-dirs-are-bad-varloghadoop-yarncontainers/

“如果遇到此错误，请腾出一些磁盘空间！”

要查看此错误，我必须激活EMR中的纱线记录。看到

http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

为了访问群集ec2实例中的日志端口，我为其更改了安全组。

即：

主实例在这里监听：172.30.12.84:8088而核心实例在这里监听：172.30.12.21:8042

最后，我修复了在etl.py中将实例类型更改为具有更大磁盘的其他实例的问题：

主版本：m3.2xlarge
核心版本：c3.4xlarge

Answer 2

当我在笔记本电脑中设置 hadoop 和 Spark 并尝试以“spark-shell --master yarn”启动 Spark 时，我收到了相同的错误消息。

\n\n

解决方案：

\n\n

\n

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

\n

\n\n

添加以下属性：

\n\n

<property>\xc2\xa0\xc2\xa0 \xc2\xa0\xc2\xa0\xc2\xa0 \n<name>yarn.nodemanager.vmem-pmem-ratio</name>\xc2\xa0\xc2\xa0 \xc2\xa0\xc2\xa0\xc2\xa0\n<value>5</value>\xc2\xa0 \n</property>\n

\n\n

然后重启hadoop服务

\n\n

stop-all.sh \nstart-all.sh\n

\n