小编sha*_*lom的帖子

Spark 错误:无法将 RPC 发送到 Datanode

我们的 Spark Thrift 服务器几乎没有问题。这是一个新的 Ambari 集群,现在没有运行 Spark 作业。

从日志中我们可以看到一条错误信息:

Failed to send RPC 9053901149358924945 to /DATA NODE MACHINE:50149
Run Code Online (Sandbox Code Playgroud)

请建议为什么会发生这种情况,解决方案是什么?

Failed to send RPC 9053901149358924945 to /DATA NODE MACHINE:50149: java.nio.channels.ClosedChannelException
more spark-hive-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master03.sys67.com.out

Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/current/spark2-thriftserver/conf/:/usr/hdp/current/spark2-thriftserver/jars/*:/usr/hdp/c
urrent/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --conf spark.driver.memory=15g --properties-file /usr/hdp/current/spark2-thriftserver/conf/spark-th
rift-sparkconf.conf --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-cores 7 spark-internal
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.
18/02/07 17:55:21 ERROR TransportClient: Failed to send RPC 9053901149358924945 …
Run Code Online (Sandbox Code Playgroud)

hadoop apache-spark

5
推荐指数
0
解决办法
7497
查看次数

为什么 /var/log/chrony 文件夹是空的?

我们使用 chrony 来将 Red Hat (7.2) 服务器与 NTP 服务器同步。

为此,我们配置了logdir /var/log/chronyinchrony.conf并通过 重启了 chrony systemctl restart chronyd

但该文件夹仍然/var/log/chrony是空的,没有任何日志。

这种行为的原因可能是什么?

linux redhat ntp chrony

3
推荐指数
1
解决办法
1万
查看次数

如何知道我的服务器是否应该使用大页面(内存页面大小)

我们在集群中有几台服务器,我们想知道在什么情况下我们需要配置大页面?

我也有几个问题

  1. 剂量“内存页面大小”等于大页面?

在我的 linux 服务器中,我输入了以下命令来验证默认内存页面大小

grep Hugepagesize /proc/meminfo

Hugepagesize: 2048 kB

getconf PAGESIZE

4096
Run Code Online (Sandbox Code Playgroud)
  1. 但正如大家在这里看到的,我们得到了不同的结果,为什么?

  2. 使用大页面有什么风险?

  3. 剂量禁用透明大页面 - 意味着禁用大页面选项?

linux memory redhat central-processing-unit mtu

1
推荐指数
1
解决办法
3842
查看次数