来自 /192.168.2.13:46500 的连接关闭时仍有 1 个请求未完成

Question

我从 df 创建了两个临时视图：一个来自 mongo，另一个来自 hive。然后我用单个键连接这两个表，最后插入到配置单元中。

结果确实成功插入到hive中，但是日志中有一些异常：

19/08/21 16:30:35 错误 client.TransportResponseHandler: 当来自 /192.168.2.13:46508 的连接关闭时仍有 1 个请求未完成

19/08/21 16:30:35 错误 client.TransportResponseHandler：当来自 /192.168.2.13:46498 的连接关闭时，仍有 1 个请求未完成 19/08/21 16:30:35 INFO storage.BlockManagerInfo：删除了 s2 上的广播_8_piece0 ：内存中44369（大小：650.0 KB，可用：5.2 GB）

19/08/21 16:30:35 WARN storage.BlockManagerMaster：无法使用removeFromMaster = true删除广播8 - 来自/192.168.2.13:46508的连接已关闭 java.io.IOException：来自/192.168.2.13:46508的连接已关闭

Answer 1

就我而言，我通过在配置中将超时“spark.network.timeout”增加到 50000 秒（我脑海中的随机大数字）来解决此问题。