为什么pyspark在macOS上给出“我们找不到任何外部IP地址”？

Question

我使用pyspark并在下面收到警告。有人可以告诉我如何解决吗？这是我应该担心的事情吗？

码：

lines = sc.textFile("README.md") #worked
lines.count() #error 

警告：

16/02/24 08:20:39警告：您的主机名a.local解析为回送/不可访问的地址：fe80：0：0：0：f09c：b1ff：fef2：170c％awdl0，但我们无法找不到任何外部IP地址！

Answer 1

Spark 将您的主机名解析为地址，以便在 Spark 应用程序的节点（驱动程序和执行程序）之间建立通信通道。

看起来您的机器有各种名称（可能在 中/etc/hosts），其中一些名称尚未解析，哪些 Spark 可以使用。

您可以显式地将本地主机名设置为localhost（可能是可解析的）以spark-shell使用SPARK_LOCAL_HOSTNAME环境变量，如下所示：

SPARK_LOCAL_HOSTNAME=localhost ./bin/spark-shell

或者：

./bin/spark-shell -c spark.driver.host=localhost

有关详细信息，请参阅文档中的环境变量。