当我们在yarn集群中运行时，我们在哪里可以看到spark输出控制台

Question

我是 Spark、Hadoop 和 Yarn 的初学者。我使用以下命令安装 Spark： https: //spark.apache.org/docs/2.3.0/ 和 Hadoop/Yarn 使用： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common /SingleCluster.html。我的目标是在纱线集群上运行 Spark 应用程序，但我遇到了问题。我们如何知道我们的设置何时有效？我将向您展示我的例子。完成设置后，我尝试运行测试 jar：examples/jars/spark-examples*.jar。当我在本地运行 Spark 时： ./bin/spark-submit --class org.apache.spark.examples.SparkPi ，我突然看到一行：“Pi 大约为 3.1370956854784273”，而当我想在纱线集群： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster Examples/jars/spark-examples*.jar 我没有看到“Pi在控制台中大约是 3.1370956854784273"，我不知道在哪里可以找到它。我查看 URL http://localhost:8088/cluster/cluster中的日志，但它没有出现。你知道我应该看哪里吗？感谢您的帮助，祝您有美好的一天。

Answer 1

您必须将控制台输出写入文件，这会将正在执行的 Spark 程序的输出写入文件中，您可以在下面提到的consoleoutfile.txt上使用tail -f 100来查看您的控制台输出。

./submit_command > local_fs_path/consoleoutfile.txt 2>&1