Hir*_*etz 12 hadoop-yarn apache-spark
我按照这个页面在纱线集群模式下在YARN上运行SparkPi示例应用程序.
http://spark.apache.org/docs/latest/running-on-yarn.html
我最后没有看到程序的输出(这是本例计算的结果).当我在yarn-client模式下运行它(--master yarn-client)时,我看到这样的输出:
Pi大约是3.138796
标准输出在纱线群集模式中的位置是什么？
Hir*_*etz 11
经过多次探讨后,我在spark-0.9.0 doc中找到了这个.
检查输出(使用上一个命令的"application identifier"输出替换下面的$ YARN_APP_ID)(注意:YARN_APP_LOGS_DIR通常是/ tmp/logs或$ HADOOP_HOME/logs/userlogs,具体取决于Hadoop版本.)
$ cat $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/container*_000001/stdout
Pi约为3.13794
我希望他们也将这条指令放在1.1.0文档中.
| 归档时间： |
|
| 查看次数： |
5183 次 |
| 最近记录： |