Apache Spark：SparkPi示例

Question

我正在尝试运行Spark示例，但我只是不了解发生了什么。我用了

MASTER=spark://Illidan:7077 ./bin/run-example SparkPi 10

确实启动了该过程，但是我得到的只是INFO消息。

那么“ 10”的作用是什么？

可以关闭INFO消息吗？

输出在哪里？计算得出的Pi在哪里？

我可以从外壳启动示例吗？我是否必须从spark壳启动才能查看打印件，还是将其保存在我不知道的文件中？

我向上帝发誓，我已经浏览了一百次文档。我需要一些帮助。

Hier是我的终端输出的一小段。提前致谢。：D

14/12/31 00:02:25 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.2.5:44913 (size: 1295.0 B, free: 267.3 MB)
14/12/31 00:02:26 INFO scheduler.TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 25231 ms on 192.168.2.7 (8/10)
14/12/31 00:02:26 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 25358 ms on 192.168.2.5 (9/10)
14/12/31 00:02:26 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.2.4:36505 (size: 1295.0 B, free: 267.3 MB)
14/12/31 00:02:27 INFO scheduler.TaskSetManager: Finished task 2.0 in stage 0.0 (TID 2) in 25877 ms on 192.168.2.4 (10/10)
14/12/31 00:02:27 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 

Answer 1

如您所见，10 是 Spark 程序创建的分区（或切片）的数量。计算PI的工作被分为10个任务（PI是通过迭代算法计算的）。

输出显示作业已成功完成。您还应该看到一行结果。

您可以在此处找到 PI 示例的源代码。