小编old*_*lag的帖子

在spark中,"INFO metrics.MetricsSaver:保存10:24记录到......"

我在亚马逊EMR(6节点集群)上使用spark和spark sql处理亚马逊sc3中的500M文本文件(.gz).我的程序继续打印出"INFO metrics.MetricsSaver:保存10:24记录到/mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin"几个小时.

我的问题是:

  1. 日志是什么意思?
  2. 我该如何解决这个问题?

提前致谢.

apache-spark

5
推荐指数
1
解决办法
743
查看次数

标签 统计

apache-spark ×1