在spark中,"INFO metrics.MetricsSaver:保存10:24记录到......"

Question

我在亚马逊EMR(6节点集群)上使用spark和spark sql处理亚马逊sc3中的500M文本文件(.gz).我的程序继续打印出"INFO metrics.MetricsSaver:保存10:24记录到/mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin"几个小时.

我的问题是:

1. 日志是什么意思？
2. 我该如何解决这个问题？

提前致谢.

Answer 1

正如 Sean 所说，这只是指标，没有什么值得担心的。即使您没有积极执行任何操作，它也会定期记录此类消息。

要抑制这些消息，您可以更新 中的以下行/home/hadoop/spark/conf/log4j.properties。

改成。log4j.logger.amazon.emr.metrics=INFO​log4j.logger.amazon.emr.metrics=WARN