在ALS Spark Scala中检查点

Question

我只想询问具体如何在Spark中成功使用checkpointInterval.:和你是什么在ALS代码此评论的意思https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/recommendation/ALS.斯卡拉

如果未在[[org.apache.spark.SparkContext]]中设置检查点目录,则忽略此设置.

1. 我们如何设置checkPoint目录？我们可以使用任何与hdfs兼容的目录吗？
2. 是否使用setCheckpointInterval在ALS中实现检查点的正确方法以避免Stack Overflow错误？

编辑:

Answer 1

我们如何设置checkPoint目录？我们可以使用任何与hdfs兼容的目录吗？

你可以用SparkContext.setCheckpointDir.据我所知,在本地模式下,本地和DFS路径都可以正常工作,但在群集上,目录必须是HDFS路径.

是否使用setCheckpointInterval在ALS中实现检查点的正确方法以避免Stack Overflow错误？

它应该有所帮助.见SPARK-1006

PS:似乎为了在ALS中实际执行检查点,checkpointDir必须设置或检查指向不会有效[参考.在这里.]