spark.eventLog.dir和spark.history.fs.logDirectory有什么区别？

Question

在Spark中,事件日志目录和历史服务器日志目录之间有什么区别？

spark.eventLog.dir hdfs:///var/log/spark/apps
spark.history.fs.logDirectory hdfs:///var/log/spark/apps

Answer 1

从Apache Spark的官方文档:

spark.eventLog.dir如果spark.eventLog.enabled为true,则是记录Spark事件的基本目录.在此基本目录中,Spark为每个应用程序创建一个子目录,并将特定于该应用程序的事件记录在此目录中.用户可能希望将其设置为统一位置(如HDFS目录),以便历史记录服务器可以读取历史记录文件.

请参阅spark.eventLog.dir.

spark.history.fs.logDirectory用于文件系统历史记录提供程序,即包含要加载的应用程序事件日志的目录的URL.这可以是本地file://路径,HDFS路径hdfs:// namenode/shared/spark-logs或Hadoop API支持的备用文件系统.

请参阅spark.history.fs.logDirectory.

spark.eventLog.dir是spark.history.fs.logDirectory在Spark History Server查找日志事件的位置生成日志.