如何在Windows上以独立模式设置Spark log4j路径？

Question

我已经尝试将log4j.properties.template更改为hadoop-home/conf中的log4j.properties但是spark仍然没有把它拿起来.我试过设定

sparkconf.set("log4j.configuration", ".\\config\\log4j.properties");

但这也不起作用.我也尝试过添加

-Dlog4j.configuration=.\config\log4j.properties

eclipse运行配置但不起作用.Spark在启动期间仍在使用其默认值

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

我还将SPARK_CONF_DIR设置为我的环境变量以指向spark/conf目录,但这似乎也不起作用.

我在eclipse中以windows独立模式运行它

SparkConf sparkConf = new SparkConf().setAppName("Test").setMaster("local[1]")
                .set("log4j.configuration", ".\\config\\log4j.properties");

Answer 1

我遇到过类似的问题

sparkconf.set("log4j.configuration", "path to log4j.properties");

解决方法是使用

import org.apache.log4j.PropertyConfigurator

PropertyConfigurator.configure("path to log4j.properties")