拜托,我需要你的帮助,我正在尝试使用类型安全配置为我的 spark 应用程序提交一个外部配置文件。
我在我的应用程序代码中加载 application.conf 文件,如下所示:
lazy val conf = ConfigFactory.load()
Run Code Online (Sandbox Code Playgroud)
文件内容
ingestion{
process {
value = "sas"
}
sas {
origin{
value = "/route"
}
destination{
value = "/route"
}
extension{
value = ".sas7bdat"
}
file{
value = "mytable"
}
month{
value = "201010,201011"
}
table{
value = "tbl"
}
}
}
Run Code Online (Sandbox Code Playgroud)
我的火花提交是
spark2-submit --class com.antonio.Main --master yarn --deploy-mode client --driver-memory 10G --driver-cores 8 --executor-memory 13G --executor-cores 4 --num-executors 10 --verbose --files properties.conf /home/user/ingestion-1.0-SNAPSHOT-jar-with-dependencies.jar --files application.conf
Run Code Online (Sandbox Code Playgroud)
但由于某种原因,我收到
com.typesafe.config.ConfigException$Missing: No …Run Code Online (Sandbox Code Playgroud)