小编Ant*_*uan的帖子

使用 Spark 类型安全配置提交应用程序属性文件

拜托,我需要你的帮助,我正在尝试使用类型安全配置为我的 spark 应用程序提交一个外部配置文件。

我在我的应用程序代码中加载 application.conf 文件,如下所示:

  lazy val conf = ConfigFactory.load()
Run Code Online (Sandbox Code Playgroud)

文件内容

  ingestion{
  process {
    value = "sas"
  }
  sas {
    origin{
      value = "/route"
    }
    destination{
      value = "/route"
    }
    extension{
      value = ".sas7bdat"
    }
    file{
      value = "mytable"
    }
    month{
      value = "201010,201011"
    }
    table{
      value = "tbl"
    }
  }
}
Run Code Online (Sandbox Code Playgroud)

我的火花提交是

spark2-submit --class com.antonio.Main --master yarn --deploy-mode client --driver-memory 10G --driver-cores 8 --executor-memory 13G --executor-cores 4 --num-executors 10 --verbose  --files properties.conf /home/user/ingestion-1.0-SNAPSHOT-jar-with-dependencies.jar --files application.conf
Run Code Online (Sandbox Code Playgroud)

但由于某种原因,我收到

com.typesafe.config.ConfigException$Missing: No …
Run Code Online (Sandbox Code Playgroud)

scala typesafe-config apache-spark

1
推荐指数
1
解决办法
3347
查看次数

标签 统计

apache-spark ×1

scala ×1

typesafe-config ×1