我正在使用 Sparkmagic 内核 (spark-scala) 开发 Jupyter Notebooks,该内核依赖 Apache Livy 来运行 Spark 作业。
我目前正在尝试了解使用用户提供的依赖项(即 jar)创建会话的选项。
我知道在 Jupyter 中我可以做类似的事情:
%%configure -f
{"kind": "spark",
"executorMemory": "2G",
"executorCores": 4,
"jars": ["/path/to/library1.jar",
"/path/to/library2"]}
Run Code Online (Sandbox Code Playgroud)
但后来我注意到 中的其他选项LIVY_HOME/conf/livy.conf,特别是livy.resc.jars,livy.repl.jars但我相信这些描述不是很具体,或者我无法找到它们之间的实际区别。
我猜如果他们分开是为了某些事情,但到底是什么?