python脚本中的spark-submit与SparkSession之间的区别？

Question

是否有优点/缺点，或者使用Spark-Submit提交python脚本而不是简单地使用python可执行文件运行.py文件（并导入SparkSession），是否有这种用例？

from pyspark.sql import SparkSession
spk = SparkSession.builder.master(master).getOrCreate()

基本上，通过python和不通过火花提交来运行脚本有什么区别。

Answer 1

spark-submit主要是一种方便的方法。它允许您在提交时设置所有所需的配置、环境变量和其他选项。

它还允许您设置无法在正在运行的虚拟机上设置的 JVM 选项。由于 JVM 是在创建 Spark 配置后初始化的，因此无法从正在运行的 Python 进程中执行相同操作。