SparkSubmitOperator 部署模式

Question

我正在使用 SparkSubmitOperator，但我没有看到 Spark 部署模式的任何等效项。如何指定是客户端还是集群？

这是 SparkSubmitOperator 构造函数的签名：

@apply_defaults
def __init__(self,
             application='',
             conf=None,
             conn_id='spark_default',
             files=None,
             py_files=None,
             archives=None,
             driver_class_path=None,
             jars=None,
             java_class=None,
             packages=None,
             exclude_packages=None,
             repositories=None,
             total_executor_cores=None,
             executor_cores=None,
             executor_memory=None,
             driver_memory=None,
             keytab=None,
             principal=None,
             proxy_user=None,
             name='airflow-spark',
             num_executors=None,
             status_poll_interval=1,
             application_args=None,
             env_vars=None,
             verbose=False,
             spark_binary="spark-submit",
             *args,
             **kwargs):

我在谷歌上搜索了几个小时但没有找到任何东西。

Answer 1

进入管理->连接菜单：

编辑spark-default参数和额外字段

{“部署模式”：“集群”}