小编man*_*dar的帖子

Spark SQL中的registerTempTable和registerDataFrameAsTable方法有什么区别 ,哪种情况更好.

我可以使用运行Spark作业，BashOperator但我想SparkSubmitOperator使用Spark 独立模式使用它。

这是我的DAGfor SparkSubmitOperator和堆栈跟踪

args = {
    'owner': 'airflow',
    'start_date': datetime(2018, 5, 24)
}
dag = DAG('spark_job', default_args=args, schedule_interval="*/10 * * * *")

operator = SparkSubmitOperator(
    task_id='spark_submit_job',
    application='/home/ubuntu/test.py',
    total_executor_cores='1',
    executor_cores='1',
    executor_memory='2g',
    num_executors='1',
    name='airflow-spark',
    verbose=False,
    driver_memory='1g',
    conf={'master':'spark://xx.xx.xx.xx:7077'},
    dag=dag,
)

寻找来源spark_submit_hook似乎_resolve_connection()总在进行master=yarn。如何通过独立的主URL 更改master 属性值Spark？我可以设置哪些属性Spark以独立模式运行作业？

在Apache spark UI阶段级别的指标之一是"峰值执行内存"？这个指标表明了什么.