如何在同一AWS EMR集群中同时运行Spark作业？

Question

是否可以在同一AWS EMR集群中同时提交和运行Spark作业？如果是，那么请您详细说明一下？

Answer 1

--deploy-mode cluster您应该使用允许您将多个执行部署到集群的标签。这将使纱线为您处理资源和队列。

完整的例子：

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

更多详细信息请参见此处。