小编Ank*_*ate的帖子

如何向单个 AWS EMR 集群提交多个 Spark 作业

我正在尝试向 EMR 集群提交多个作业,但我只看到第一个处于运行状态,其余全部处于接受状态。我的大部分工作都是流媒体工作。

我有以下疑问:

  1. 如何实现这些作业的并行运行?
  2. 自动化这些作业以供将来部署的各种方法有哪些?
  3. 如何处理预定作业(例如每 15 分钟运行一次的作业)?

我正在使用 Java 进行开发。任何输入都将非常有帮助。

java amazon-emr apache-spark spark-streaming

6
推荐指数
1
解决办法
977
查看次数

标签 统计

amazon-emr ×1

apache-spark ×1

java ×1

spark-streaming ×1