小编Akh*_*ala的帖子

Spark流的动态分配

我有一个Spark Streaming作业与其他作业(Spark核心作业)一起在我们的集群上运行。我想对包括Spark Streaming在内的这些作业使用动态资源分配。根据下面的JIRA问题,不支持动态分配Spark Streaming(在1.6.1版本中)。但已在2.0.0中修复

JIRA链接

根据本期的PDF,它说应该有一个名为“ spark.streaming.dynamicAllocation.enabled=true 但是我在文档中没有看到此配置” 的配置字段 。

任何人都可以确认,

  1. 我无法在1.6.1版本中为Spark Streaming启用动态资源分配。
  2. 它在Spark 2.0.0中可用吗?如果是,应设置什么配置(spark.streaming.dynamicAllocation.enabled=truespark.dynamicAllocation.enabled=true

dynamic-allocation apache-spark spark-streaming apache-spark-1.6 apache-spark-2.0

6
推荐指数
1
解决办法
2735
查看次数