我有一个Spark Streaming作业与其他作业(Spark核心作业)一起在我们的集群上运行。我想对包括Spark Streaming在内的这些作业使用动态资源分配。根据下面的JIRA问题,不支持动态分配Spark Streaming(在1.6.1版本中)。但已在2.0.0中修复
根据本期的PDF,它说应该有一个名为“ spark.streaming.dynamicAllocation.enabled=true
但是我在文档中没有看到此配置” 的配置字段
。
任何人都可以确认,
spark.streaming.dynamicAllocation.enabled=true或spark.dynamicAllocation.enabled=true)dynamic-allocation apache-spark spark-streaming apache-spark-1.6 apache-spark-2.0
apache-spark ×1