小编inn*_*ism的帖子

为createDirectStream设置spark.streaming.kafka.maxRatePerPartition

我需要为我的应用程序增加每个分区的输入速率,我已经.set("spark.streaming.kafka.maxRatePerPartition",100)用于配置.流持续时间是10秒,所以我希望5*100*10=5000这批次的流程消息.但是,我收到的输入率大约是500.您能否建议任何修改以提高此费率?

apache-spark spark-streaming

5
推荐指数
1
解决办法
8604
查看次数

标签 统计

apache-spark ×1

spark-streaming ×1