我需要为我的应用程序增加每个分区的输入速率,我已经.set("spark.streaming.kafka.maxRatePerPartition",100)用于配置.流持续时间是10秒,所以我希望5*100*10=5000这批次的流程消息.但是,我收到的输入率大约是500.您能否建议任何修改以提高此费率?
.set("spark.streaming.kafka.maxRatePerPartition",100)
5*100*10=5000
apache-spark spark-streaming
apache-spark ×1
spark-streaming ×1