我们正在使用结构化流媒体从Kafka消费并将处理后的数据集写入s3.
我们还希望将处理后的数据写入Kafka继续前进,是否可以通过相同的流式查询来完成？(火花版2.1.1)
在日志中,我看到了流式查询进度输出,并且我从日志中获得了一个示例持续时间JSON,有人可以提供更清晰的区别addBatch和之间的区别getBatch吗？
TriggerExecution - 处理获取的数据和写入接收器的时间是多少？
"durationMs" : {
"addBatch" : 2263426,
"getBatch" : 12,
"getOffset" : 273,
"queryPlanning" : 13,
"triggerExecution" : 2264288,
"walCommit" : 552
},