我正在寻找一种从多个设备收集指标数据的方法。数据应该由多个“group by”之类的函数聚合。聚合函数列表不完整,稍后将添加新的聚合,并且需要聚合第一天收集的所有数据。
是否可以创建具有 100 年有效期的 Kafka 主题并将其用作此目的的数据存储?那么新的聚合将能够从主题的开头读取,而现有的聚合将从其偏移量继续读取?
原则上,是的,您可以使用 Kafka 进行长期存储,正是出于您概述的原因 - 重新处理源数据以得出额外的聚合/计算。
一些参考资料:
归档时间: |
|
查看次数: |
9759 次 |
最近记录: |