我正在尝试为流分析设计流式架构.要求:
我正在探索Kafka和Kafka Streams进行流处理和RT/NRT实时消息传递.我的问题是:我需要在流处理期间对外部系统(信息提供者,MongoDB等)执行一些查询.根据外部系统特征,这些查询可以是同步和异步请求 - 响应.
我已经阅读了这篇文章,解释了如何在处理过程中加入KStream和KTable,这很有意思,但在这种情况下,KTable不依赖于来自KStream的输入参数,它只是表的流表示.
我需要查询外部系统foreach KStream消息,传递一些消息字段作为查询参数,并用查询结果丰富流消息,然后将丰富的消息发布到输出主题.是否有任何整合的范例来设计此流处理？有什么特别的技术我最好用吗？请记住,查询可以是同步和异步.
我还想为这些外部系统设计包装器,实现一种可从Kafka Stream处理中调用的分布式RPC.你能建议任何技术/框架吗？我正在考虑Akka演员分发查询响应者,但我不明白Akka是否适合请求 - 响应范例.
谢谢