如何修改一个kafka主题的消息并使用java发送到另一个kafka主题？

Question

我创建了一个生产MSG到一个主题A的生产者,我需要的是我想在那个MSG中进行更改并希望将其发送到另一个主题B,我正在尝试通过Kafka流做到这一点,但不确定是否是正确与否.如果它需要Kafka流,那么请分享应该写的代码？

Answer 1

你有多种选择可以做到这一点.

Kafka的Streams API是一种可能性,它的优点是您不会为项目添加新的依赖项.就像stream.map(...).to(...)程序应该这样简单.查看文档和示例以获取更多详细信息:

• http://docs.confluent.io/current/streams/index.html
• https://github.com/confluentinc/examples

你甚至可以只使用纯KafkaConsumer和KafkaProducer得到这个工作(但使用卡夫卡的流API似乎比这更自然).

当然,您也可以使用Apache Flink,Apache Storm,Apache Apex,Heron(或者Apache Spark)等流处理框架 - 当然,还有其他框架.该程序与上面描述的一样简单.但是您需要设置一个处理集群来为那些流处理框架部署作业.