Nan*_*dia 5 apache-kafka kafka-consumer-api apache-kafka-streams apache-kafka-connect
我想知道什么最适合我：Kafka流或Kafka消费者api或Kafka connect？
我想从主题中读取数据，然后进行一些处理并写入数据库。因此，我已经编写了使用者，但我觉得我可以编写Kafka流应用程序，并使用其有状态处理器执行任何更改并将其写入数据库，从而消除了我的使用者代码，而只需要编写db代码。
我要插入记录的数据库是：HDFS-（插入原始JSON）MSSQL-（已处理json）
另一个选择是Kafka connect，但我发现hdfs sink和jdbc sink连接器目前没有json支持（我不想用avro编写），创建架构对于复杂的嵌套消息也很痛苦。
还是我应该编写自定义Kafka connect来做到这一点。
那么，您是否需要考虑是否应该编写Kafka使用者或Kafka流或Kafka connect？在性能方面有哪些更好的选择，而开销却更少呢？
Tre*_*iac -2
欢迎来到堆栈溢出！请前往https://stackoverflow.com/tour
请用精确的问题发帖，而不是征求意见 - 这使网站更清晰，意见不是答案（并且取决于每个人的喜好）。询问“How to use Kafka-connect with json”——或者这样的问题适合这个网站。
另外，请展示一些研究。
更少的开销将是kafka消费者 - kafka流和kafka连接使用kafka消费者，所以你总是能够减少开销，但也会失去所有好处（容忍失败，易于使用，支持等）
首先，这取决于您的处理方式。聚合？数数？验证？然后，您可以使用 kafka 流进行处理并将结果以您想要的格式写入新主题。
然后，您可以使用 kafka connect 将数据发送到数据库。您不必强制使用 avro，您可以使用其他格式的键/值，请参阅
使用 JsonConverter 的 Kafka Connect HDFS Sink for JSON 格式
| 归档时间： |
|
| 查看次数： |
1481 次 |
| 最近记录： |