Kafka Connect:如何使用hdfs sink连接器将Kafka主题的protobuf数据发送到HDFS？

Question

我有一个生产者正在为一个主题制作protobuf消息.我有一个消费者应用程序,它反序列化protobuf消息.但是hdfs sink连接器直接从Kafka主题中获取消息.将键和值转换器etc/schema-registry/connect-avro-standalone.properties设置为什么？最好的方法是什么？提前致谢!

Answer 1

Kafka Connect 旨在通过转换器的概念将 Kafka 中的序列化格式问题与各个连接器分开。正如您似乎发现的那样，您需要调整key.converter和value.converter类以支持 protobufs 的实现。这些类通常被实现为普通的 Kafka 反序列化器，然后执行从序列化特定的运行时格式（例如 protobuf 中的消息）到 Kafka Connect 的运行时 API（没有任何关联的序列化格式 - 它只是一个Java 类型集和一个用于定义模式的类）。

我不知道现有的实现。实现这一点的主要挑战是 protobufs 是自描述的（即您可以反序列化它而无需访问原始模式），但由于它的字段只是整数 ID，如果没有 a) 要求，您可能不会获得有用的模式信息转换器可以使用特定模式，例如通过配置（这使得迁移模式更加复杂）或 b) 模式注册表服务 + 数据的包装格式，允许您动态查找模式。