Kafka Serializer JSON

Question

我是Kafka,Serialization和JSON的新手

我想要的是生产者通过kafka和消费者发送JSON文件以使用原始文件形式的JSON文件.

我能够得到它所以JSON转换为字符串并通过String Serializer发送然后消费者将解析String并重新创建一个JSON对象但我担心这不是有效的或正确的方法(可能会失去字段类型对于JSON)

所以我研究了制作JSON序列化程序并在我的制作人的配置中设置它.

我在这里使用了JsonEncoder:Kafka:编写自定义序列化器

但是当我现在尝试运行我的生产者时,似乎在编码器的toBytes函数中,try块永远不会返回任何像我想要的那样

try {
            bytes = objectMapper.writeValueAsString(object).getBytes();

        } catch (JsonProcessingException e) {
            logger.error(String.format("Json processing failed for object: %s", object.getClass().getName()), e);
        }

似乎objectMapper.writeValueAsString(object).getBytes(); 接受我的JSON obj({"name":"Kate","age":25})并将其转换为空,

这是我的制作人的跑步功能

List<KeyedMessage<String,JSONObject>> msgList=new ArrayList<KeyedMessage<String,JSONObject>>();   

    JSONObject record = new JSONObject();

    record.put("name", "Kate");
    record.put("age", 25);

    msgList.add(new KeyedMessage<String, JSONObject>(topic, record));

    producer.send(msgList);

我错过了什么？我的原始方法(转换为字符串并发送然后重建JSON obj)是否可以？或者只是没有正确的方法去？

谢谢!

Answer 1

嗯，你为什么害怕序列化/反序列化步骤会导致数据丢失？

您拥有的一种选择是使用Confluent 的 Schema Registry 中包含的 Kafka JSON 序列化程序，它是免费的开源软件（免责声明：我在 Confluent 工作）。它的测试套件提供了一些示例来帮助您入门，更多详细信息在序列化程序和格式化程序中进行了描述。这个 JSON 序列化器和模式注册表本身的好处是它们为 Kafka 提供了与生产者和消费者客户端的透明集成。除了 JSON 之外，如果需要，还支持 Apache Avro。

恕我直言，在与 JSON 中的 Kafka 交谈时，就开发人员的便利性和易用性而言，此设置是最佳选择之一——当然是 YMMV！

Answer 2

我建议将 JSON 事件字符串转换为字节数组，如下所示：

byte[] eventBody = event.getBody();

这将提高您的性能，并且 Kafka Consumer 还提供 JSON 解析器，它将帮助您恢复 JSON。
如果需要任何进一步的信息，请告诉我。