是否可以使用 AVRO 为 Kafka 中的 Google Pub/Sub 主题定义模式？

Question

据我所知，我们可以在 Kafka 上定义 AVRO 模式，使用该模式定义的主题将只接受与该模式匹配的数据。在接受进入队列之前验证数据结构非常有用。

Google Pub/Sub 中有类似的东西吗？

Answer 1

Kafka 本身并不验证模式，因此主题本身没有模式，除了一对字节数组和一些元数据。序列化程序是生产客户端的一部分，在数据到达主题之前执行验证。同样，在 PubSub 中，归根结底，它只是存储/发送byte[]数据。

因此，理论上，在通过 PubSub 移动的数据的任一端使用类似于 Confluent Avro Schema Registry 的东西是完全可行的。Google 不提供这样的功能 AFAIK，因此您需要重新创建可以执行 Avro 兼容性检查的服务，并在该服务的客户端周围绑定一个 PubSub 序列化+生产者客户端。例如，您可以首先将 Registry 本身作为 GKE 中的容器运行。

可能想查看Google Cloud Pub-Sub 的 Avro 消息？