如何在 C# 中为泛型类型创建 Avro 模式？

Question

我正在使用 Kafka 和Confluent 的 .NET 客户端开发 .NET Standard pub/sub 包。我的制作人有以下界面。

IEventPublisher.cs

public interface IEventPublisher<T>
{
    bool Publish(Event<T> evnt);
}

我的KafkaEventPublisher<T>类实现了这个接口，并且正在发布的有效负载 T 被包裹在一个Event<T>信封中。

事件.cs

public class Event<T>
{
    // Some other properties 

    public T Payload { get; set; }
}

我的组件的初始实现不使用 Avro 序列化程序或架构注册表。它Event<T>使用 JSON序列化并将Newtonsoft.Json字符串生成到 Kafka 主题。这样做的好处是有效载荷实际上可以是任何对象。主题名称是对象的完全限定类名称，因此主题保证是同类的。缺点是有效载荷对 Kafka 是不透明的。

我现在正致力于从Newtonsoft.JsonAvro 和架构注册表转换。这似乎表明我的模型不能再是任何东西了。它们必须专门编写以通过实现ISpecificRecord接口来允许 Avro 序列化。如果这是真的，这并不理想，但我可以接受。

我似乎无法弄清楚的问题是如何将Event<T>信封合并到 Avro 模式中。有没有办法将模式嵌套在另一个模式中？我所有的具体模式都应该定义Event<T>信封吗？GenericRecord改用并尝试在运行时使用反射自动生成模式是否明智，这样我的组件就可以重新接受任何对象作为有效负载？

Answer 1

也许有一种更优雅的方法，但在每个模式中包含正确的内容应该可以解决问题。也许您想以编程方式执行此操作以确保一致性。

一般来说，一切有效的可能都很好，除非您发现自己试图检查每条消息并为每条消息定义架构。这也许是可能的，但肯定不会是高性能/可取的。