标签: confluent-schema-registry

ClassCastException: class org.apache.avro.generic.GenericData$Record cannot be cast  to class [...].PublicActivityRecord (org.apache.avro.generic.GenericData$Record and [...].PublicActivityRecord are in unnamed module of loader 'app')

Run Code Online (Sandbox Code Playgroud)

生产者发送 java 对象，它是一个名为的用户定义类型，如下所示：PublicActivityRecord

ClassCastException: class org.apache.avro.generic.GenericData$Record cannot be cast  to class [...].PublicActivityRecord (org.apache.avro.generic.GenericData$Record and [...].PublicActivityRecord are in unnamed module of loader 'app')

Run Code Online (Sandbox Code Playgroud)

此时我可以在调试模式下看到的值ProducerRecord确实是类型PublicActivityRecord。

在注册表服务器上，我可以在日志中看到发送模式的生产者的 POST 请求：

Registering new schema: subject DEV-INF_9325_activityRecord_01-value, version null, id null, type null, schema size 7294 (io.confluent.kafka.schemaregistry.rest.resources.SubjectVersionsResource:262)
[2022-01-28 07:01:35,575] INFO 192.168.36.30 - - [28/janv./2022:06:01:34 …

Run Code Online (Sandbox Code Playgroud)

java classcastexception avro apache-kafka confluent-schema-registry

Rod*_*djf

2022 05-23

10
推荐指数

1
解决办法

1万
查看次数

为什么将 Avro 与 Kafka 一起使用 - 如何处理 POJO

我有一个 spring 应用程序，它是我的 kafka 制作人，我想知道为什么 avro 是最好的方法。我阅读了它以及它所提供的所有内容，但是为什么我不能将我用 jackson 创建的 POJO 序列化并将其发送到 kafka？

我这么说是因为 avro 的 POJO 生成不是那么简单。最重要的是，它需要 maven 插件和一个 .avsc 文件。

因此，例如我在我的 kafka 生产者上有一个 POJO，名为 User：

public class User {

    private long    userId;

    private String  name;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public long getUserId() {
        return userId;
    }

    public void setUserId(long userId) {
        this.userId = userId;
    }

}

Run Code Online (Sandbox Code Playgroud)

我将它序列化并将其发送到我在 kafka 中的用户主题。然后我有一个消费者，它本身有一个 POJO 用户并反序列化消息。是空间问题吗？以这种方式序列化和反序列化不是也更快吗？更不用说维护模式注册表的开销了。

java avro apache-kafka confluent-schema-registry

adp*_*pap

2019 01-16

9
推荐指数

2
解决办法

4060
查看次数

如何在kafka中强制模式验证

我正在使用 Kafka 和架构注册表。定义了一个模式，在生产者端使用 confluence 的 KafkaAvroSerializer。一切正常。

另一方面，如果生产者在不遵守架构的情况下发布事件，则发布事件不会出现任何问题。

据了解，Kafka 仅获取序列化的二进制文件，不会检查数据和功能是否按设计工作。

想知道是否有更好的方法来强制执行更强大的模式验证，以便主题不会被不良数据污染？

apache-kafka confluent-schema-registry confluent-platform

Sah*_*has

lucky-day

9
推荐指数

1
解决办法

2万
查看次数

将 AWS 胶水架构注册表与融合的 SerDe 客户端结合使用

为了在我的 MSK 主题上支持架构注册表，我找到了两个选项 -

AWS Glue 架构注册表；和
合流模式注册表

由于 Glue SR 完全由 AWS 管理，我更愿意使用它。但是，我的生产者和消费者客户端是用 python 编写的，这限制了我在 java 中使用 AWS 提供的 SerDe 库。

我继续搜索是否可以使融合模式注册表 API（python 中融合的 kafka 库的一部分）与 Glue 模式注册表一起使用，因为我最初的假设是模式注册表实现在融合和胶水之间是通用的。

在阅读融合文档时，我发现可以通过使用url属性（https://docs.confluent.io/platform/current/clients/confluent-kafka-python/#）为架构注册表提供 url 来建立架构注册表连接。

我无法为我创建的胶水注册表找到这样的 url。他们的 Java 客户端确实接受区域名称、注册表名称和其他属性等属性（https://docs.aws.amazon.com/glue/latest/dg/glue-dg.pdf#schema-registry）。有什么办法可以找到这个 url，或者我应该切换到 confluent SR，这不是托管服务？

amazon-web-services apache-kafka aws-glue confluent-schema-registry

hap*_*hak

2021 01-28

9
推荐指数

1
解决办法

612
查看次数