如何使用 Spring-Kafka 通过 Confluent Schema 注册表读取 AVRO 消息?有样品吗?我在官方参考文件中找不到它。
avro spring-kafka confluent-schema-registry confluent-platform
我阅读了官方AWS Kinesis Firehose的文档,但没有提到如何处理重复事件.有人有经验吗?我用谷歌搜索有人使用ElasticCache进行过滤,这是否意味着我需要使用AWS Lambda来封装这样的过滤逻辑?是否有像firehose这样的简单方法将数据摄入Redshift并同时具有"一次性"语义?非常感谢!
如何从 Apache Superset 查询跨目录表(例如 mysql 和 hive 的联合表)到 PrestoDB?Superset 中应输入的 SQLAlchemy URI 是什么?
我通过发出“./bin/confluent start”命令启动了融合套件。然后我使用 kafka connect 将 kafka 数据汇入 mysql。
通过执行以下命令,我可以在独立模式下很好地运行 kafka connect:
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties
然后我关闭上面的命令并通过命令切换到分布式模式:
./bin/connect-distributed ./etc/schema-registry/connect-avro-distributed.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties
它报告了以下异常:
[2018-08-09 14:51:56,951] 错误无法启动连接 (org.apache.kafka.connect.cli.ConnectDistributed:108) org.apache.kafka.connect.errors.ConnectException: 无法启动 REST 服务器org.apache.kafka.connect.runtime.rest.RestServer.start(RestServer.java:214) 在 org.apache.kafka.connect.runtime.Connect.start(Connect.java:53) 在 org.apache.kafka。 connect.cli.ConnectDistributed.main(ConnectDistributed.java:106) 由:java.net.BindException:地址已在 sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net 使用。绑定(Net.java:433)在 sun.nio.ch.Net.bind(Net.java:425)
怎么了?如何切换到使用 kafka connect 分布式模式?谢谢!