如何将 Kafka Connect 适配器与 Amazon MSK 配合使用?根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。
我正在使用 kafka-python 为 Kafka 2.2.1 集群(来自 AWS 的 MSK 服务的托管集群实例)生成消息。我能够检索引导服务器并与它们建立网络连接,但没有消息通过。相反,在 Type 的每条消息之后,A我立即收到一个 type B... 并最终收到一个type C:
A [INFO] 2019-11-19T15:17:19.603Z <BrokerConnection ... <connecting> [IPv4 ('10.0.128.56', 9094)]>: Connection complete.
B [ERROR] 2019-11-19T15:17:19.605Z <BrokerConnection ... <connected> [IPv4 ('10.0.128.56', 9094)]>: socket disconnected
C [ERROR] KafkaTimeoutError: KafkaTimeoutError: Failed to update metadata after 60.0 secs.
Run Code Online (Sandbox Code Playgroud)
是什么导致代理节点接受来自有希望的生产者的 TCP 连接,然后立即再次关闭它?
编辑
该主题已存在,并kafka-topics.sh --list显示它。
我用过的所有客户端都遇到同样的问题:Kafka's kafka-console-producer.sh、kafka-python、confluent-kafka和kafkacat
Kafka 集群与我的所有其他机器在同一个 VPC 中,它的安全组允许该 VPC 内的任何传入和传出流量。
但是,它由 Amazon 的 Managed Streaming …
python amazon-web-services apache-kafka kafka-producer-api amazon-msk
在我尝试了 template.json 的几种变体之后,我仍然在 AWS Cloudformation 控制台中收到以下错误:
属性验证失败:[属性 {/Connections} 的值与类型 {Object} 不匹配]
connection jobs amazon-web-services aws-cloudformation aws-glue