小编fmc*_*mac的帖子

Kafka Connect 与 Amazon MSK

如何将 Kafka Connect 适配器与 Amazon MSK 配合使用?根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。

apache-kafka apache-kafka-connect amazon-msk

10
推荐指数
2
解决办法
6930
查看次数

可以与 Zookeeper 交谈,但不能与消息代理交谈

我正在使用 kafka-python 为 Kafka 2.2.1 集群(来自 AWS 的 MSK 服务的托管集群实例)生成消息。我能够检索引导服务器并与它们建立网络连接,但没有消息通过。相反,在 Type 的每条消息之后,A我立即收到一个 type B... 并最终收到一个type C

A [INFO]    2019-11-19T15:17:19.603Z    <BrokerConnection ... <connecting> [IPv4 ('10.0.128.56', 9094)]>: Connection complete.
B [ERROR]   2019-11-19T15:17:19.605Z    <BrokerConnection ... <connected> [IPv4 ('10.0.128.56', 9094)]>: socket disconnected
C [ERROR] KafkaTimeoutError: KafkaTimeoutError: Failed to update metadata after 60.0 secs.
Run Code Online (Sandbox Code Playgroud)

是什么导致代理节点接受来自有希望的生产者的 TCP 连接,然后立即再次关闭它?

编辑

  • 该主题已存在,并kafka-topics.sh --list显示它。

  • 我用过的所有客户端都遇到同样的问题:Kafka's kafka-console-producer.shkafka-pythonconfluent-kafkakafkacat

  • Kafka 集群与我的所有其他机器在同一个 VPC 中,它的安全组允许该 VPC 内的任何传入和传出流量。

  • 但是,它由 Amazon 的 Managed Streaming …

python amazon-web-services apache-kafka kafka-producer-api amazon-msk

7
推荐指数
1
解决办法
1620
查看次数

什么是正确的 AWS::Glue::Job Connections 属性结构?

在我尝试了 template.json 的几种变体之后,我仍然在 AWS Cloudformation 控制台中收到以下错误:

属性验证失败:[属性 {/Connections} 的值与类型 {Object} 不匹配]

connection jobs amazon-web-services aws-cloudformation aws-glue

1
推荐指数
1
解决办法
962
查看次数