我正在评估AWS Managed Service Kafka(MSK),并且我知道当前它处于预览模式,因此可能没有所有功能或适当的文档。我尝试设置msk集群,并正在验证msk是否可以满足公司的所有用例/需求,但是目前,它缺少文档和示例。
https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html
我有以下查询:
i)如何使用在本地系统上运行的Kafka客户端访问AWS MSK?
ii)MSK是否支持架构演变并且仅支持一次语义?
iii)MSK将提供某种方式来更新某些群集或调整配置吗?就像AWS胶水一样,它们在托管环境中为火花执行器和驱动程序内存提供参数更改。
iv)是否可以将MSK与其他AWS服务(例如Redshift,EMR等)集成?
v)我可以通过ksql将流式SQL与MSK一起使用吗?如何使用MSK设置KSQL?
vi)如何对流经MSK的数据进行实时预测分析?
vii)与来自Azure / confluent的其他基于云的kafka群集相比,MSK的可靠性如何?与香草kafka相比,任何性能基准如何?集群中可以启动的最大经纪人数量是多少?
我需要从 AWS SES 获取消息并将其发布到 AWS MSK (Kafka) 主题。这可能吗?我目前的理解是所有 MSK 客户端必须位于同一个 VPC 中。我如何正确配置 Lambda 函数?
当生产者首次向主题发布消息时,我们的AWS MSK集群不会自动创建主题。这令人惊讶,因为根据https://kafka.apache.org/documentation/#brokerconfigs的默认行为应具有auto.create.topics.enable = true。
我试图在我的代理上设置此配置,但由于配置read-only用于动态更新,因此无法执行。
$ kafka-configs --bootstrap-server $KAFKA_BROKER --entity-type brokers --entity-default --alter --add-config auto.create.topics.enable=true
Error while executing config command with args '--bootstrap-server $KAFKA_BROKER --entity-type brokers --entity-default --alter --add-config auto.create.topics.enable=true'
java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.InvalidRequestException: Invalid config value for resource ConfigResource(type=BROKER, name=''): Cannot update these configs dynamically: Set(auto.create.topics.enable)
Run Code Online (Sandbox Code Playgroud)
注意:我$KAFKA_BROKER在输出中替换了我们经纪人的IP
如何配置AWS MSK Kafka集群以启用主题的自动创建?