自动部署Kafka Stream应用

Question

我刚刚开始使用Kafka和Kafka Streaming Applications.我写了一个Kafka Stream应用程序,它消耗一个主题,处理这些消息,并将它们发送到另一个主题.

据我所知,我发现运行此Kafka Stream应用程序编码的唯一方法是:

• 从IDE运行Java类.
• 生成*.jar文件并从提示符运行它.

我想知道是否有任何方法可以在Kafka服务器启动时自动运行Kafka Streaming Applications.例如:将*.jar文件复制到我的Kafka安装的某个文件夹中,并在启动Kafka服务器时自动运行此流应用程序.

Answer 1

您的Kafka代理(服务器)和您的Kafka Streams应用程序彼此独立.您可以启动它们,但是您可以管理服务器上的进程,无论是initd还是systemd,还是基于容器的解决方案,如Docker或Kubernetes.

根据我的经验,如果您的流应用程序在您的经纪人或ZooKeeper之前启动,那么它可能会超时等待它们上线.因此,您可能需要将流进程配置为在这种情况下重新启动.