小编Ami*_*min的帖子

如何将 pyFlink 作业提交到远程 Kubernetes 会话集群?

目前,我有一个正在运行的 Flink Kubernetes 会话集群(Flink 版本 1.13.2),我还可以通过以下方式访问 Web UI ,我可以通过此命令从本地环境port-forward提交 WordCount jar 示例。./bin/flink run -m localhost:8081 examples/batch/WordCount.jar

但是,当我尝试通过命令提交 pyFlink 示例时,./bin/flink run -m localhost:8081 -py examples/python/table/batch/word_count.py作业冻结,日志显示正在等待结果。

我尝试了很多方法,包括创建 virtualenv、传递 pyClientExecutable 和 pyexec、同步本地和远程 python 版本,但是没有一个起作用。

我缺少什么?如何将 python 示例提交到远程会话集群?

注意:当我在作业管理器 pod 中提交 pyFlink word_count 示例时,它运行没有任何问题。

python kubernetes apache-flink pyflink

6
推荐指数
1
解决办法
767
查看次数

如何在正在运行的集群中为 ACL 创建 Kafka 用户和消费者组?

我在 SASL_PLAINTEXT 模式下使用 Kafka 2.1,并且为了控制我需要创建用户和组的主题的 ACL。那么如何在运行集群中创建用户呢?

我知道我可以kafka-consumer-groups.sh用来创建和列出组。但是当我尝试列出组时,它会引发Failed to find brokers to send ListGroups异常。

apache-kafka

4
推荐指数
1
解决办法
3687
查看次数

标签 统计

apache-flink ×1

apache-kafka ×1

kubernetes ×1

pyflink ×1

python ×1