小编use*_*446的帖子

在 Kubernetes 中运行 Apache Beam python 管道

这个问题似乎是this的重复。

我正在尝试在 Kubernetes 的离线实例上使用 flink 运行 Apache Beam python 管道。但是,由于我的用户代码具有外部依赖项,因此我将 Python SDK 工具用作外部服务 - 这会导致错误(如下所述)。

我用来启动beam python SDK的kubernetes清单:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: beam-sdk
spec:
  replicas: 1
  selector:
    matchLabels:
      app: beam
      component: python-beam-sdk
  template:
    metadata:
      labels:
        app: beam
        component: python-beam-sdk
    spec:
      hostNetwork: True
      containers:
      - name: python-beam-sdk
        image: apachebeam/python3.7_sdk:latest
        imagePullPolicy: "Never"
        command: ["/opt/apache/beam/boot", "--worker_pool"]
        ports:
        - containerPort: 50000
          name: yay

apiVersion: v1
kind: Service
metadata:
  name: beam-python-service
spec:
  type: NodePort
  ports:
  - name: yay
    port: 50000
    targetPort: …
Run Code Online (Sandbox Code Playgroud)

python kubernetes apache-flink apache-beam

7
推荐指数
1
解决办法
1505
查看次数

标签 统计

apache-beam ×1

apache-flink ×1

kubernetes ×1

python ×1