标签: spark-operator

我正在尝试安装 Spark-operator https://console.cloud.google.com/gcr/images/spark-operator/GLOBAL/spark-operator?tag=v1beta2-1.3.1-3.1.1 的任何 工作版本我本地的 kubernetes。但是，spark pod 在尝试下载不存在的版本时卡在 ImagePullBackOff 上。

命令：

helm repo add spark-operator https://googlecloudplatform.github.io/spark-on-k8s-operator

helm install v1beta2-1.2.1-3.0.0 spark-operator/spark-operator --namespace spark-operator6 --create-namespace

kubectl get pods -n spark-operator6

名称就绪状态重新启动年龄 v1beta2-1.2.1-3.0.0-spark-operator-67577fd4d4-m9zmw 0/1 ImagePullBackOff 0 6s

kubectl describe pod v1beta2-1.2.1-3.0.0-spark-operator-67577fd4d4-m9zmw

图片：gcr.io/spark-operator/spark-operator:v1beta2-1.3.1-3.1.1 - 不同的！ 无法拉取映像“gcr.io/spark-operator/spark-operator:v1beta2-1.3.1-3.1.1”：rpc 错误：代码 = 未知 desc = 来自守护程序的错误响应：gcr.io/spark-operator 的清单/spark-operator:v1beta2-1.3.1-3.1.1 未找到：清单未知：无法从请求“/v2/spark-operator/spark-operator/manifests/”获取“v1beta2-1.3.1-3.1.1” v1beta2-1.3.1-3.1.1"

现在这似乎是一个不正确的版本。尝试通过 helm install flag --operatorVersion 覆盖它，但这被完全忽略。

通过查看其模板，helm template v1beta2-1.2.1-3.0.0 spark-operator/spark-operator --namespace spark-operator6 --set operatorVersion=v1beta2-1.2.1-3.0.0 > template.yaml所有 app.kubernetes.io/instance 的版本都是正确的，但所有 app.kubernetes.io/version 都显示不存在的 v1beta2-1。3 .1-3.1.1。更正了它并尝试通过以下方式使用正确的值进行安装

helm install …

我正在 k8s 上使用 GCP Spark 编写 Kubernetes Spark 应用程序。

目前，我陷入无法将环境变量注入容器的困境。

我正在关注这里的文档

显现：

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-search-indexer
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "gcr.io/spark-operator/spark:v2.4.5"
  imagePullPolicy: Always
  mainClass: com.quid.indexer.news.jobs.ESIndexingJob
  mainApplicationFile: "https://lala.com/baba-0.0.43.jar"
  arguments:
    - "--esSink"
    - "http://something:9200/mo-sn-{yyyy-MM}-v0.0.43/searchable-article"
    - "-streaming"
    - "--kafkaTopics"
    - "annotated_blogs,annotated_ln_news,annotated_news"
    - "--kafkaBrokers"
    - "10.1.1.1:9092"
  sparkVersion: "2.4.5"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    env:
      - name: "DEMOGRAPHICS_ES_URI"
        value: "somevalue"
    labels:
      version: 2.4.5 …