小编Pas*_*cal的帖子

如何将 Spark 应用程序 jar 文件部署到 Kubernetes 集群?

我目前正在尝试在 IBM Cloud 上运行的 Kubernetes 集群上部署 spark 示例 jar。

如果我尝试按照这些说明在 kubernetes 集群上部署 spark,我将无法启动 Spark Pi,因为我总是收到错误消息:

该系统找不到指定的文件

输入代码后

bin/spark-submit \
    --master k8s://<url of my kubernetes cluster> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///examples/jars/spark-examples_2.11-2.3.0.jar
Run Code Online (Sandbox Code Playgroud)

我在目录中的spark-examples_2.11-2.3.0.jar文件所在的正确examples/jars目录中。

apache-spark kubernetes

5
推荐指数
1
解决办法
2062
查看次数

标签 统计

apache-spark ×1

kubernetes ×1