小编Lua*_*lho的帖子

为什么外部调度程序不能在 minikube/kubernetes 上实例化运行 spark?

我正在尝试在 kubernetes 上运行 spark(使用带有 VirtualBox 或 docker 驱动程序的 minikube,我在两者中都进行了测试),现在我遇到了一个我不知道如何解决的错误。

错误是“SparkException:无法实例化外部调度程序”。我是 Kubernetes 世界的新手,所以我真的不知道这是否是一个新手错误,但是尝试自己解决我失败了。

请帮我。

在接下来的几行中,按照命令和错误进行操作。

我使用这个火花提交命令:

 spark-submit --master k8s://https://192.168.99.102:8443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=2 \
--executor-memory 1024m \
--conf spark.kubernetes.container.image=spark:latest \
local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar
Run Code Online (Sandbox Code Playgroud)

我在 pod 中遇到了这个错误:

20/06/23 15:24:56 INFO SparkContext: Submitted application: Spark Pi
20/06/23 15:24:56 INFO SecurityManager: Changing view acls to: 185,luan
20/06/23 15:24:56 INFO SecurityManager: Changing modify acls to: 185,luan
20/06/23 15:24:56 INFO SecurityManager: Changing view acls groups to: 
20/06/23 15:24:56 INFO SecurityManager: …
Run Code Online (Sandbox Code Playgroud)

apache-spark kubernetes minikube

2
推荐指数
1
解决办法
1147
查看次数

标签 统计

apache-spark ×1

kubernetes ×1

minikube ×1