我正在尝试在 kubernetes 上运行 spark(使用带有 VirtualBox 或 docker 驱动程序的 minikube,我在两者中都进行了测试),现在我遇到了一个我不知道如何解决的错误。
错误是“SparkException:无法实例化外部调度程序”。我是 Kubernetes 世界的新手,所以我真的不知道这是否是一个新手错误,但是尝试自己解决我失败了。
请帮我。
在接下来的几行中,按照命令和错误进行操作。
我使用这个火花提交命令:
spark-submit --master k8s://https://192.168.99.102:8443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=2 \
--executor-memory 1024m \
--conf spark.kubernetes.container.image=spark:latest \
local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar
Run Code Online (Sandbox Code Playgroud)
我在 pod 中遇到了这个错误:
20/06/23 15:24:56 INFO SparkContext: Submitted application: Spark Pi
20/06/23 15:24:56 INFO SecurityManager: Changing view acls to: 185,luan
20/06/23 15:24:56 INFO SecurityManager: Changing modify acls to: 185,luan
20/06/23 15:24:56 INFO SecurityManager: Changing view acls groups to:
20/06/23 15:24:56 INFO SecurityManager: …Run Code Online (Sandbox Code Playgroud)