如何使用 virtualenv 发送和运行 Spark-Submit

Question

我正在尝试在独立集群上提交 Spark 作业，我已将 virtualenv 压缩为venv.zip并将作业作为 shell 脚本提交

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python 
spark-submit \
--jars ojdbc6.jar \
--master spark://HOST:7077 \
--archives venv.zip#venv \
job.py

但我不断发现模块没有找到，即使它存在于 venv 中并且在本地模式下运行良好。

我还尝试登录工作节点并尝试运行 venv，手动激活 virtualenv 后，可以找到模块，似乎脚本正在使用系统范围的 python，我该如何解决这个问题？

Answer 1

我可以用下面的代码片段来做到这一点。基本上，我压缩了 venv 内容并将 venv 放入HDFS（如果您没有 HDFS 或节点的任何共享可访问位置）。如果你没有，那么我认为你可以在同一路径下的所有节点上克隆虚拟环境

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.executorEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.yarn.dist.archives=hdfs:///user/sw/python-envs/venv.zip#venv \
--conf spark.yarn.appMasterEnv.HADOOP_USER_NAME=hdfs \
--conf spark.executorEnv.HADOOP_USER_NAME=hdfs \
--master yarn \
--deploy-mode cluster \
--py-files p1.py,p2.py \
main.py