aws emr-serverless 中的 Virtualenv

Question

我正在尝试使用安装了一些库的虚拟环境在 aws cli 上运行一些作业。我遵循了这个指南；这里也一样。但是当我运行该作业时，出现以下错误：

Job execution failed, please check complete logs in configured logging destination. ExitCode: 1. Last few exceptions: Caused by: java.io.IOException: error=2, No such file or directory Exception in thread "main" java.io.IOException: Cannot run program "./environment/bin/python"

我也尝试过/home/hadoop/environment/bin/python作为路径，但得到了相同的结果。我的工作会议是：

--conf spark.archives=s3://mybucket/dependencies/myenv.tar.gz#environment --conf spark.emr-serverless.driverEnv.PYSPARK_DRIVER_PYTHON=./environment/bin/python --conf spark.emr-serverless.driverEnv.PYSPARK_PYTHON=./environment/bin/python --conf spark.emr-serverless.executorEnv.PYSPARK_PYTHON=./environment/bin/python

如果我在工作中奔跑

os.listdir("./environment/bin/)

结果是

['python3.9', 'pip', 'pip3.9', 'rst2xetex.py', 'rstpep2html.py', 'f2py3', 'rst2latex.py', 'f2py', 'rst2odt.py', 'rst2html4.py', 'pip3', 'aws', 'python3', 'jp.py', 'rst2odt_prepstyles.py', 'pyrsa-encrypt', 'activate', 'rst2man.py', 'pyrsa-priv2pub', 'python', 'pyrsa-keygen', 'pyrsa-verify', 'rst2html.py', 'aws_completer', 'f2py3.9', 'venv-pack', 'rst2pseudoxml.py', 'aws_bash_completer', 'aws_zsh_completer.sh', 'aws.cmd', 'rst2s5.py', 'rst2xml.py', 'pyrsa-decrypt', 'rst2html5.py', 'Activate.ps1', '__pycache__', 'pyrsa-sign']

所以路径应该是正确的。我还尝试将脚本内的 PYSPARK_DRIVER_PYTHON 设置为

os.environ['PYSPARK_PYTHON'] = "./environment/bin/python"
os.environ['PYSPARK_DRIVER_PYTHON'] = "./environment/bin/python"

但在这种情况下，错误是当我导入在 virtualenv 中安装的库时，因此它使用标准 python 运行脚本。

你能帮助我吗？

Answer 1

问题是您可能尚未使用 Amazon Linux 2 创建 venv。使用 Amazon Linux 和 Python 3.7.10 为我做到了。

正如此处详细介绍的，您可以使用类似于此 docker 文件来生成这样的 venv。你最好使用 arequirements.txt来使其更可重用，但它给了你这个想法。

FROM --platform=linux/amd64 amazonlinux:2 AS base

RUN yum install -y python3

ENV VIRTUAL_ENV=/opt/venv
RUN python3 -m venv $VIRTUAL_ENV
ENV PATH="$VIRTUAL_ENV/bin:$PATH"

RUN python3 -m pip install --upgrade pip && \
    python3 -m pip install \
    great_expectations==0.15.6 \
    venv-pack==0.2.0

RUN mkdir /output && venv-pack -o /output/pyspark_ge.tar.gz

FROM scratch AS export
COPY --from=base /output/pyspark_ge.tar.gz /