AWS Glue 3.0 容器不适用于 Jupyter 笔记本本地开发

Question

我正在 AWS 中开发 Glue，并尝试在本地开发中进行测试和调试。我按照此处的说明https://aws.amazon.com/blogs/big-data/developing-aws-glue-etl-jobs-locally-using-a-container/在本地开发 Glue 作业。在那篇文章中，他们使用 Glue 1.0 图像进行测试，并且它可以正常工作。但是，当我加载并尝试使用 Glue 3.0 版本进行开发时；我按照指导步骤操作，但是，我无法像帖子所说的那样在 :8888 上打开 Jupyter 笔记本，即使每个步骤似乎都是正确的。

这是我在 Glue 3.0 容器上启动 Jupyter 笔记本的 cmd

docker run -itd -p 8888:8888 -p 4040:4040 -v ~/.aws:/root/.aws:ro --name glue3_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/jupyter/jupyter_start.sh

http://localhost:8888 上没有任何显示。

还是不知道为什么！我理解差异。在不同版本的 Glues 之间只想开发和测试它的最新版本。有人遇到同样的问题吗？谢谢。

Answer 1

GLUE 3.0 图像似乎在 SSL 方面存在一些问题。本地工作的解决方法是禁用 SSL（您还必须更改脚本路径，因为文档未更新）。

$ docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" \
    -e AWS_ACCESS_KEY_ID=$(aws --profile default configure get aws_access_key_id) \ 
    -e AWS_SECRET_ACCESS_KEY=$(aws --profile default configure get aws_secret_access_key) \ 
    -e AWS_DEFAULT_REGION=$(aws --profile default configure get region) \
    --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 \ 
    /home/glue_user/jupyter/jupyter_start.sh

几秒钟后，您应该有一个在http://127.0.0.1:8888上运行的工作 jupyter 笔记本实例