小编kon*_*odi的帖子

Google Dataproc pyspark 批处理作业的自定义容器映像

我正在探索新推出的 google dataproc serverless。在提交作业时,我想使用自定义图像(想要使用--container-image参数),以便我的所有 python 库和相关文件都已存在于服务器中,以便作业可以更快地执行。

我用谷歌搜索,只找到了这个Dataproc 自定义图像,它讨论了自定义 dataproc 图像。我没有看到其他任何东西。

您能否确认上述自定义镜像链接是否正确,或者我们是否需要使用任何其他基础镜像来构建容器 docker 镜像?

pyspark google-cloud-dataproc google-cloud-dataproc-serverless

5
推荐指数
1
解决办法
1587
查看次数