小编E.T*_*.T.的帖子

在 Glue Dev Endpoint 上设置 Sagemaker 的 Spark 版本

为了创建 Glue 脚本,我将开发端点与运行 Pyspark (Sparkmagic) 内核的 Sagemaker 笔记本结合使用。最新版本的 Glue(版本 1.0)支持 Spark 2.4。但是,我的 Sagemaker 笔记本使用 Spark 版本 2.2.1。我要测试的函数仅在 Spark 2.3 中存在。有没有办法解决开发端点和 Glue 作业之间的不匹配问题?我可以以某种方式设置笔记本的 Spark 版本吗?
我在文档中找不到任何内容。

amazon-web-services apache-spark aws-glue amazon-sagemaker

2
推荐指数
1
解决办法
817
查看次数