为了创建 Glue 脚本,我将开发端点与运行 Pyspark (Sparkmagic) 内核的 Sagemaker 笔记本结合使用。最新版本的 Glue(版本 1.0)支持 Spark 2.4。但是,我的 Sagemaker 笔记本使用 Spark 版本 2.2.1。我要测试的函数仅在 Spark 2.3 中存在。有没有办法解决开发端点和 Glue 作业之间的不匹配问题?我可以以某种方式设置笔记本的 Spark 版本吗? 我在文档中找不到任何内容。
amazon-web-services apache-spark aws-glue amazon-sagemaker
amazon-sagemaker ×1
amazon-web-services ×1
apache-spark ×1
aws-glue ×1