小编Pra*_*bey的帖子

我在 EKS 上运行 Jupyterhub，并希望利用 EKS IRSA 功能在 K8s 上运行 Spark 工作负载。我之前有使用 Kube2IAM 的经验，但现在我计划转向 IRSA。

此错误不是由于 IRSA 造成的，因为服务帐户已完美附加到 Driver 和 Executor Pod，并且我可以通过 CLI 和 SDK 从两者访问 S3。此问题与在 Spark 3.0/ Hadoop 3.2 上使用 Spark 访问 S3 有关

Py4JJavaError：调用 None.org.apache.spark.api.java.JavaSparkContext 时发生错误。：java.lang.NoClassDefFoundError：com/amazonaws/services/s3/model/MultiObjectDeleteException

我正在使用以下版本 -

• APACHE_SPARK_VERSION=3.0.1
• HADOOP_VERSION=3.2
• aws-java-sdk-1.11.890
• hadoop-aws-3.2.0
• Python 3.7.3

我也用不同的版本进行了测试。

• aws-java-sdk-1.11.563.jar

如果有人遇到过这个问题，请帮忙提供解决方案。

PS：这也不是 IAM 策略错误，因为 IAM 策略完全没问题。