如何将Spark jar提交到EMR群集？

Question

我使用在线AWS控制台与Apache Spark一起启动了我的集群.我有一个基于我的Spark应用程序的胖罐子,我已将其上传到S3 Bucket.当我尝试将其作为a发送时Step with a Custom Jar,该过程失败.任何指针都将非常感激.

Answer 1

使用EMR bootstrap 安装 Spark，并按照文档中所述提交作业： https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md