在 EMR Notebooks 中添加外部 jar

Question

我使用连接到 EMR 集群的 EMR Notebook。内核是 Spark，语言是 Scala。我需要一些位于 S3 存储桶中的罐子。我怎样才能添加罐子？

在'spark-shell'的情况下很容易：

spark-shell --jars "s3://some/path/file.jar, s3://some/path/faile2.jar"

同样在 Scala 控制台中我可以做

:require s3://some/path/file.jar

Answer 1

启动笔记本后，您可以在单元格中执行此操作：

%%configure -f
{
"conf": {"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3"},

"jars": [
        "//path to external downloaded jars"
    ],

}

Answer 2

把它放在你的第一段：

%%configure -f
{
    "conf": {
        "spark.jars": "s3://YOUR_BUCKET/YOUR_DRIVER.jar"
    }
}