为Spark包添加解析器

Question

我们可以通过以下方式自动获取罐子:

• 包坐标到 spark.jars.packages
• 使用--packages选项传递包坐标spark-submit.

但是我们如何配置额外的解析器呢？

Answer 1

可以使用--repositories选项提供其他存储库:

bin/spark-shell --repositories https://oss.sonatype.org/content/repositories/releases

或者spark.jars.repositories在spark-defaults.conf:

spark.jars.repositories    https://oss.sonatype.org/content/repositories/releases