在Spark-shell中使用库

Question

我想在spark-shell和/或.scala文件中使用这个库来操作一些数据.我怎么做？我不能使用maven.

编辑可能的dupl:我也没有jar; 如果这是解决方案的一部分,我该如何从该库中制作一个jar？

Answer 1

您引用的库可以在Maven Central上获得,spark-shell如果您为其提供正确的Maven坐标,它可以自动从Maven Central和其他一些流行的存储库下载库.您不需要明确使用Maven.(事实上​​,它甚至允许您指定自己的其他Maven存储库并搜索它们.)请参阅http://spark.apache.org/docs/latest/rdd-programming-guide.html#using-the-shell

在具体情况下,命令应该是这样的

./bin/spark-shell --master local[4] --packages "dk.tbsalling:aismessages:2.2.1"

注意:您可以浏览https://spark-packages.org/以查找spark包.