在toree中安装spark包

Question

我通常用以下方法启动我的火花壳:

./bin/spark-shell --packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1

我现在正在尝试使用Apache Toree,我应该如何在笔记本上加载这些库？

我尝试了以下方法:

jupyter toree install --user --spark_home=/home/eron/spark-1.6.1/ --spark_opts="--packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1"

但这似乎不起作用

Answer 1

当您正确地将Apache Toree安装为Jupyter的内核时,您可以在笔记本单元中定义Maven依赖关系,如下所示:

%AddDeps org.apache.spark spark-mllib_2.10 1.6.2
%AddDeps com.github.haifengl smile-core 1.1.0 --transitive
%AddDeps io.reactivex rxscala_2.10 0.26.1 --transitive
%AddDeps com.chuusai shapeless_2.10 2.3.0 --repository https://oss.sonatype.org/content/repositories/releases/
%AddDeps org.tmoerman plongeur-spark_2.10 0.3.9 --repository file:/Users/tmo/.m2/repository

(摘自此笔记本)

%AddDeps是一个所谓的魔术,如Spark-kernel(现在改名为Toree)wiki中所记录.