在Jupyter上使用Spark Kernel

Question

所以我刚刚开始使用Jupyter和笔记本电脑的想法.

我通常在VIM和终端上编程,所以我仍然想弄清楚一些事情.

我正在尝试使用Toree内核.

我正在尝试安装一个能够执行spark并且遇到Toree的内核.我安装了toree,当我运行内核列表时它出现了.结果如下:

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

---

因此,当我打开一个toree笔记本时,内核会死掉并且不会重启.关闭笔记本并重新打开它会导致内核更改为Python3.

有一个大的错误消息被打印到主机终端和笔记本错误消息.还有另一个职位被搁置; 它们是相同的错误消息.

我按照此页面进行安装:https: //github.com/apache/incubator-toree

这些说明主要针对Linux/Mac出现.

关于如何在Jupyter上购买火花笔记本的任何想法？

我知道这里没有很多信息,如果需要更多信息.让我知道.

Answer 1

我向 Gitter 发布了一个类似的问题，他们回复说（解释）：

Toree 是 Jupyter 上 Spark 编程的未来，并且似乎已在 Windows 计算机上正确安装，但 .jar 和 .sh 文件将无法在 Windows 计算机上正确运行。

知道了这一点，我在我的 Linux (Fedora) 和借来的 Mac 上尝试了它。安装 jupyter（和 Anaconda）后，我输入了以下命令：

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6"
$ sudo pip install toree
 Password: **********
$ sudo jupyter toree install --spark_home=$SparkHome

Jupyter 在两台机器上运行 toree 笔记本。我认为虚拟机也可以工作。我想看看 Windows 10 的 bash shell 是否也可以使用它，因为我运行的是 Windows 7。

感谢其他文档！