IntelliJ里面的scala spark笔记本

Question

我使用andypetrella/spark-notebook,它很棒:

docker run -p 9001:9001 andypetrella/spark-notebook:0.7.0-scala-2.11.8-spark-2.1.0-hadoop-2.7.3

但是,我想从InteliJ内部使用这样的笔记本来使用完成和调试.怎么做到这一点？

我看到IntelliJ你可以有New - > jupyter,但我认为它只是python.或者它是否适用于scala和spark？

我还看到IntelliJ有一个Scala工作表.通过其实验性REPL,IntelliJ逐步评估添加的新行,但如果您更改文件中间的行,它将从头开始评估所有文件.因此,与jupyter笔记本相比,不是很方便.

我在IntelliJ中看到有关运行scala spark notebook的其他问题,比如这个,但是他们没有在这里回答这个问题. 如何在Intellij中运行Spark scala应用程序

问题是如何从IntelliJ内部获得等效的andypetrella/spark-notebook(所以,只评估更改的行)？

Answer 1

至于Intellij中的spark笔记本，恐怕你运气不好。如果您想要 Intellij 中带有 Spark 的任何笔记本，那么您可以测试 Apache Zeppelin笔记本。该插件可以工作，但已经过时了。

docker run --rm -p 8080:8080 dylanmei/zeppelin

• 在 IntelliJ Plugins->Browse repositories-> 搜索 IntelliJ Zeppelin
• 创建一个空的 scala 类并在其中输入“NotebookName”
• 按 ctrl+shift+alt+enter (shift+option+cmd+enter)（有关快捷键，请参阅 intellij 菜单中的工具 -> Zeppelin） - 这应该会给你一个窗口，询问 zepellin 的地址
• 输入段落的代码
• shift+alt+enter（shift+option+enter）添加段落。这应该会给你该段落的结果
• 导航到http://localhost:8080（或您提供的任何端口）并查找“NotebookName”（如果您不给它命名，它将生成为“IntelliJ Notebook”）

插件 github 上有一个演示： https: //github.com/chilang/intellij-zeppelin

如果您尝试将此插件与 Spark-Notebook 一起使用，则会产生严重的错误。