如何在Pyspark中运行脚本并在完成后放入IPython shell？

Question

我想运行一个spark脚本并放入一个IPython shell来交互式地检查数据.

同时运行:

$ IPYTHON=1 pyspark --master local[2] myscript.py

和

$ IPYTHON=1 spark-submit --master local[2] myscript.py

一旦完成,退出IPython.

这看起来很简单,但找不到如何在任何地方做到这一点.

Answer 1

使用启动 IPython shell IPYTHON=1 pyspark，然后运行execfile('/path/to/myscript.py')，这应该在 shell 内运行您的脚本并返回到它。