PySpark和PDB似乎没有混合

Question

我正在构建将使用pyspark(和elasticsearch-hadoop连接器)的独立python程序.我也沉迷于Python调试器(PDB),并希望能够逐步完成我的代码.

看起来我不能像平常一样用PDB运行pyspark

./pyspark -m pdb testCode.py

我收到错误"pyspark不支持任何应用程序选项"

是否可以从标准的python解释器运行pyspark代码？还是我需要放弃pdb？

我还在网上看到我需要在我的PYTHONPATH中包含py4j-0.9-src.zip.当我这样做时,我可以使用python解释器并逐步执行我的代码,但是当它运行任何pyspark代码时,我收到错误"Py4JavaError:Py4JJava ... t id = o18)".这个错误似乎表明我并没有真正与火花相互作用.

我该如何处理？