Pyspark Pypark和PDB don'；他似乎不太合群

我正在构建使用pyspark（和elasticsearch hadoop连接器）的独立python程序。我还沉迷于Python调试器（PDB），希望能够逐步完成我的代码

看来我不能像平常一样用PDB运行pyspark

./pyspark -m pdb testCode.py

我收到一个错误“pyspark不支持任何应用程序选项”

可以从标准python解释器运行pyspark代码吗？还是我需要放弃pdb

我还在线看到我需要在我的PYTHONPATH中包含py4j-0.9-src.zip。当我这样做时，我可以使用python解释器并逐步完成我的代码，但是当它运行任何pyspark代码时，我会得到一个错误“Py4JavaError:Py4JJava…t id=o18”。这个错误似乎表明我并没有真正与spark互动

---

如何实现这一点？

您可以直接从标准Python会话中使用PySpark，但我怀疑它是否能像您预期的那样工作。看看我的答案。