python/pyspark版本的Jupyter问题

我正在运行一个使用pyspark内核的Jupyter笔记本。我得到以下错误。如何强制Jupyter（最好是从Jupyter内部）使用正确的驱动程序

worker中的Python版本2.6与驱动程序2.7中的版本不同，PySpark无法使用不同的次要版本运行

多谢各位

---

Hani

这可能是pyspark内核.json配置中的一个问题。例如，我的pyspark内核位于：

/usr/local/share/jupyter/kernels/pyspark/kernel.json

并载有：

{
 "display_name": "pySpark (Spark 1.6.0)",
 "language": "python",
 "argv": [
  "/usr/local/bin/python2.7",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "PYSPARK_PYTHON": "/usr/local/bin/python2.7",
  "SPARK_HOME": "/usr/lib/spark",
  "PYTHONPATH": "/usr/lib/spark/python/lib/py4j-0.9-src.zip:/usr/lib/spark/python/",
  "PYTHONSTARTUP": "/usr/lib/spark/python/pyspark/shell.py",
  "PYSPARK_SUBMIT_ARGS": "--master yarn-client pyspark-shell"
 }
}

非常重要的是，在这两个地方都指向相同的python版本（argv和PYSPARK\u-python）

---

希望有帮助

这可能是pysparkkernel.json配置中的问题。例如，我的pyspark内核位于：

/usr/local/share/jupyter/kernels/pyspark/kernel.json

并载有：

{
 "display_name": "pySpark (Spark 1.6.0)",
 "language": "python",
 "argv": [
  "/usr/local/bin/python2.7",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "PYSPARK_PYTHON": "/usr/local/bin/python2.7",
  "SPARK_HOME": "/usr/lib/spark",
  "PYTHONPATH": "/usr/lib/spark/python/lib/py4j-0.9-src.zip:/usr/lib/spark/python/",
  "PYTHONSTARTUP": "/usr/lib/spark/python/pyspark/shell.py",
  "PYSPARK_SUBMIT_ARGS": "--master yarn-client pyspark-shell"
 }
}

非常重要的是，在这两个地方都指向相同的python版本（argv和PYSPARK\u-python）

希望有帮助