Pyspark与Jupyter的集成_Pyspark_Jupyter

Pyspark与Jupyter的集成

pyspark

Pyspark与Jupyter的集成,pyspark,jupyter,Pyspark,Jupyter,我已经在我的机器上安装了Anaconda（python 2.7版），并用“PYSPARK\u DRIVER\u python=jupyter”和“PYSPARK\u DRIVER\u python\u OPTS=“notebook”启动了jupyter笔记本，我正在连接到jupyter笔记本，但也无法运行“print”命令。当我运行命令时，它将进入下一行，但不显示输出，并且打印不会以彩色突出显示我已经在我的windows机器（独立模式）中安装了pyspark并在命令提示符下运行，它工作正常……

我已经在我的机器上安装了Anaconda（python 2.7版），并用“PYSPARK\u DRIVER\u python=jupyter”和“PYSPARK\u DRIVER\u python\u OPTS=“notebook”启动了jupyter笔记本，我正在连接到jupyter笔记本，但也无法运行“print”命令。当我运行命令时，它将进入下一行，但不显示输出，并且打印不会以彩色突出显示

我已经在我的windows机器（独立模式）中安装了pyspark并在命令提示符下运行，它工作正常……但我需要在jupyter笔记本（windows）中运行。有人能帮我吗？

这就是在windows上使用Jupyter安装Pyspark所需的全部操作，而您已经按照您所提到的正确安装了Pyspark shell

添加2个新的环境变量，设置

```
PYSPARK\u DRIVER\u PYTHON
```
to jupyter

PYSPARK\u驱动程序\u PYTHON\u选择笔记本电脑


从CMD提示符运行pyspark
，而不是“jupyter笔记本”
”
这应该可以解决问题。
有关最新设置，请查看其官方jupyter docker repo
它是带有Spark 2.1.0和Hadoop 2.7的Jupyter 4.x
docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook


作为旁注
jupyter使用配置文件，而ipython使用概要文件。我相信如果你想在本地运行spark standalone。看看Dockerfile，找出它的神奇之处
更多的黄金
您是否遇到任何错误？您能在笔记本中创建一个SparkContext吗？SparkContext是否正在关闭？没有任何错误，只是没有显示输出，只是在我运行时它将进入下一行。@RahulLakhanpal“print sc”语句也不起作用