Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何从命令行访问apachepyspark?_Apache Spark_Pyspark_Jupyter Notebook - Fatal编程技术网

Apache spark 如何从命令行访问apachepyspark?

Apache spark 如何从命令行访问apachepyspark?,apache-spark,pyspark,jupyter-notebook,Apache Spark,Pyspark,Jupyter Notebook,我正在使用Jupyter笔记本学习ApachePySpark的在线课程。为了方便地打开Jupyter笔记本,他们让我在我的bash配置文件中输入以下代码行,我使用的是MAC OS: export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)" export PATH=$SPARK_HOME/bin:$PATH export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS='not

我正在使用Jupyter笔记本学习ApachePySpark的在线课程。为了方便地打开Jupyter笔记本,他们让我在我的bash配置文件中输入以下代码行,我使用的是MAC OS:

export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

我对Linux不太熟悉,本课程也没有解释这些代码行的作用。在此之前,我可以通过命令行输入PySpark来访问PySpark。但现在当我输入Pypark时,它会打开一个jupyter笔记本。现在我不知道如何从命令行访问它。这段代码做什么?如何访问命令行pyspark?

您是否使用pyspark的本地安装

你可以用

使用Anaconda安装FindPark

首先,添加这两行,它将能够找到pyspark

import findspark
findspark.init()

import pyspark
sc = pyspark.SparkContext(appName="myAppName")

是的,我在巨蟒身上安装了PySpark。所以我可以使用Anaconda安装findspark,然后在终端中键入前2行,它会将我放入Pyspark外壳中?