Apache spark 如何从命令行访问apachepyspark?
我正在使用Jupyter笔记本学习ApachePySpark的在线课程。为了方便地打开Jupyter笔记本,他们让我在我的bash配置文件中输入以下代码行,我使用的是MAC OS:Apache spark 如何从命令行访问apachepyspark?,apache-spark,pyspark,jupyter-notebook,Apache Spark,Pyspark,Jupyter Notebook,我正在使用Jupyter笔记本学习ApachePySpark的在线课程。为了方便地打开Jupyter笔记本,他们让我在我的bash配置文件中输入以下代码行,我使用的是MAC OS: export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)" export PATH=$SPARK_HOME/bin:$PATH export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS='not
export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
我对Linux不太熟悉,本课程也没有解释这些代码行的作用。在此之前,我可以通过命令行输入PySpark来访问PySpark。但现在当我输入Pypark时,它会打开一个jupyter笔记本。现在我不知道如何从命令行访问它。这段代码做什么?如何访问命令行pyspark?您是否使用pyspark的本地安装 你可以用 使用Anaconda安装FindPark 首先,添加这两行,它将能够找到pyspark
import findspark
findspark.init()
import pyspark
sc = pyspark.SparkContext(appName="myAppName")
是的,我在巨蟒身上安装了PySpark。所以我可以使用Anaconda安装findspark,然后在终端中键入前2行,它会将我放入Pyspark外壳中?