如果我用pip安装pyspark,则缺少spark-env.sh

如果我用pip安装pyspark,则缺少spark-env.sh,pip,pyspark,Pip,Pyspark,我用pip安装了pyspark 2.2.0,但是我没有看到名为spark env.sh的文件,也没有看到conf目录。我想在此文件中定义变量,如SPARK\u WORKER\u CORES。我应该如何进行 我使用的是Mac OSX El Capitan,python 2.7。PyPi的PySpark(即安装了pip或conda)不包含完整的PySpark功能;它仅适用于现有集群中的Spark安装,在这种情况下,您可能需要。从: Spark的Python打包并不打算取代所有 其他用例。此Pytho

我用
pip
安装了pyspark 2.2.0,但是我没有看到名为
spark env.sh
的文件,也没有看到
conf
目录。我想在此文件中定义变量,如
SPARK\u WORKER\u CORES
。我应该如何进行

我使用的是Mac OSX El Capitan,python 2.7。

PyPi的PySpark(即安装了
pip
conda
)不包含完整的PySpark功能;它仅适用于现有集群中的Spark安装,在这种情况下,您可能需要。从:

Spark的Python打包并不打算取代所有 其他用例。此Python打包版本的Spark适用于 与现有集群(无论是独立集群、纱线集群还是 Mesos)-但不包含设置您自己的系统所需的工具 独立的火花簇。您可以下载Spark的完整版本 从

所以,您应该像上面所说的那样下载Spark(PySpark是它的一个重要组件)