Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 未找到spark submit myfile.py模块_Python_Python 2.7_Apache Spark_Pip - Fatal编程技术网

Python 未找到spark submit myfile.py模块

Python 未找到spark submit myfile.py模块,python,python-2.7,apache-spark,pip,Python,Python 2.7,Apache Spark,Pip,我做过类似的事情: export SPARK_HOME=/path/to/your/spark-1.4.1-bin-hadoop2.6 export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 但是当我跑的时候 spark-submit myfile.py

我做过类似的事情:

export SPARK_HOME=/path/to/your/spark-1.4.1-bin-hadoop2.6

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
但是当我跑的时候

spark-submit myfile.py
如果我希望导入我使用
pip install
安装的模块,则会出现以下错误:

导入错误:没有名为空白的模块

其中blank基本上是我用pip安装的任何模块


这一定很容易解决,但我不确定哪些路径需要更正。

如何设置Python解释器?您使用本地模式还是集群管理器?您能解释一下如何设置Python解释器吗?我不知道你的意思。这是作为群集运行的。因此,如果不是本地模式,则必须在每个工作程序上安装模块。我有一行代码,如
try:import-numpy,import-terror:import-pip-pip.main(['install',numpy'])import-numpy
,但我遇到了一个pip-not-installed错误。如果工人运行2.7,他们不会安装pip吗?或者我也需要在worker上设置python路径吗?我的建议是——首先提供所有细节。配置、集群管理器、执行pip的位置/方式等。如何设置Python解释器?您使用本地模式还是集群管理器?您能解释一下如何设置Python解释器吗?我不知道你的意思。这是作为群集运行的。因此,如果不是本地模式,则必须在每个工作程序上安装模块。我有一行代码,如
try:import-numpy,import-terror:import-pip-pip.main(['install',numpy'])import-numpy
,但我遇到了一个pip-not-installed错误。如果工人运行2.7,他们不会安装pip吗?或者我也需要在worker上设置python路径吗?我的建议是——首先提供所有细节。配置、集群管理器、执行pip的位置/方式等。