Python ImportError:运行spark时没有名为请求的模块
我正在尝试使用一个名为“requests”的python包以及一个使用pyspark的程序。我已经下载了所需的软件包,并且能够通过包含“导入请求”来为普通python程序使用它,但它不适用于pyspark程序,并显示“ImportError:无模块命名请求” 代码 调用函数 输出误差线Python ImportError:运行spark时没有名为请求的模块,python,apache-spark,python-requests,pyspark,rdd,Python,Apache Spark,Python Requests,Pyspark,Rdd,我正在尝试使用一个名为“requests”的python包以及一个使用pyspark的程序。我已经下载了所需的软件包,并且能够通过包含“导入请求”来为普通python程序使用它,但它不适用于pyspark程序,并显示“ImportError:无模块命名请求” 代码 调用函数 输出误差线 看起来您已经在另一个python解释器上执行了pyspark应用程序,请确保您已经为该解释器安装了请求包,您可以检查请求是否安装在[pyspark\u VENV]/lib/python2.7/site packa
看起来您已经在另一个python解释器上执行了pyspark应用程序,请确保您已经为该解释器安装了
请求
包,您可以检查请求
是否安装在[pyspark\u VENV]/lib/python2.7/site packages/
文件夹中
运行命令并重新启动应用程序将解决以下问题:
/var/scratch/wdps1615/spark-2.0.2-bin-without-hadoop/pip install requests
我也有同样的问题,这对我来说很有效:
import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')
import requests
您也可以使用
python2.7
而不是python3.5
,但您必须确保该文件夹中已安装并可用pip包。您可以在包含脚本的同一文件夹中运行pip freeze
吗?是的,列表中有“requests==2.12.3”。
16/12/12 15:42:33 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 1.0 (TID 48, node090.cm.cluster): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/local/hadoop-2/tmp/hadoop-yarn/nm-local-dir/usercache/wdps1615/appcache/application_1480500761259_0178/container_1480500761259_0178_01_000003/pyspark.zip/pyspark/worker.py", line 172, in main
process()
File "/local/hadoop-2/tmp/hadoop-yarn/nm-local-dir/usercache/wdps1615/appcache/application_1480500761259_0178/container_1480500761259_0178_01_000003/pyspark.zip/pyspark/worker.py", line 167, in process
serializer.dump_stream(func(split_index, iterator), outfile)
File "/local/hadoop-2/tmp/hadoop-yarn/nm-local-dir/usercache/wdps1615/appcache/application_1480500761259_0178/container_1480500761259_0178_01_000003/pyspark.zip/pyspark/serializers.py", line 133, in dump_stream
for obj in iterator:
File "/var/scratch/wdps1615/spark-2.0.2-bin-without-hadoop/python/lib/pyspark.zip/pyspark/rdd.py", line 1507, in func
File "/var/scratch/wdps1615/Entitytext.py", line 45, in get_text
import requests
ImportError: No module named requests
/var/scratch/wdps1615/spark-2.0.2-bin-without-hadoop/pip install requests
import sys
sys.path.append('/usr/local/lib/python3.5/dist-packages')
import requests