为PySpark绑定Python3包会导致缺少导入
我正在尝试运行一个依赖于某些python3库的PySpark作业。 我知道我可以在Spark集群上安装这些库,但是因为我正在为多个作业重用集群,所以我宁愿捆绑所有依赖项,并通过为PySpark绑定Python3包会导致缺少导入,python,python-3.x,numpy,apache-spark,pyspark,Python,Python 3.x,Numpy,Apache Spark,Pyspark,我正在尝试运行一个依赖于某些python3库的PySpark作业。 我知道我可以在Spark集群上安装这些库,但是因为我正在为多个作业重用集群,所以我宁愿捆绑所有依赖项,并通过--py files指令将它们传递给每个作业 为此,我使用: pip3 install -r requirements.txt --target ./build/dependencies cd ./build/dependencies zip -qrm . ../dependencies.zip 它有效地从根级别使用的所
--py files
指令将它们传递给每个作业
为此,我使用:
pip3 install -r requirements.txt --target ./build/dependencies
cd ./build/dependencies
zip -qrm . ../dependencies.zip
它有效地从根级别使用的所需包中提取所有代码
在mymain.py
中,我可以导入依赖项
if os.path.exists('dependencies.zip'):
sys.path.insert(0, 'dependencies.zip')
并将.zip添加到我的Spark上下文中
sc.addPyFile('dependencies.zip')
到目前为止还不错
但出于某种原因,这将在某种程度上依赖于火花星团
跑步
spark提交--py files dependencies.zip main.py
在main.py
(或类)中,我想使用熊猫。它将触发此错误的代码:
回溯(最近一次呼叫最后一次):
文件“/Users/tomlous/Development/Python/enrichers/build/main.py”,第53行,在
job\u module=importlib.import\u module('spark.jobs.%s'%args.job\u name)
文件“”,第978行,在_gcd_import中
文件“”,第961行,在“查找”和“加载”中
文件“”,第950行,在“查找”和“加载”中解锁
文件“”,第646行,在“加载”中
文件“”,第616行,可向后加载
文件“dependencies.zip/spark/jobs/classify_existence.py”,第9行,在
文件“dependencies.zip/enrich/existence.py”,第3行,在
文件“dependencies.zip/pandas/init.py”,第19行,在
ImportError:缺少必需的依赖项['numpy']
看看panda的\uuuu init\uuuuuuy.py
我看到了类似于\uuuuuu import\uuuuuuy(numpy)
所以我假设numpy没有加载
但如果我将代码更改为显式调用numpy函数,它实际上会找到numpy,但不会找到它的某些依赖项
import numpy as np
a = np.array([1, 2, 3])
代码返回
回溯(最近一次呼叫最后一次):
文件“dependencies.zip/numpy/core/init.py”,第16行,在
导入错误:无法导入名称“multiarray”
所以我的问题是:
如何将python3库与spark作业捆绑在一起,而不必在spark群集上安装所有可能的库?如果切换到virtualenv,您可以轻松实现这一点。在这个环境中,您需要安装所有必要的需求,然后使用
--archives
将其压缩并传递。这是一篇描述细节的好文章:更新:有一个内聚回购协议,其中包括一个非常出色的示例项目。你应该看看,尤其是如果我下面的例子不适合你。回购协议如下:
并包括以下在纱线上运行的示例:
这要求您首先导出几个环境变量。(我提供的值特定于EMR,因此您的值可能不同。)
如本文所述: 有必要使用virtualenv(或者conda可能会起作用)之类的工具,以避免遇到与Python包(如Numpy)的C库编译相关的问题依赖于基础硬件体系结构,但由于依赖项和/或任务节点中的硬链接(可能与主节点实例具有不同的硬件)而无法成功移植到群集中的其他计算机 这里讨论了--archives和--py文件之间的一些差异: 我建议使用--archives with virtualenv来提供包含包依赖项的压缩文件,以避免我上面提到的一些问题 例如,从Amazon Elastic Map Reduce(EMR)集群,当ssh连接到主实例时,我能够成功地使用spark submit从VirtualEnvironment执行测试python脚本,如下所示:
pip-3.4 freeze | egrep -v sagemaker > requirements.txt
# Above line is just in case you want to port installed packages across environments.
virtualenv -p python3 spark_env3
virtualenv -p python3 --relocatable spark_env3
source spark_env3/bin/activate
sudo pip-3.4 install -U pandas boto3 findspark jaydebeapi
# Note that the above libraries weren't required for the test script, but I'm showing how you can add additional dependencies if needed.
sudo pip-3.4 install -r requirements.txt
# The above line is just to show how you can load from a requirements file if needed.
cd spark_env3
# We must cd into the directory before we zip it for Spark to find the resources.
zip -r ../spark_env3_inside.zip *
# Be sure to cd back out after building the zip file.
cd ..
PYSPARK_PYTHON=./spark_env3/bin/python3 spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./spark_env3/bin/python3 \
--master yarn-cluster \
--archives /home/hadoop/spark_env3_inside.zip#spark_env3 \
test_spark.py
请注意,上面最后一行末尾附近的标签不是注释。这是spark submit的指令,如下所述:
我正在运行的测试脚本的源代码来自本文,其中讨论了如何使用conda而不是virtualenv来运行pyspark作业:
并包含test_spark.py脚本的以下代码:
# test_spark.py
import os
import sys
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf()
conf.setAppName("get-hosts")
sc = SparkContext(conf=conf)
def noop(x):
import socket
import sys
return socket.gethostname() + ' '.join(sys.path) + ' '.join(os.environ)
rdd = sc.parallelize(range(1000), 100)
hosts = rdd.map(noop).distinct().collect()
print(hosts)
如果您想要一些关于使用virtualenv执行pyspark作业的背景信息,正如@Mariusz已经提到的,在这篇博文中有一个有用的例子:(虽然它没有解释我在提供的其他链接中澄清的一些细节)
在这里提供的回复帖子中还有一个额外的例子:
这里还有另一个例子:我会从记录
sys.path
开始,以了解pyspark节点看到的内容。我会连接到workernode,启动python并开始执行导入。我会尝试记录,但连接到workernode有点达不到目的。GCP为集群提供init操作,我现在将其用于解决方案,但我倾向于将集群用于多个Spark作业,现在我必须积累所有作业中的所有python包,并在集群初始化时安装它们。所以从技术上讲,这是可行的,但似乎是Scala/Java提供的一个差劲的替代品,它创建了带有捆绑dependenciesthank的胖jar。我已经有一段时间没有做这个了,但这似乎是我一直在寻找的。这并没有解决具有特定C绑定的模块的更精细的问题。尽管本文引用了numpy(其中一个特殊的库),但它并没有处理OP所经历的恐怖。
# test_spark.py
import os
import sys
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf()
conf.setAppName("get-hosts")
sc = SparkContext(conf=conf)
def noop(x):
import socket
import sys
return socket.gethostname() + ' '.join(sys.path) + ' '.join(os.environ)
rdd = sc.parallelize(range(1000), 100)
hosts = rdd.map(noop).distinct().collect()
print(hosts)