有没有办法在google dataproc初始化操作中pip安装一个wheel或tar.gz python包
我正在尝试在Dataproc集群上安装软件包psycopg2。我尝试了以下方法,但由于我的工作计算机有防火墙限制,因此无法正常工作有没有办法在google dataproc初始化操作中pip安装一个wheel或tar.gz python包,python,pip,google-cloud-dataproc,Python,Pip,Google Cloud Dataproc,我正在尝试在Dataproc集群上安装软件包psycopg2。我尝试了以下方法,但由于我的工作计算机有防火墙限制,因此无法正常工作 区域= gcloud dataproc群集创建我的群集\ --图像版本1.4\ --元数据“CONDA_PACKAGES=psycopg2”\ --元数据“PIP_PACKAGES=psycopg2”\ --初始化操作\ gs://googdataproc初始化操作-${REGION}/python/conda install.sh,gs://googdatapro
区域=
gcloud dataproc群集创建我的群集\
--图像版本1.4\
--元数据“CONDA_PACKAGES=psycopg2”\
--元数据“PIP_PACKAGES=psycopg2”\
--初始化操作\
gs://googdataproc初始化操作-${REGION}/python/conda install.sh,gs://googdataproc初始化操作-${REGION}/python/pip-install.sh
现在我已经将psycopg2.whl
和psycopg2.tar.gz
文件放在了GSC中。现在,我需要在Dataproc集群创建过程中以某种方式安装它们,在看了这个之后,这似乎是可能的
任何人都可以提供有关如何让pip通过Dataproc初始化操作从GCS安装
whl
或tar.gz
文件的更多详细信息。谢谢 我认为,要做到这一点,您可以将初始化操作自定义为
执行此操作时请遵循。好的,那么您的意思是创建一个脚本,该脚本将执行类似pip install gs:///psycopg2.tar.gz的操作,然后在初始化操作中,我将通过gcloud dataproc clusters调用它创建我的集群\--映像版本1.4\--初始化操作\gs://\install.shRight,但您可能必须将gs:///psycopg2.tar.gz下载到某个vm本地路径才能安装控制盘包。我还没有看到pip支持gs://安装路径。