Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/299.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
有没有办法在google dataproc初始化操作中pip安装一个wheel或tar.gz python包_Python_Pip_Google Cloud Dataproc - Fatal编程技术网

有没有办法在google dataproc初始化操作中pip安装一个wheel或tar.gz python包

有没有办法在google dataproc初始化操作中pip安装一个wheel或tar.gz python包,python,pip,google-cloud-dataproc,Python,Pip,Google Cloud Dataproc,我正在尝试在Dataproc集群上安装软件包psycopg2。我尝试了以下方法,但由于我的工作计算机有防火墙限制,因此无法正常工作 区域= gcloud dataproc群集创建我的群集\ --图像版本1.4\ --元数据“CONDA_PACKAGES=psycopg2”\ --元数据“PIP_PACKAGES=psycopg2”\ --初始化操作\ gs://googdataproc初始化操作-${REGION}/python/conda install.sh,gs://googdatapro

我正在尝试在Dataproc集群上安装软件包psycopg2。我尝试了以下方法,但由于我的工作计算机有防火墙限制,因此无法正常工作

区域=
gcloud dataproc群集创建我的群集\
--图像版本1.4\
--元数据“CONDA_PACKAGES=psycopg2”\
--元数据“PIP_PACKAGES=psycopg2”\
--初始化操作\
gs://googdataproc初始化操作-${REGION}/python/conda install.sh,gs://googdataproc初始化操作-${REGION}/python/pip-install.sh
现在我已经将
psycopg2.whl
psycopg2.tar.gz
文件放在了GSC中。现在,我需要在Dataproc集群创建过程中以某种方式安装它们,在看了这个之后,这似乎是可能的
任何人都可以提供有关如何让pip通过Dataproc初始化操作从GCS安装
whl
tar.gz
文件的更多详细信息。谢谢

我认为,要做到这一点,您可以将初始化操作自定义为

  • 将控制盘软件包从gcs下载到本地文件系统
  • 从那里安装[local wheel package]
  • 使用GCS路径下的自定义初始化操作文件创建群集

  • 执行此操作时请遵循。

    好的,那么您的意思是创建一个脚本,该脚本将执行类似pip install gs:///psycopg2.tar.gz的操作,然后在初始化操作中,我将通过gcloud dataproc clusters调用它创建我的集群\--映像版本1.4\--初始化操作\gs://\install.shRight,但您可能必须将gs:///psycopg2.tar.gz下载到某个vm本地路径才能安装控制盘包。我还没有看到pip支持gs://安装路径。