Airflow 我想将PythonFabric与我的自定义操作符一起使用,我应该如何在workers上安装Fabric?

Airflow 我想将PythonFabric与我的自定义操作符一起使用,我应该如何在workers上安装Fabric?,airflow,google-cloud-composer,Airflow,Google Cloud Composer,此时,我正在考虑每次我的操作符执行时调用bash命令pip install fabric2,但这看起来不是一个好主意。事实证明,您可以使用:pythonvirtualenvooperator它支持pip-deps Composer用户可以使用的另一个选项是通过Composer本身安装deps:创建一个类似的requirements.txt文件,并在创建cloud Composer环境时将其作为变量传递 示例requirements.txt文件: scipy>=0.13.3 scikit-l

此时,我正在考虑每次我的操作符执行时调用bash命令
pip install fabric2
,但这看起来不是一个好主意。

事实证明,您可以使用:
pythonvirtualenvooperator
它支持pip-deps


Composer用户可以使用的另一个选项是通过Composer本身安装deps:

创建一个类似的
requirements.txt文件,并在创建cloud Composer环境时将其作为变量传递

示例
requirements.txt
文件:

scipy>=0.13.3
scikit-learn
nltk[machine_learning]
requirements.txt
文件传递到
环境。设置python依赖项
命令可设置安装依赖项

gcloud beta composer environments update ENVIRONMENT_NAME \
--update-pypi-packages-from-file requirements.txt \
--location LOCATION