Airflow 我想将PythonFabric与我的自定义操作符一起使用,我应该如何在workers上安装Fabric?
此时,我正在考虑每次我的操作符执行时调用bash命令Airflow 我想将PythonFabric与我的自定义操作符一起使用,我应该如何在workers上安装Fabric?,airflow,google-cloud-composer,Airflow,Google Cloud Composer,此时,我正在考虑每次我的操作符执行时调用bash命令pip install fabric2,但这看起来不是一个好主意。事实证明,您可以使用:pythonvirtualenvooperator它支持pip-deps Composer用户可以使用的另一个选项是通过Composer本身安装deps:创建一个类似的requirements.txt文件,并在创建cloud Composer环境时将其作为变量传递 示例requirements.txt文件: scipy>=0.13.3 scikit-l
pip install fabric2
,但这看起来不是一个好主意。事实证明,您可以使用:pythonvirtualenvooperator
它支持pip-deps
Composer用户可以使用的另一个选项是通过Composer本身安装deps:创建一个类似的
requirements.txt文件,并在创建cloud Composer环境时将其作为变量传递
示例requirements.txt
文件:
scipy>=0.13.3
scikit-learn
nltk[machine_learning]
将requirements.txt
文件传递到环境。设置python依赖项
命令可设置安装依赖项
gcloud beta composer environments update ENVIRONMENT_NAME \
--update-pypi-packages-from-file requirements.txt \
--location LOCATION