Google cloud platform 与Cloud Composer的松弛集成-断开的DAG没有名为'的模块;slackclient';
我们无法将slack与Cloud composer集成。SlackAPIPostOperator具有slackclient依赖项,我们使用以下命令直接将其安装在工作节点上:Google cloud platform 与Cloud Composer的松弛集成-断开的DAG没有名为'的模块;slackclient';,google-cloud-platform,airflow,slack-api,google-cloud-composer,Google Cloud Platform,Airflow,Slack Api,Google Cloud Composer,我们无法将slack与Cloud composer集成。SlackAPIPostOperator具有slackclient依赖项,我们使用以下命令直接将其安装在工作节点上: sudo python3 -m pip install apache-airflow[slack] 这将安装slack 1.3.2 我们必须在工作节点上安装,因为Cloud composer UI上的pypi包安装选项反复超时 模块导入语句在工作节点上工作正常。但是,composer仍然报告损坏的DAG,并显示错误消息:损
sudo python3 -m pip install apache-airflow[slack]
这将安装slack 1.3.2
我们必须在工作节点上安装,因为Cloud composer UI上的pypi包安装选项反复超时
模块导入语句在工作节点上工作正常。但是,composer仍然报告损坏的DAG,并显示错误消息:损坏的DAG:[/home/aiffair/gcs/DAGs/composer slack test.py]没有名为“slackclient”的模块。
Composer版本为:Composer-1.16.0-airflow-1.10.15
感谢您的帮助
谢谢 如果包安装超时,则可能意味着Cloud Composer尝试构建工作程序/调度程序映像时发生包冲突。要解决此问题,您应该在更新操作超时后查看生成日志,并查看
pip check
的输出。在那里,您将能够识别由于版本限制而无法安装的软件包
无法从工作流访问安装在worker节点上的包,因为Airflow worker/scheduler以Kubernetes吊舱的形式运行。您不应该手动将包安装到节点或工作程序/计划程序吊舱上,因为它们可以随时更换。您是否尝试过将依赖项直接安装到composer?正如我在我的帖子中提到的,它不起作用,它一再超时。因此,我安装在工作节点上。