Google cloud composer PythonOperator任务挂起访问云存储，并按计划堆叠

在访问云存储时，我的DAG中的一项任务有时会挂起。代码似乎在此处的

下载

功能处停止：

hook=GoogleCloudStorageHook（google\u cloud\u storage\u conn\u id='google\u cloud\u default'）
对于hook.list（bucket，前缀=文件夹）中的输入文件：
hook.download（bucket=bucket，object=input\u file）

在我的测试中，文件夹包含一个20Mb的json文件

该任务通常需要20-30秒，但在某些情况下，它将运行5分钟，之后其状态将更新为

SCHEDULED

，并停留在那里（等待超过6小时）。我怀疑这5分钟是由于配置

调度程序\u僵尸\u任务\u阈值300

造成的，但不确定

---

如果在Web UI上手动清除该任务，该任务将快速排队并再次正确运行。我通过设置

execution\u timeout

来解决这个问题，该超时将任务正确地更新为

FAILED

或

UP\u，以便重试

状态，时间超过10分钟；但我想解决基本问题，避免依赖固定的超时阈值，有什么建议吗

Cloud Composer讨论组讨论了以下内容：。当气流工人死亡时，芹菜执行器有问题

尽管作曲家正在处理一个修复程序，但是如果您希望在当前版本中较少发生这种情况，则可以考虑减少并行性的气流配置或创建具有较大机器类型的新环境。