Airflow 无法使用气流插件运行气流任务

Airflow 无法使用气流插件运行气流任务,airflow,google-cloud-composer,google-cloud-scheduler,Airflow,Google Cloud Composer,Google Cloud Scheduler,我有gcloud composer气流实例和自定义气流web插件,它们在特定端点上运行单独的作业。气流版本为1.14(云中的1.14+合成器) 上面的清单是web插件端点的一个示例。这段代码在我的本地实例Cellery executor上不流动地工作,但由于某些原因,它在云中不工作。 从日志文件中,我清楚地看到任务正在添加到队列中: 2021-04-28T16:17:04.962251133Zairflow-webserver [2021-04-28 16:17:01,054] {base_ex

我有gcloud composer气流实例和自定义气流web插件,它们在特定端点上运行单独的作业。气流版本为1.14(云中的1.14+合成器)

上面的清单是web插件端点的一个示例。这段代码在我的本地实例Cellery executor上不流动地工作,但由于某些原因,它在云中不工作。 从日志文件中,我清楚地看到任务正在添加到队列中:

2021-04-28T16:17:04.962251133Zairflow-webserver [2021-04-28 16:17:01,054] {base_executor.py:58} INFO - Adding to queue: ['airflow', 'run', 'tutorial', 'print_date', '2021-04-23T09:18:11+00:00', '-A', '--local', '--pool', 'default_pool', '-sd', 'DAGS_FOLDER/
但有多个错误表明上述操作未成功完成:

[2021-04-28 16:23:27,934] {redis.py:363} ERROR - Connection to Redis lost: Retry (0/20) now.@-@{"workflow": "tutorial", "task-id": "print_date", "execution-date": "2021-04-23T09:18:13+00:00"}
我可以使用gcloud cli运行单独的任务,但由于某些原因,插件中没有执行类似的代码。 我错过什么了吗

更新

下面是工作负载的屏幕截图
[1] :

您能告诉我您使用的是哪种类型的机器吗?@AlexandreMoraes web服务器:composer-n1-webserver-2(2个vCPU,1.6 GB内存),airflow gke:n1-standard-1我还将操作超时芹菜参数更改为15,因此,现在它等待15秒,然后像以前一样失败。由于连接到Redis时需要大量资源,您使用的机器类型似乎内存不足。你能创造一个新的更高的环境吗?然后用它测试你的任务。请让我知道它是否有效。@AlexandreMoraes您的意思是改变gke机器类型吗?
[2021-04-28 16:23:27,934] {redis.py:363} ERROR - Connection to Redis lost: Retry (0/20) now.@-@{"workflow": "tutorial", "task-id": "print_date", "execution-date": "2021-04-23T09:18:13+00:00"}