Fatal编程技术网
  • airflow/
  • Airflow 使用芹菜运行并行任务的理想配置？

Airflow 使用芹菜运行并行任务的理想配置？

airflow

Airflow 使用芹菜运行并行任务的理想配置？,airflow,airflow-scheduler,airflow-worker,Airflow,Airflow Scheduler,Airflow Worker,使用芹菜和AWS SQS运行并行任务的理想配置是什么 我在AWS ECS中设置了气流，其中有1个主气流实例和1个工人，都配置了1个vCPU+2GB RAM。我做了一个目标扩展，在这个扩展中，当CPU阈值超过10%时，我会增加工作人员，最多3个工作人员。因此，在峰值运行期间，我将有3个工作线程，每个工作线程具有1个vCPU+2GB RAM 气流配置： parallelism = 48 dag_concurrency = 20 worker_concurrency = 16 我面临两个问题： p

使用芹菜和AWS SQS运行并行任务的理想配置是什么

我在AWS ECS中设置了气流，其中有1个主气流实例和1个工人，都配置了1个vCPU+2GB RAM。我做了一个目标扩展，在这个扩展中，当CPU阈值超过10%时，我会增加工作人员，最多3个工作人员。因此，在峰值运行期间，我将有3个工作线程，每个工作线程具有1个vCPU+2GB RAM

气流配置：

parallelism = 48 
dag_concurrency = 20
worker_concurrency = 16
我面临两个问题：

parallelism = 48 
dag_concurrency = 20
worker_concurrency = 16
  • 随机很少有任务执行两次

  • 随机地，很少有任务会因为内存不足异常而失败，这意味着其中一个工作进程内存不足

    • 请建议理想的配置，在任务运行平稳