Airflow 气流运行CPU使用率

出于某种原因，在过去30天中运行回填时，我注意到

气流运行

在一次执行中使用了大量CPU。以下是htop输出：

我在那里做的不多，这是我的DAG：

导入操作系统
从datetime导入datetime，timedelta
从气流导入DAG
从airflow.operators.docker\u operator导入DockerOperator
从airflow.operators.dummy_operator导入dummy operator
从afflow.utils.timezone导入utc
dag=dag(
“你好，世界”，
默认参数={
“所有者”：“气流”，
“依靠过去”：错，
“开始日期”：日期时间（2010年5月3日，tzinfo=utc），
“电子邮件”：“（…）”，
“失败时发送电子邮件”：正确，
“重试时发送电子邮件”：True，
“重试次数”：0，
“重试延迟”：时间增量（秒=60），
},
#时间间隔=时间增量（秒=2），
catchup=False，
)
root=dummy操作符（dag=dag，task\u id=“root”）
hello_world=DockerRoperator(
task\u id=“你好”，
image=“节点：14”，
api_version=“自动”，
自动删除=真，
环境={}，
卷=[]，
command=“node-e”console.log（\“Hello，world\””，
docker\u url=os.getenv（“docker\u主机，”unix://var/run/docker.sock"),
网络模式=“网桥”，
dag=dag，
)
根>>你好，世界

是的，如果我将一个简单的

bash操作符

与

command=“echo Hello，world”

一起使用，同样的事情也会发生。所以我想这和Docker没什么关系

这些是我在调度器上使用的环境变量：

AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL=0
AIRFLOW__SCHEDULER__MAX_THREADS=4
AIRFLOW__SCHEDULER__SCHEDULER_HEARTBEAT_SEC=3
AIRFLOW__SCHEDULER__JOB_HEARTBEAT_SEC=5
AIRFLOW__SCHEDULER__SCHEDULER_ZOMBIE_TASK_THRESHOLD=300
AIRFLOW__SCHEDULER__CATCHUP_BY_DEFAULT=False
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL=5

我确实在development server上使用了

AIRFLOW\uuuuuu SCHEDULER\uuuuu MIN\u FILE\u PROCESS\u INTERVAL=0

，因此它执行速度很快，如果我将它设置为任何高于0的值，比如60，我将不得不等待很长时间才能看到它与DAG中的其他任务一起运行和向下移动

---

你知道为什么每次执行的CPU使用率都这么高吗？

所以你确定不是DockerOperator（我相信该操作员有CPU参数）？如果是这样的话，您在运行气流的地方有多少CPU？另外，如果您更改气流\uuuuu调度程序\uuuuu MIN\u文件\u进程\u间隔，它的行为是否会有所不同？@hopeIsTheonlyWeapon一点也不。不过，我注意到的是，如果任务退出太快，它会占用CPU。所以我运行了一堆docker容器，其中有一个“sleep 20”，CPU大约为1%。我猜是与气流任务初始化/清理相关的原因造成的？所以你确定不是DockerRoperator（我相信操作员有CPU参数）？如果是这样的话，您在运行气流的地方有多少CPU？另外，如果您更改气流\uuuuu调度程序\uuuuu MIN\u文件\u进程\u间隔，它的行为是否会有所不同？@hopeIsTheonlyWeapon一点也不。不过，我注意到的是，如果任务退出太快，它会占用CPU。所以我运行了一堆docker容器，其中有一个“sleep 20”，CPU大约为1%。我猜是与气流任务初始化/清理相关的原因造成的？