Machine learning 气流阻塞线程机器学习端到端

Machine learning 气流阻塞线程机器学习端到端,machine-learning,concurrency,io,airflow,blocking,Machine Learning,Concurrency,Io,Airflow,Blocking,我正在为端到端机器学习运行气流,一些机器学习任务需要数小时的训练。我不希望DAG和相应的列车任务成为瓶颈,如何安排多个任务?我想我得把遗嘱执行人从顺序改成芹菜。还有什么我会错过的吗 除了芹菜,您还可以使用LocalExecutor,它的设置更简单,可能适合您的需要。此外,您可以为机器学习任务创建一个池,而对其余任务使用默认池

我正在为端到端机器学习运行气流,一些机器学习任务需要数小时的训练。我不希望DAG和相应的列车任务成为瓶颈,如何安排多个任务?我想我得把遗嘱执行人从顺序改成芹菜。还有什么我会错过的吗

除了芹菜,您还可以使用LocalExecutor,它的设置更简单,可能适合您的需要。此外,您可以为机器学习任务创建一个池,而对其余任务使用默认池