Airflow 气流中的模块

Airflow 气流中的模块,airflow,Airflow,我有几个用Python定义的类,它们表示作业。在我的orchestrator中,我定义了气流所需的功能,如下所示: from jobs.package.job import ToBeExecuted def run_job(**context): ti = context['ti'] date = context['ds'] job = ToBeExecuted() input = ti.xcom_pull(task_ids='previous_job')

我有几个用Python定义的类,它们表示作业。在我的orchestrator中,我定义了气流所需的功能,如下所示:

from jobs.package.job import ToBeExecuted

def run_job(**context):
    ti = context['ti']
    date = context['ds']

    job = ToBeExecuted()
    input = ti.xcom_pull(task_ids='previous_job')
    output = output.csv
    job.run(input, output, date)

    return output
如Airflow docs()中所述,您不能在不打包的情况下使用外部软件包


但我只是不理解所描述的解决方案。你把所有东西都打包在zip文件夹里,然后呢?你是如何启动它的?如何回填它?

如果将zip文件放入~/aiffort/dags/文件夹中,它将拾取作业和模块