apache airflow的端到端管道测试

apache airflow的端到端管道测试,airflow,Airflow,我想测试一个端到端的dag。我有一些固定的输入数据和一些预期的结果。 我试着用谷歌搜索,不幸的是我只能找到与单元测试相关的信息 是否有一些好的做法可以遵循 我知道我可以通过终端触发DAG运行,但是如果DAG的持续时间不固定,那么检查结果是否令人满意的推荐方法是什么?一般来说,在编写ETL时,应该有验证输入和输出正确性的阶段。从气流的角度来看,这将是一个任务或任务中的一个过程,它断言有关您的数据的一些“事情”。a返回一些结果,看起来很有希望。您看到气流微风了吗?也许这对你的目的有好处

我想测试一个端到端的dag。我有一些固定的输入数据和一些预期的结果。 我试着用谷歌搜索,不幸的是我只能找到与单元测试相关的信息

是否有一些好的做法可以遵循


我知道我可以通过终端触发DAG运行,但是如果DAG的持续时间不固定,那么检查结果是否令人满意的推荐方法是什么?

一般来说,在编写ETL时,应该有验证输入和输出正确性的阶段。从气流的角度来看,这将是一个任务或任务中的一个过程,它断言有关您的数据的一些“事情”。a返回一些结果,看起来很有希望。您看到气流微风了吗?也许这对你的目的有好处