Airflow DAG的状态始终为成功
我刚刚开始使用Airflow Pentaho插件。我在Pentaho数据集成服务器上创建了一个转换,并创建了从Airflow到PDI的连接。我使用PanOperator和KitchenOperator分别触发Pentaho转换和作业。DAG中创建的依赖项如下:转换>>作业。即使转换失败,转换的状态在作业图上始终为绿色,作业也会被触发。我可以在日志上看到转换失败了。我希望故障应该得到报告,而不是运行后续的下游。有没有关于我遗漏了什么或做了什么不正确的建议?我的DAG如下所示:Airflow DAG的状态始终为成功,airflow,pentaho,Airflow,Pentaho,我刚刚开始使用Airflow Pentaho插件。我在Pentaho数据集成服务器上创建了一个转换,并创建了从Airflow到PDI的连接。我使用PanOperator和KitchenOperator分别触发Pentaho转换和作业。DAG中创建的依赖项如下:转换>>作业。即使转换失败,转换的状态在作业图上始终为绿色,作业也会被触发。我可以在日志上看到转换失败了。我希望故障应该得到报告,而不是运行后续的下游。有没有关于我遗漏了什么或做了什么不正确的建议?我的DAG如下所示: from datet
from datetime import timedelta
from airflow import DAG
from airflow.utils.dates import days_ago
from airflow_pentaho.operators.KitchenOperator import KitchenOperator
from airflow_pentaho.operators.PanOperator import PanOperator
from airflow_pentaho.operators.CarteJobOperator import CarteJobOperator
from airflow_pentaho.operators.CarteTransOperator import CarteTransOperator
DAG_NAME = "pdi_example_2"
DEFAULT_ARGS = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': days_ago(2),
'email': ['abc@abc.com'],
'retries': 3,
'retry_delay': timedelta(minutes=10),
'email_on_failure': False,
'email_on_retry': False
}
with DAG(dag_id=DAG_NAME,
default_args=DEFAULT_ARGS,
dagrun_timeout=timedelta(hours=2),
schedule_interval='30 0 * * *') as dag:
trans = PanOperator(
queue="pdi_2",
task_id="pdi_example_2",
directory={},
file="/path/sample.ktr",
trans={},
params={},
dag=dag)
job = KitchenOperator(
queue="pdi_3",
task_id="average_spent",
directory={},
job={},
file="/path/sample.kjb",
params={}, # Date in yyyy-mm-dd format
dag=dag)
trans >> job
我想我找到了解决办法。有关详细解决方案,请参阅此部分。没有官方的Pentacho提供商,因此您需要具体了解问题所在,并共享Pentacho集成代码。