Airflow DAG的状态始终为成功

Airflow DAG的状态始终为成功,airflow,pentaho,Airflow,Pentaho,我刚刚开始使用Airflow Pentaho插件。我在Pentaho数据集成服务器上创建了一个转换,并创建了从Airflow到PDI的连接。我使用PanOperator和KitchenOperator分别触发Pentaho转换和作业。DAG中创建的依赖项如下:转换>>作业。即使转换失败,转换的状态在作业图上始终为绿色,作业也会被触发。我可以在日志上看到转换失败了。我希望故障应该得到报告,而不是运行后续的下游。有没有关于我遗漏了什么或做了什么不正确的建议?我的DAG如下所示: from datet

我刚刚开始使用Airflow Pentaho插件。我在Pentaho数据集成服务器上创建了一个转换,并创建了从Airflow到PDI的连接。我使用PanOperator和KitchenOperator分别触发Pentaho转换和作业。DAG中创建的依赖项如下:转换>>作业。即使转换失败,转换的状态在作业图上始终为绿色,作业也会被触发。我可以在日志上看到转换失败了。我希望故障应该得到报告,而不是运行后续的下游。有没有关于我遗漏了什么或做了什么不正确的建议?我的DAG如下所示:

from datetime import timedelta
from airflow import DAG
from airflow.utils.dates import days_ago
from airflow_pentaho.operators.KitchenOperator import KitchenOperator
from airflow_pentaho.operators.PanOperator import PanOperator
from airflow_pentaho.operators.CarteJobOperator import CarteJobOperator
from airflow_pentaho.operators.CarteTransOperator import CarteTransOperator
DAG_NAME = "pdi_example_2"
DEFAULT_ARGS = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': days_ago(2),
'email': ['abc@abc.com'],
'retries': 3,
'retry_delay': timedelta(minutes=10),
'email_on_failure': False,
'email_on_retry': False
}
with DAG(dag_id=DAG_NAME,
default_args=DEFAULT_ARGS,
dagrun_timeout=timedelta(hours=2),
schedule_interval='30 0 * * *') as dag:
trans = PanOperator(
        queue="pdi_2",
        task_id="pdi_example_2",
        directory={},
        file="/path/sample.ktr",
        trans={},
        params={},
        dag=dag)
        
job = KitchenOperator( 
            queue="pdi_3",
            task_id="average_spent",
            directory={},
            job={},
            file="/path/sample.kjb",
            params={},  # Date in yyyy-mm-dd format
            dag=dag)
trans >> job

我想我找到了解决办法。有关详细解决方案,请参阅此部分。

没有官方的Pentacho提供商,因此您需要具体了解问题所在,并共享Pentacho集成代码。