Pentaho数据集成中创建带有上次更新时间列的维度表时出现问题

Pentaho数据集成中创建带有上次更新时间列的维度表时出现问题,pentaho,kettle,Pentaho,Kettle,我正在Pentaho Data Integration(PDI)中使用上次更新的时间(从GetSystemInfo)创建维度表。它工作正常,只是它输入了新行,即使行中没有更改,原因是在上次更新的时间字段上也执行了查找,但不应执行。但当我从属性维度查找/更新的关键字段中删除此字段时,它会按预期工作,但lat time updated字段中的值会变为空。任何解决方案/建议都要提前终止。我想你说的是SDC II。(慢慢改变类型2的维度)在这里,您希望存储一行插入SCD表的日期 您可以在维度查找/更新

我正在Pentaho Data Integration(PDI)中使用上次更新的时间(从GetSystemInfo)创建维度表。它工作正常,只是它输入了新行,即使行中没有更改,原因是在上次更新的时间字段上也执行了查找,但不应执行。但当我从属性维度查找/更新的关键字段中删除此字段时,它会按预期工作,但lat time updated字段中的值会变为空。任何解决方案/建议都要提前终止。

我想你说的是SDC II。(慢慢改变类型2的维度)在这里,您希望存储一行插入SCD表的日期

  • 您可以在
    维度查找/更新
    步骤的
    字段
    选项卡中使用
    上次插入日期(不使用流字段作为源)
    类型的维度更新,而不是从GetSystemInfo步骤获取数据,该步骤在定义的表列中自动存储日期时间

附加提示:如果需要存储源系统表中与加载新数据/更改数据相关的某个日期的最大值,在
维度查找/更新
步骤之后将其最大值存储到单独的表中,并在ETL转换开始时加载更新的数据时使用它。

我认为最好使用以下组件

  • 步骤1:使用表格输入步骤,您可以从目标系统获取最大值,并将该值传递到下一步
  • 步骤2:再执行一个表输入步骤,编写一个源查询,并在where子句中指定上一个值(如?)
  • 第3步:然后在目标级别执行常规操作
我认为你已经达到了上述步骤