Hive 使用Informatica更新配置单元

Hive 使用Informatica更新配置单元,hive,informatica,Hive,Informatica,我的目标是使用Informatica ETL工具的Hive表 配置单元早期版本不支持更新。 那么,在这种情况下,我应该如何更新记录呢。 使用配置单元ACID和事务功能进行配置单元更新功能可以吗。您应该查看事件源() 将数据库视为存储事件而不是项目。因此,如果您想在数据库中使用某个计数器对象,而不是将计数器从0更新为1到2等,只要在每次递增时插入一个新文档,然后计算这些文档的总和/计数。您应该查看事件源() 将数据库视为存储事件而不是项目。因此,如果您想在数据库中使用一些计数器对象,而不是将计数器

我的目标是使用Informatica ETL工具的Hive表

配置单元早期版本不支持更新。 那么,在这种情况下,我应该如何更新记录呢。
使用配置单元ACID和事务功能进行配置单元更新功能可以吗。

您应该查看事件源()


将数据库视为存储事件而不是项目。因此,如果您想在数据库中使用某个
计数器
对象,而不是将
计数器
从0更新为1到2等,只要在每次递增时插入一个新文档,然后计算这些文档的总和/计数。

您应该查看事件源()


将数据库视为存储事件而不是项目。因此,如果您想在数据库中使用一些
计数器
对象,而不是将
计数器
从0更新为1到2,等等,您只需在每次递增时插入一个新文档,然后计算这些文档的总和/计数。

Informatica确实支持Informatica 9.6 HF3版本中的配置单元表更新,前提是这些表支持ACID,有关更多信息,您可以参考此链接(),但不是这样做,我宁愿分两步来做

1) 识别仅存在于目标中的所有记录以及仅存在于阶段数据中的记录 2) 合并这两个并将它们加载到临时表中。 3) 最后,将临时表重新命名为实际的目标表名


如果Informatica 9.6 HF3版本中的配置单元表支持ACID,则上述方法仅适用于SCD type 1实现

Informatica支持更新配置单元表,有关更多信息,请参考此链接(),但与其这样做,我宁愿通过两步流程来完成

1) 识别仅存在于目标中的所有记录以及仅存在于阶段数据中的记录 2) 合并这两个并将它们加载到临时表中。 3) 最后,将临时表重新命名为实际的目标表名


以上仅适用于SCD类型1实现

在配置单元上工作时,更新不是最佳选择,创建中间临时表是更好的设计。更新现有配置单元表的步骤-

  • 假设您正在处理table-tbl_employee并希望更新几行
  • 创建新的中间表-tbl_employee_update,使用与更新的列数据完全相同的记录数
  • 创建新的中间表,其中包含原始表中的数据-tbl_employee减去tbl_employee_update中已存在的行。将此表命名为tbl_employee_retained
  • 工会是否保留tbl_员工,tbl_员工是否更新,并将其命名为tbl_员工临时工
  • 现在,通过首先确保tbl_员工有记录和其他健康检查,将tbl_员工替换为tbl_员工

  • 在配置单元上工作时,更新不是最好的选择,创建中间临时表是更好的设计。更新现有配置单元表的步骤-

  • 假设您正在处理table-tbl_employee并希望更新几行
  • 创建新的中间表-tbl_employee_update,使用与更新的列数据完全相同的记录数
  • 创建新的中间表,其中包含原始表中的数据-tbl_employee减去tbl_employee_update中已存在的行。将此表命名为tbl_employee_retained
  • 工会是否保留tbl_员工,tbl_员工是否更新,并将其命名为tbl_员工临时工
  • 现在,通过首先确保tbl_员工有记录和其他健康检查,将tbl_员工替换为tbl_员工

  • 插入更新事件并进行映射/缩减以获取当前答案?我想使用informatica更新配置单元数据,但配置单元不允许更新,因此对此有何解决方法?插入更新事件并进行映射/缩减以获取当前答案?我想使用informatica更新配置单元数据,但配置单元不允许更新,因此有什么解决方法吗??