Snowflake cloud data platform 仅包含新记录和已删除记录的带有更改日志的雪花建模

Snowflake cloud data platform 仅包含新记录和已删除记录的带有更改日志的雪花建模,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,我有一个来自源数据库的更改日志表,它只生成新的和已删除的记录,以捕获两次回迁之间更改的数据。这意味着它将在最近一次获取中显示新的、已删除的记录,这些记录是在上一次获取之后添加、删除的。要获得更新的记录,我必须同时使用New和Delete记录,因此我需要删除记录并添加新记录。当我需要在snowflake中建模缓慢变化的维度和构建其他数据模型时,您认为这个更改日志表会有任何问题吗 此更改日志没有任何已从上一次获取更改的更新记录,但它是删除和新记录的组合。合并这些数据会导致任何问题吗?我能够使用这个变

我有一个来自源数据库的更改日志表,它只生成新的和已删除的记录,以捕获两次回迁之间更改的数据。这意味着它将在最近一次获取中显示新的、已删除的记录,这些记录是在上一次获取之后添加、删除的。要获得更新的记录,我必须同时使用New和Delete记录,因此我需要删除记录并添加新记录。当我需要在snowflake中建模缓慢变化的维度和构建其他数据模型时,您认为这个更改日志表会有任何问题吗

此更改日志没有任何已从上一次获取更改的更新记录,但它是删除和新记录的组合。合并这些数据会导致任何问题吗?我能够使用这个变更日志对SCD 1和SCD 2进行建模,但我很好奇,如果不提供更新的记录,是否会出现任何其他问题。 例如:


正如您在这里看到的,客户deg在新的fetch“22”中进行了更新,因此要更新此数据,他们必须删除数据,然后使用新的插入数据

这个问题似乎非常开放-您可以添加更多细节吗?数据是什么样子的?示例查询?你在期待什么问题?@FelipeHoffa你现在能查一下吗,很抱歉。如果changelog表不直接提供更新的记录,这是一个一般的建模问题。。。问题是如何删除记录,重新创建记录,并确保按该顺序完成记录?(而不是更新)是否可以在没有相应新记录的情况下删除记录?如果你不能,那么你可以忽略删除记录,因为你可以围绕你的新记录构建你的整个SCD逻辑。我强烈建议你看看下面的帖子答案。它向您展示了如何获取更改日志,并根据表中是否存在匹配项创建多个记录,然后构造单个
MERGE
语句:
Customer Master data:
cust_name, cust_id, change_status, Fetch_id
def, 2, NEW, 22
deg, 2, DEL, 22
deg, 2, NEW, 11