Snowflake cloud data platform 通过自定义验证将暂存表数据传输到Snowflake中的事实表的过程是什么

Snowflake cloud data platform 通过自定义验证将暂存表数据传输到Snowflake中的事实表的过程是什么,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,你好。 我需要帮助。我想在Stage table中有数据时,自动将Snowflake中的数据从Staging table传输到Fact table。在将数据从临时表移动到事实表时,我在每一列和每一行上都有两个自定义验证。 你知道如何在雪花中做到这一点吗。 如果有人知道,请你建议我。。。! 提前谢谢 假设“staging tables”指的是雪花表而不是雪花阶段中的文件,我建议为此使用流和任务。流将标识需要加载的数据增量,任务可以按计划执行,并且只有在流中有数据时才会实际运行。创建在任务中执行的存

你好。 我需要帮助。我想在Stage table中有数据时,自动将Snowflake中的数据从Staging table传输到Fact table。在将数据从临时表移动到事实表时,我在每一列和每一行上都有两个自定义验证。 你知道如何在雪花中做到这一点吗。 如果有人知道,请你建议我。。。!
提前谢谢

假设“staging tables”指的是雪花表而不是雪花阶段中的文件,我建议为此使用流和任务。流将标识需要加载的数据增量,任务可以按计划执行,并且只有在流中有数据时才会实际运行。创建在任务中执行的存储过程,以运行验证并将验证结果合并到事实中。

假设“暂存表”指的是雪花表,而不是雪花阶段中的文件,我建议为此使用流和任务。流将标识需要加载的数据增量,任务可以按计划执行,并且只有在流中有数据时才会实际运行。创建一个在任务中执行的存储过程,以运行验证,并将验证结果合并到事实中。

有很多方法可以做到这一点,如何执行取决于可用的工具。在不使用雪花生态系统之外的工具的情况下,最简单的方法是:

  • 在您拥有的每个临时表上,在这些表上设置一个流()
  • 创建一个按计划()运行的任务,以从流中提取并写入事实表
    这实际上是一个一般的数据仓库问题,而不是一个雪花般的问题。关于构建SCD类型2维,也有人在Snowflake上写过,有很多方法可以做到这一点,如何实现这一点取决于可用的工具。在不使用雪花生态系统之外的工具的情况下,最简单的方法是:

  • 在您拥有的每个临时表上,在这些表上设置一个流()
  • 创建一个按计划()运行的任务,以从流中提取并写入事实表
    这实际上是一个一般的数据仓库问题,而不是一个雪花般的问题。关于建筑SCD类型2维,也是雪花酒店的人写的

    非常感谢你,西蒙。我会做一些工作,让你知道。非常感谢你这么快就出来了…非常感谢你,西蒙。我会做一些工作,让你知道。非常感谢你的快速翻身…非常感谢你,兄弟迈克。非常感谢你,兄弟迈克。