Snowflake cloud data platform 我们什么时候应该使用雪管?

Snowflake cloud data platform 我们什么时候应该使用雪管?,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,我们在Sharepoint portal中有一些大小在500KB到20MB之间的文件。我们希望将这些文件转换为CSV,然后将它们转移到Snowflake。没有实时摄入的真正需要。我在考虑两种选择。哪种选择更好 将文件(CSV)加载到云提供商对象存储中。创建一个外部舞台。然后每小时安排一个python程序将数据从stage摄取到snowflake表 使用雪管 我更倾向于#1,主要是因为我将控制仓库。此外,它还允许我将文件打包,然后加载到snowflake。如果您不需要实时加载源数据,选项1更有意义

我们在Sharepoint portal中有一些大小在500KB到20MB之间的文件。我们希望将这些文件转换为CSV,然后将它们转移到Snowflake。没有实时摄入的真正需要。我在考虑两种选择。哪种选择更好

  • 将文件(CSV)加载到云提供商对象存储中。创建一个外部舞台。然后每小时安排一个python程序将数据从stage摄取到snowflake表
  • 使用雪管

  • 我更倾向于#1,主要是因为我将控制仓库。此外,它还允许我将文件打包,然后加载到snowflake。

    如果您不需要实时加载源数据,选项1更有意义,但您需要管理和维护它。 选项2只设置一次,它将自动加载文件,但成本会更高,因为您无法控制仓库的使用

    我有一个类似的情况,使用选项1,比如load