View 雪花视图、工具等中的数据转换?
我们正在考虑Snowflake,希望了解如何使用它以及其他工具来克服我们的一个主要问题—ETL!我们目前使用一个遗留DWH和一个由SSI和一些视图组成的ETL过程。这有这种方法的所有常见缺陷——最明显的是,它需要花费很多时间 我假设我们将使用Snowflake中的英语教学模式,我开始研究工具来完成其中的“T”部分,不过,我只是在听这个播客: 这意味着,只需在某个对象上使用SQL视图并在PowerBI或Tableau中公开它就足够了 只是想知道这里的人们有什么经历? -您是否仅通过在Snowflake中编写视图来进行转换? -您是否专门使用第三方工具来满足这一需求 其次,对于提取和加载,您是否: -仅使用雪花进行此操作 -使用第三方工具View 雪花视图、工具等中的数据转换?,view,transformation,snowflake-cloud-data-platform,View,Transformation,Snowflake Cloud Data Platform,我们正在考虑Snowflake,希望了解如何使用它以及其他工具来克服我们的一个主要问题—ETL!我们目前使用一个遗留DWH和一个由SSI和一些视图组成的ETL过程。这有这种方法的所有常见缺陷——最明显的是,它需要花费很多时间 我假设我们将使用Snowflake中的英语教学模式,我开始研究工具来完成其中的“T”部分,不过,我只是在听这个播客: 这意味着,只需在某个对象上使用SQL视图并在PowerBI或Tableau中公开它就足够了 只是想知道这里的人们有什么经历? -您是否仅通过在Snowfla
我特别感兴趣的是,如果您这样做是为了从非timeseries源在Snowflake中创建某种timeseries。这是我们非常想做的事情。这个问题很难回答,除非听起来很固执己见,尤其是在不了解您的用例的情况下。因为我认为这里的价值在于:
- 除非你有一个非常简单的设置,否则不要把视图放在你的表的顶部并暴露给一个报告工具。如果您正在考虑像Snowflake这样的工具,那么您可能会希望使用更可持续的工具,这种方法在您的视图中可能会变得成本和复杂性都很高
- 使用第三方工具管理英语教学过程。您对工具的选择将取决于您的内部技能和云战略,请看一看Stich、Fivetran等工具。如果您不介意使用内部技术,为什么不坚持使用SSI或使用Apache Airflow之类的工具(需要提高技能)
- Snowflake无法帮助您使用
的ELT
,您需要使用第三方工具来管理从其他系统(如SSIS)提取的数据。它将有助于E
部分,为此,您可以使用Snowpipe或COPY命令,这些命令在Snowflake生态系统中可用。雪花还将帮助您与外部各方共享您的数据,这非常好L