Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/svn/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
View 雪花视图、工具等中的数据转换?_View_Transformation_Snowflake Cloud Data Platform - Fatal编程技术网

View 雪花视图、工具等中的数据转换?

View 雪花视图、工具等中的数据转换?,view,transformation,snowflake-cloud-data-platform,View,Transformation,Snowflake Cloud Data Platform,我们正在考虑Snowflake,希望了解如何使用它以及其他工具来克服我们的一个主要问题—ETL!我们目前使用一个遗留DWH和一个由SSI和一些视图组成的ETL过程。这有这种方法的所有常见缺陷——最明显的是,它需要花费很多时间 我假设我们将使用Snowflake中的英语教学模式,我开始研究工具来完成其中的“T”部分,不过,我只是在听这个播客: 这意味着,只需在某个对象上使用SQL视图并在PowerBI或Tableau中公开它就足够了 只是想知道这里的人们有什么经历? -您是否仅通过在Snowfla

我们正在考虑Snowflake,希望了解如何使用它以及其他工具来克服我们的一个主要问题—ETL!我们目前使用一个遗留DWH和一个由SSI和一些视图组成的ETL过程。这有这种方法的所有常见缺陷——最明显的是,它需要花费很多时间

我假设我们将使用Snowflake中的英语教学模式,我开始研究工具来完成其中的“T”部分,不过,我只是在听这个播客:

这意味着,只需在某个对象上使用SQL视图并在PowerBI或Tableau中公开它就足够了

只是想知道这里的人们有什么经历? -您是否仅通过在Snowflake中编写视图来进行转换? -您是否专门使用第三方工具来满足这一需求

其次,对于提取和加载,您是否: -仅使用雪花进行此操作 -使用第三方工具


我特别感兴趣的是,如果您这样做是为了从非timeseries源在Snowflake中创建某种timeseries。这是我们非常想做的事情。

这个问题很难回答,除非听起来很固执己见,尤其是在不了解您的用例的情况下。因为我认为这里的价值在于:

  • 除非你有一个非常简单的设置,否则不要把视图放在你的表的顶部并暴露给一个报告工具。如果您正在考虑像Snowflake这样的工具,那么您可能会希望使用更可持续的工具,这种方法在您的视图中可能会变得成本和复杂性都很高

  • 使用第三方工具管理英语教学过程。您对工具的选择将取决于您的内部技能和云战略,请看一看Stich、Fivetran等工具。如果您不介意使用内部技术,为什么不坚持使用SSI或使用Apache Airflow之类的工具(需要提高技能)

  • Snowflake无法帮助您使用
    ELT
    E
    ,您需要使用第三方工具来管理从其他系统(如SSIS)提取的数据。它将有助于
    L
    部分,为此,您可以使用Snowpipe或COPY命令,这些命令在Snowflake生态系统中可用。雪花还将帮助您与外部各方共享您的数据,这非常好


我的组织使用SQL视图层在Snowflake中创建了一个相当复杂的维度模型,我们可以将报告工具指向该模型。我们使用一个单独的复制工具从源系统中提取并加载到Snowflake中。使用视图简化了我们的方法,因为我们不需要使用额外的工具。它还使管理代码比SSI更容易。例如,我们可以使用Snowflake界面或我们的版本控制工具搜索代码,而不必打开单个SSIS包。

当您有合法的问题时,软件讨论/建议/意见与堆栈溢出无关(请参阅和),因此我投票结束这个问题。也许可以考虑启动一个线程。我已经修改了这个问题,希望有帮助。我很想在这里提问,因为这里是雪花的网站,特别是直接向我提供“论坛”的地方,因为雪花似乎已经将他们的网站从他们的网站迁移到了这里。我觉得这将为我提供最有经验的雪花用户,这将是伟大的:)谢谢你西蒙德,这真的很有帮助。我确实认为事情的观点似乎有点太简单了。我们的设置并不像我想的那样简单,所以绝对不是vv简单!我们的内部技能基本上是SQL密集型的,但我们希望有一些工具,我们可以扩展到直接团队之外。再次感谢。David,用户并没有真正询问是否可以使用视图。也许您可以详细介绍分层视图相对于其他方法的优缺点?谢谢David,这很有趣。在Azure中使用SQL和DWH的传统方法中,我们使用SISS,但出于同样的原因,将所有逻辑都烘焙到存储过程中。我想视图方法确实意味着它需要手动编码,作为一种工具,它可能会加快速度,并意味着其他一些工具可能会提供潜在的帮助(非常小心,并进行同行评审!)