Snowflake cloud data platform 雪花任务和流-复杂性和可视化

我们即将进入POC，需要确定雪花任务和流是否对CDC和数据转换有用。我读过snowflake文档，读得越多，处理起来就越复杂。考虑成千上万的表和复杂的转换，任务和流将如何扩展？考虑到一个从其他5个提要加载的表，这个过程是什么样子的。除此之外，snowflake不提供任何处理任务的可视化功能。你们中的一些使用雪花流/任务的人能否评论并分享你们对使用任务和流的看法？如果您在试用后选择了另一种方法，那么它是商业ETL工具还是databricks？如果我们已经在使用qlik将数据引入AWS S3（数据湖），那么使用流将数据湖中的数据吸收到雪花中有意义吗

---

TIA

对于典型的堆栈溢出过程来说，这个问题似乎太宽了（因此社区可能会选择关闭它）

同时，我将在这里回答其中一个问题：“除此之外，snowflake不提供任何处理任务的可视化功能。”

有一个可视化任务的工具，由Snowflake SE创建：

对于大图：雪花流和任务是更复杂解决方案的基本构建块。随着您的用例变得越来越复杂，您将需要找到管理这种复杂性的方法-使用您自己的工具、Snowflake或第三方

---

由于您正在运行POC：请务必询问您的雪花销售联系人。像Dave这样的工程师已经准备好并渴望找到一个适合您需要的解决方案。

谢谢，我们将看看snowsight。我试图从使用流和任务的人那里收集见解，他们中有数千人在运行复杂的工作负载。任何关于这些附加工具/第三方连接器的见解都会有所帮助。