Snowflake cloud data platform 流雪花表更新

Snowflake cloud data platform 流雪花表更新,snowflake-cloud-data-platform,snowflake-task,Snowflake Cloud Data Platform,Snowflake Task,雪花端有一个巨大的ETL过程,用于更新表。我需要将对它所做的更改流式传输到snowflake之外的其他消费者处理器。不查询表中的更新,而是流式处理(推模式,而不是拉模式) 我看到有很多例子可以将数据流到snowflake中。有没有一种方法可以把它流到外面?可能使用CDC+流+任务来排队?嗨,Andrey,我还不知道有任何外部流功能,但也许您可以在讨论中的雪花表上创建流。是否有一个任务(每分钟?)运行,将这些更改刷新为S3(或同等版本)上的JSON/CSV,并让外部应用程序/服务从此处消费?这里的

雪花端有一个巨大的ETL过程,用于更新表。我需要将对它所做的更改流式传输到snowflake之外的其他消费者处理器。不查询表中的更新,而是流式处理(推模式,而不是拉模式)


我看到有很多例子可以将数据流到snowflake中。有没有一种方法可以把它流到外面?可能使用CDC+流+任务来排队?

嗨,Andrey,我还不知道有任何外部流功能,但也许您可以在讨论中的雪花表上创建流。是否有一个任务(每分钟?)运行,将这些更改刷新为S3(或同等版本)上的JSON/CSV,并让外部应用程序/服务从此处消费?这里的信息流:嘿@MikeDonovan谢谢你的想法。因此,在保存到s3之后,可能或可能会有所帮助。我会更详细地检查这些。没问题——是的,这些连接器看起来像是将更改读回卡夫卡主题的极好选项。雪花文档在这些主题上非常出色,但这篇博文也可能对您有所帮助: