Stored procedures 使用SNOWPIPE时如何清除Stage或从Stage中删除文件?
Snowflake提供了Snowpipe,以便在阶段中数据可用时立即将数据复制到表中,但它忽略了清除选项。Stored procedures 使用SNOWPIPE时如何清除Stage或从Stage中删除文件?,stored-procedures,snowflake-cloud-data-platform,Stored Procedures,Snowflake Cloud Data Platform,Snowflake提供了Snowpipe,以便在阶段中数据可用时立即将数据复制到表中,但它忽略了清除选项。 有没有其他方法可以实现这一点?在使用雪管的情况下,没有直接的方法可以实现净化,但可以通过组合使用雪管、流和任务 假设要加载的数据文件驻留在GCS存储桶中 步骤1:使用外部舞台在雪花上创建雪管 请参阅此 现在,每当一些数据上传到地面军事系统存储桶上时,GCP\u STAGE\u表都会被雪管填充,我们的流RESPONSES\u流 RESPONSES\u-STREAM如下所示 可乐 元数据$AC
有没有其他方法可以实现这一点?在使用雪管的情况下,没有直接的方法可以实现净化,但可以通过组合使用雪管、流和任务 假设要加载的数据文件驻留在GCS存储桶中
步骤1:使用外部舞台在雪花上创建雪管
请参阅此
现在,每当一些数据上传到地面军事系统存储桶上时,
GCP\u STAGE\u表
都会被雪管填充,我们的流RESPONSES\u流RESPONSES\u-STREAM
如下所示
可乐
元数据$ACTION
元数据$ISUPDATE
元数据$ROW\u ID
穆罕默德
插入
错误的
KJEE941E66D4HCH1E2B8DDBA12C9C905A829
土耳其人
插入
错误的
B7C5UYTBA6C1JHfB6E9D85E3D3CFD7249192B0D8
// Create a Staging Table
CREATE TABLE SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE (COL1 STRING);
// Create Destination Table
CREATE TABLE SNOWPIPE_DB.PUBLIC.GCP_DESTINATION_TABLE (COL1 STRING);
// Create an External Stage
CREATE STAGE SNOWPIPE_DB.PUBLIC.GCP_STAGE
URL='gcs://bucket/files/'
STORAGE_INTEGRATION = '<STORAGE_INTEGRATION>';
// Create Snowpipe
CREATE PIPE SNOWPIPE_DB.PUBLIC.GCP_Pipe
AUTO_INGEST = true
INTEGRATION = '<NOTIFICATION_INTEGRATION>'
AS
COPY INTO SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE
FROM @SNOWPIPE_DB.PUBLIC.GCP_STAGE;
// Create Stream in APPEND_ONLY Mode since we are concerned with INSERTS only
CREATE OR REPLACE STREAM SNOWPIPE_DB.PUBLIC.RESPONSES_STREAM
ON TABLE SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE
APPEND_ONLY = TRUE;