Stored procedures 使用SNOWPIPE时如何清除Stage或从Stage中删除文件?

Stored procedures 使用SNOWPIPE时如何清除Stage或从Stage中删除文件?,stored-procedures,snowflake-cloud-data-platform,Stored Procedures,Snowflake Cloud Data Platform,Snowflake提供了Snowpipe,以便在阶段中数据可用时立即将数据复制到表中,但它忽略了清除选项。 有没有其他方法可以实现这一点?在使用雪管的情况下,没有直接的方法可以实现净化,但可以通过组合使用雪管、流和任务 假设要加载的数据文件驻留在GCS存储桶中 步骤1:使用外部舞台在雪花上创建雪管 请参阅此 现在,每当一些数据上传到地面军事系统存储桶上时,GCP\u STAGE\u表都会被雪管填充,我们的流RESPONSES\u流 RESPONSES\u-STREAM如下所示 可乐 元数据$AC

Snowflake提供了Snowpipe,以便在阶段中数据可用时立即将数据复制到表中,但它忽略了清除选项。

有没有其他方法可以实现这一点?

在使用雪管的情况下,没有直接的方法可以实现净化,但可以通过组合使用雪管任务

假设要加载的数据文件驻留在GCS存储桶中

步骤1:使用外部舞台在雪花上创建雪管
请参阅此

现在,每当一些数据上传到地面军事系统存储桶上时,
GCP\u STAGE\u表
都会被雪管填充,我们的流RESPONSES\u流

RESPONSES\u-STREAM
如下所示

可乐 元数据$ACTION 元数据$ISUPDATE 元数据$ROW\u ID 穆罕默德 插入 错误的 KJEE941E66D4HCH1E2B8DDBA12C9C905A829 土耳其人 插入 错误的 B7C5UYTBA6C1JHfB6E9D85E3D3CFD7249192B0D8
// Create a Staging Table
CREATE TABLE SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE (COL1 STRING);

// Create Destination Table
CREATE TABLE SNOWPIPE_DB.PUBLIC.GCP_DESTINATION_TABLE (COL1 STRING);

// Create an External Stage
CREATE STAGE SNOWPIPE_DB.PUBLIC.GCP_STAGE
  URL='gcs://bucket/files/'
  STORAGE_INTEGRATION = '<STORAGE_INTEGRATION>'; 

// Create Snowpipe
CREATE PIPE SNOWPIPE_DB.PUBLIC.GCP_Pipe
  AUTO_INGEST = true
  INTEGRATION = '<NOTIFICATION_INTEGRATION>'
  AS
  COPY INTO SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE
  FROM @SNOWPIPE_DB.PUBLIC.GCP_STAGE;
// Create Stream in APPEND_ONLY Mode since we are concerned with INSERTS only

CREATE OR REPLACE STREAM SNOWPIPE_DB.PUBLIC.RESPONSES_STREAM
  ON TABLE SNOWPIPE_DB.PUBLIC.GCP_STAGE_TABLE
  APPEND_ONLY = TRUE;