Snowflake cloud data platform 如何在snowpipe过程后归档文件

通过

s3

中的

snowpipe

加载文件后，我们如何将其发送到存档位置。如何设置雪管和文件归档过程之间的依赖关系

Snowflake提供的任何工具都不允许您自动执行此操作。您需要使用另一种方法来检查文件是否已首先加载，然后将S3中的文件移动到另一个位置。您还可以在S3中设置一个来处理归档

---

我真的不喜欢在S3中加载文件后移动它们的方法，我认为应该先将它们放在S3中的最终位置，然后让Snowpipe从那里加载它们。这样，您就不必在加载它们后再次移动它们。

Snowflake提供的任何工具都不允许您自动执行此操作。您需要使用另一种方法来检查文件是否已首先加载，然后将S3中的文件移动到另一个位置。您还可以在S3中设置一个来处理归档

---

我真的不喜欢在S3中加载文件后移动它们的方法，我认为应该先将它们放在S3中的最终位置，然后让Snowpipe从那里加载它们。这样，您就不必在加载后再次移动它们。

归档是什么意思？使用Snowpipe将数据加载到Snowflake，然后将其他一些数据推送到Snowflake中的存档数据库？一旦通过Snowpipe加载文件，我们需要将其移动到其他位置作为备份。如何实现自动化。答案如下：Snowflake没有任何功能。这是你在AWS中需要的功能。你说的归档是什么意思？使用Snowpipe将数据加载到Snowflake，然后将其他一些数据推送到Snowflake中的存档数据库？一旦通过Snowpipe加载文件，我们需要将其移动到其他位置作为备份。如何实现自动化。答案如下：Snowflake没有任何功能。这是您在AWS中需要的功能。谢谢SimonD，在这种情况下，还有什么工具？Simon的意思是，您需要使用定制的工具/代码来完成这项工作。在我的例子中，我使用Python将文件加载到stage（PUT），并将状态设置为“LOADED”，我使用相同的Python代码将文件推送到存档位置。正如@RajibDeb所说的那样，hanks@Rajib Deb，您是如何设置存档过程和snowpipe过程的Python脚本之间的依赖关系的。。一旦snowpipe完成，则只应运行python脚本。@PIG-Rajib使用python脚本加载和归档文件，因此脚本只需等待snowpipe加载它即可。为什么在文件登录到S3之后需要移动它？只需将其降落在最终位置，然后让雪管从那里装载？谢谢SimonD，在这种情况下，还有什么工具？Simon的意思是，您需要使用定制的工具/代码来完成这项工作。在我的例子中，我使用Python将文件加载到stage（PUT），并将状态设置为“LOADED”，我使用相同的Python代码将文件推送到存档位置。正如@RajibDeb所说的那样，hanks@Rajib Deb，您是如何设置存档过程和snowpipe过程的Python脚本之间的依赖关系的。。一旦snowpipe完成，则只应运行python脚本。@PIG-Rajib使用python脚本加载和归档文件，因此脚本只需等待snowpipe加载它即可。为什么在文件登录到S3之后需要移动它？把它降落在最终位置，然后让雪管从那里装载？