Snowflake cloud data platform 雪花中的雪管是否100%可靠？

我使用了雪管从AWS S3到雪花检索数据，但在我的情况下，它没有按预期工作。有时文件没有处理成雪花

---

是否有其他方法可用于相同的测试

回答你的问题：是的。我过去在生产（AWS）中多次使用过它，它的工作效果与预期一致

回答你的问题：是的。我过去在生产（AWS）中多次使用过它，它的工作效果与预期一致

AWS S3的事件处理被认为是不可靠的，因为事件可能会延迟几分钟到达（这是AWS的问题，但会影响雪管）

补救办法是定期（至少每天）安排一项任务：

ALTER PIPE my_PIPE REFRESH[前缀=“”]；

请使用前缀以避免扫描大型S3存储桶中未处理的项目。还要注意Snowflake关于S3事件问题何时由Amazon修复的公告，这样您就可以删除任何事件 不必要的

刷新
任务

如果您有一个
YYYY/MM/DD/
bucket结构，这意味着您必须创建一个存储过程来运行带有动态
前缀的命令

我将此组合（
PIPE
/
刷新任务
）用于我的雪地管。
据说AWS S3的事件处理不可靠，事件可能会延迟几分钟到达（这是AWS的问题，但会影响雪地管）

补救办法是定期（至少每天）安排一项任务：

ALTER PIPE my_PIPE REFRESH[前缀=“”]；

请使用前缀以避免扫描大型S3存储桶中未处理的项目。还要注意Snowflake关于S3事件问题何时由Amazon修复的公告，这样您就可以删除任何事件
不必要的
刷新
任务

如果您有一个
YYYY/MM/DD/
bucket结构，这意味着您必须创建一个存储过程来运行带有动态
前缀的命令

我使用这个组合（
管道
/
刷新任务
）对于我的雪管。
您有什么具体问题？在S3中配置SQS通知时选择了什么事件类型？您有什么具体问题？在S3中配置SQS通知时选择了什么事件类型？那么您对雪花文档“重要”有何想法注意：“刷新功能旨在短期使用，以解决Snowpipe无法加载文件子集时的特定问题，并且不用于常规使用。”这与我们在此处解决的“特定问题”相同。自Snowpipe可用以来，这些问题一直存在，因此“短期使用”是可行的“到目前为止，限制已经超出了任何合理的含义。但是，当S3事件得到保证且及时时，用户当然应该删除所有额外的管道刷新任务。那么，您对雪花文档“重要”注释有何看法：“刷新功能旨在短期使用，以解决Snowpipe无法加载文件子集时的特定问题，并且不用于常规使用。”这与我们在此处解决的“特定问题”相同。自Snowpipe可用以来，这些问题一直存在，因此“短期使用”是可行的“到目前为止，限制已经超出了任何合理的含义。但是，当S3事件得到保证且及时时，用户当然应该删除所有额外的管道刷新任务。
ALTER PIPE my_pipe REFRESH [ PREFIX = '<path>' ];