Snowflake cloud data platform 雪管结构；s3子文件夹

我正在尝试建立可扩展的滑雪管道基础设施。我有一个AWS lambda函数，用于提取数据并将原始json文件放入下面相应的文件夹中

理想情况下，我希望设置snowpipe，将每个文件夹中的数据读入到它自己的雪花表中

Ex）

• leads文件夹中的leads json文件现在通过管道传输到 snowflake中的leads_json表
• opportunities文件夹中的opportunities json文件现在通过管道传输到snowflake中的opportunities_json表中

如何设置管道和阶段，以减少所需管道和阶段的数量

我是否需要一个管道和阶段，每个子文件夹在桶

我将使用SQS通知使用AUTO_inset=true特性

---

通过雪地管加载的每个表需要1根管道。如果愿意，您可以有一个指向S3存储桶顶部文件夹的单阶段，或者可以在较低级别的文件夹中为每个表创建1个。我希望这能回答你的问题。

补充迈克的答案；我建议对凭据进行单一存储集成，这样它们就不会按阶段进行集成，而对列出的每个AWS文件夹进行一个阶段集成。这可以减少stage可以访问的文件，并且如果您必须重新处理一组文件，可以帮助减少开销。@Chris如本文档的选项1所示？目前我只做了选项2。谢谢@MikeWalton@Bigmoose70是的，没错。创建集成确实需要ACCOUNTADMIN访问权限。@Chris解决了这个问题！谢谢你的帮助！迫不及待地等待他们提出一种基于事件而非cron或其他任务的任务执行方法。