Amazon web services AWS Lambda和多部分上传至/自S3

使用Lambda将文件从S3移动到我们的红移

使用直接来自数据提供程序红移的UNLOAD命令将数据放置在S3中。它有10个不同的部分，由于并行运行，有时在不同的时间完成

我希望Lambda触发器在触发触发器将数据导入我的红移之前，等待所有数据完全上传

Lambda中有一个名为“完成多部分上载”的事件选项。卸载函数在Lambda中是否算作多部分上载？或者，在提供商完全上传所有部分之前，简单的“POST”事件不会触发吗？

---

没有明确的文档确认Redshift的卸载命令算作多部分上载，也没有明确的文档确认触发器在数据提供程序的整个上载完成之前不会触发

对于Amazon S3，多部分上传是一个文件，分多个部分上传到S3。上传完所有部分后，客户端调用

CompleteMultipartUpload

。只有在客户端调用CompleteMultipartUpload后，文件才会显示在S3中

只有在文件完成后，Lambda函数才会被触发。您不会为每个零件获得Lambda触发器

---

如果您的

UNLOAD

操作在S3中生成多个对象/文件，则它不是S3“多部分上载”。

对于Amazon S3，多部分上载是一个文件，分多个部分上载到S3。上传完所有部分后，客户端调用

CompleteMultipartUpload

。只有在客户端调用CompleteMultipartUpload后，文件才会显示在S3中

只有在文件完成后，Lambda函数才会被触发。您不会为每个零件获得Lambda触发器

---

如果您的

UNLOAD

操作在S3中生成多个对象/文件，则它不是S3“多部分上载”。

谢谢！因此，如果数据来自上传的一组10个文件，您建议我如何将触发器设置为在所有10个文件完成之前不启动？我考虑过让他们在卸载时关闭文件的并行生成，这样当每个文件都完成并上传后，我的导入就开始了。那会有效率吗？这似乎是不必要的复杂。在所有10个都完成之前，您无法抑制lambda触发器。您可以忽略触发器，直到触发最后一个文件。谢谢！因此，如果数据来自上传的一组10个文件，您建议我如何将触发器设置为在所有10个文件完成之前不启动？我考虑过让他们在卸载时关闭文件的并行生成，这样当每个文件都完成并上传后，我的导入就开始了。那会有效率吗？这似乎是不必要的复杂。在所有10个都完成之前，您无法抑制lambda触发器。您可以忽略触发器，直到触发最后一个文件。