Amazon web services 从一只羔羊身上得到什么？

我有一个用例，需要从S3存储桶下载并处理大量（104个）的小文件（每个文件大小30KB）

因为本地下载所有这些文件的吞吐量似乎非常低，所以我正在评估从S3获取“聚合”文件的方法

我可以使用Lambda函数来实现这一点吗？在下载之前，是否有其他方法可以聚合这些文件？

您可以调用具有

aws s3 sync

命令的。它并行复制文件，比编写自己的文件更简单

请参阅：

您可以调用具有

aws s3 sync

命令的。它并行复制文件，比编写自己的文件更简单

---

请参阅：

s3distcp在Hadoop（和EMR）上运行。它不会在Lambda中运行，不过您可以使用Lambda启动EMR集群并在该集群上运行s3distcp来聚合文件。或者您可以尝试在EC2实例上运行awscli（aws s3 sync），看看它是否可用。s3distcp在Hadoop（和EMR）上运行。它不会在Lambda中运行，不过您可以使用Lambda启动EMR集群并在该集群上运行s3distcp来聚合文件。或者您可以尝试在EC2实例上运行awscli（aws s3 sync），看看它是否可用。

s3 sync

会比TransferManager.downloadDirectory提供更好的速度吗？我一直在lambda中使用TransferManager，吞吐量非常低（）。很可能。我建议你测试一下并找出答案！

s3sync

会比TransferManager.downloadDirectory提供更好的速度吗？我一直在lambda中使用TransferManager，吞吐量非常低（）。很可能。我建议你测试一下并找出答案！