Amazon s3 将多个AWS Kinesis消防水带流发送到具有不同前缀的同一S3桶中是否有任何缺点？

我们的目标是将应用程序中的多个流发送到Redshift进行分析。我们中的一个想法是将所有流发送到具有不同前缀的同一个桶中。目的是简化我们的IAM角色和S3存储桶的使用。这样，每个环境（dev、staging和prod）都可以有一个bucket，所有流都可以通过它来运行。我对这项技术有点陌生，但这似乎是一种非标准的方法，我担心它可能会在未来引入意想不到的瓶颈。有人试过这个吗？它是如何工作的？

如果前缀不同，它应该可以很好地伸缩。对于S3，我所看到的唯一瓶颈是我们使用版本控制而没有删除“删除标记”。除此之外，我还看到了一个具有较低PB数据量的存储桶，它运行良好

对于您期望的数据量-每月数百万条消息，5k或更少-我看到了一个S3存储桶，它可能具有相当于您的数据年数的数据，所有小对象，该结构符合AWS的建议-扁平结构，根中的长随机散列。应用程序成功了

---

数千万以下的对象可以有一个常规的“文件夹”结构，而不会出现任何问题。我在几个根“文件夹”中看到了超过5000万个较小的对象。

如果前缀不同，它应该可以很好地扩展。对于s3，我所看到的唯一瓶颈是我们使用版本控制而没有删除“删除标记”。除此之外，我还看到了一个具有较低PB数据量的存储桶，它运行良好。您希望获得多少数据？物品数量+大小？感谢您的反馈，这让人放心。我们每个月要看几百万条信息，每条不到5千条。听起来我们有很多空间可以根据需要扩展。想让你的评论成为答案吗？我会接受的。