Amazon s3 分布式数据存储

我们正在尝试在我们的应用程序中添加某种持久性。 该应用程序每秒生成大约250个条目。每个条目都属于2M文件中的一个。对于每个文件，我们希望保留最后10个条目，以便以后查找

我们的客户端应用程序的工作方式：

• 它获取所有数据的流
• 它获取正确的文件（GET）
• 它添加了新的内容
• 它将文件保存回（PUT）

我们正在寻找一种有效的方法来存储这些数据，这种方法可以水平扩展，因为我们获得的数据量每隔几周就会翻一番

我们最初研究的是S3。它工作正常，但很快就会变得非常昂贵（每月刚投入运行的成本超过1000美元！）

然后我们试了一下。但我们似乎无法在每个节点上获得超过60次写入/秒的速度，这非常缓慢

---

还有其他解决方案吗？

Hadoop的HDFS在Amazon EC2实例上的分布情况如何？我知道每个实例都有大量的存储空间，您不必为put/get付费，只需向入站传输。

Hadoop的HDFS在Amazon EC2实例上的分布情况如何？我知道每个实例都有很好的存储空间，您不必为put/get付费，只需入站传输。

有很多旋钮可以在Riak中打开-如果您还没有，请询问邮件列表，我们会为您找到一个合理的配置。每秒60次写入不在标准范围内

---

请参阅：

Riak中有很多旋钮可以打开-如果您还没有打开，请询问邮件列表，我们将为您找出一个合理的配置。每秒60次写入不在标准范围内

---

请参阅：

我建议您从Appistry查看。它是一个完全分布式的文件存储。它可以通过基于REST的API访问，并且可以在商品硬件上运行。您可以逐个文件定义保留的副本数。它支持最终一致的模型，因此您可以平衡文件一致性和性能。

我建议您从Appistry查看。它是一个完全分布式的文件存储。它可以通过基于REST的API访问，并且可以在商品硬件上运行。您可以逐个文件定义保留的副本数。它支持最终一致的模型，因此您可以平衡文件一致性和性能。

我们没有使用Amazon。。。因此，是的，我们必须支付EC2的带宽。但也许这是一种选择。您已经安装了HDFS群集吗？是的，我已经安装了。我设置了一个集群，在大约50台小型EC2机器（大约7.5TB的存储容量）上运行，以这个速度S3是一个便宜货：）50台小型EC2已经是3500个月了，甚至没有考虑带宽！：（好吧，你也可以在自己的机器上运行Hadoop。我认为你选择的任何系统都会有些昂贵（要么你必须租用自己的服务器，要么你为带宽付费）我们没有使用Amazon…因此，是的，我们必须支付EC2的带宽。但这可能是一种选择。您已经设置了HDFS群集吗？是的，我已经设置了。我设置了一个群集，以这种速率在大约50台小型EC2机器（大约7.5TB的存储空间）上运行S3很便宜：）50个小型EC2已经是每月3500个，甚至不考虑带宽！：（好吧，你也可以在自己的机器上运行Hadoop。我认为你选择的任何系统都会有些昂贵（要么你必须租用自己的服务器，要么你为带宽付费）我们问了…还没有回答：只是没有人说60次写作/秒不是标准，这是一个非常坏的消息。很抱歉，朱利安，我没有把这些点联系起来。请给我发电子邮件，我们可以打个电话来解决你的问题：basho的肖恩。com我们问了…还没有回答：只是没有人说60次写作/秒tes/秒不是正常的是一个非常坏的消息。很抱歉Julien，我没有把这些点连接起来。请给我发电子邮件，我们可以打电话来解决您的问题：sean在basho.com上用riak写60次/秒？你是怎么得到这个号码的？这很有趣，因为我也在用riak评估riak.60次/秒？你是怎么得到这个号码的？这个非常有趣，因为我也在评估riak。