Http 使用S3代替Cassandra/DynamoDB(案例使用)

Http 使用S3代替Cassandra/DynamoDB(案例使用),http,amazon-s3,cassandra,amazon-dynamodb,amazon-sqs,Http,Amazon S3,Cassandra,Amazon Dynamodb,Amazon Sqs,如果有人有过以这种方式使用S3的经验,将大大有助于我完成或放弃这项任务 计划 每秒在S3中插入400-800个对象,每个对象1.5kb-2kb。 作为键(UUID哈希),有效负载({Key:value})发送。 这已经通过了http测试,看起来效果不错,但我有疑问 大约每10秒从S3中提取40-60个对象 将SQS消息作为备份机制,以便能够将失败的S3插入转移到SQS中 让SQS消息在30秒内重试插入S3或其他选项 在读取插入的记录之前,发送到s3的文件将至少延迟15分钟。这让我心平气和,如果延

如果有人有过以这种方式使用S3的经验,将大大有助于我完成或放弃这项任务

计划

  • 每秒在S3中插入400-800个对象,每个对象1.5kb-2kb。 作为(UUID哈希),有效负载({Key:value})发送。 这已经通过了http测试,看起来效果不错,但我有疑问

  • 大约每10秒从S3中提取40-60个对象

  • 将SQS消息作为备份机制,以便能够将失败的S3插入转移到SQS中

  • 让SQS消息在30秒内重试插入S3或其他选项

  • 在读取插入的记录之前,发送到s3的文件将至少延迟15分钟。这让我心平气和,如果延迟时间很长,就不会有问题。

    尝试这种实现而不是Cassandra或DynamoDB的原因很简单

    卡桑德拉,它的地狱管理,可以得到安静的昂贵。(一直在与顾问合作,结果一团糟。) DynamoDB是下一个解决方案,如果这不起作用的话,我喜欢s3是无限存储的想法,当然更便宜


    任何回复、建议、评论都将不胜感激

    如何使用S3数据?每个S3文件是否必须包含一个有效负载?它是否可以包含批处理数据?此时,它必须是非批处理的,因为uuid(密钥)是作为另一个(外部)系统的标识符动态创建的。