Python 在一段时间内抓取数据的存储空间效率

我想存储有关外汇资产贷款利率的数据。数据是通过使用

数据更改的频率未知。我最初的计划是每秒钟查询一次API，如果有新的数据以前的_数据然后存储新的_数据

数据大小似乎在5kb左右，比如说数据每10秒变化一次，这意味着在一年内：

所需总存储空间=5*6*60*24*365=15768000 KB=15.04 GB

但是，如果数据每秒更改一次，则这将是150GB

---

有人能评论一下我如何能使这更有效吗？对于我的电脑来说，这是相当大的空间。最后，我想让它在服务器上运行，有没有人能为初学者提供一个很好的指南来指导如何做到这一点？也许这种存储空间对于AWS或类似的云服务来说并不多？

您目前是如何存储它的？您能否指定一些访问模式？即，谁将访问数据进行读取？多久访问一次？您希望对此数据运行哪些查询？这些问题需要以多快的速度得到回答？每年150GB的空间并不是什么大问题。包括S3中每年大约50美元的传输成本，但为了知道S3是否合适，我们需要知道数据将如何访问。若只是为了存档，你们也可以把它储存在冰川中。如果需要快速频繁的访问，那么S3可能不够快。@AdiLevin S3是AWS默认的“存储”选项。我认为我们没有时间在这里列出所有可能的存储选项。即使OP给出了更多的访问/查询/速度要求，仍然会有几个答案。也许我应该投票以“太宽”结束