Google cloud storage 谷歌云存储小文件的成本效益?

Google cloud storage 谷歌云存储小文件的成本效益?,google-cloud-storage,Google Cloud Storage,我有很多小的非结构化json文件(每个不到1K),我想以某种方式(使用流媒体)存储在Google云存储上。我宁愿避免将它们放入zip文件(我想),因为我正在考虑使用apachedrill对它们执行查询。将多个json文档合并在一起而不是逐个存储它们会更划算吗?(我认为分批编写文件是一件好事,不管它们是合并的还是单独存储的)嗯……也许吧。这取决于你的使用模式 地面军事系统没有每件物品的费用。相反,它每月按存储的千兆字节收费。将文件拆分根本不会影响这一点 然而,地面军事系统也收取每项操作费用。在撰写

我有很多小的非结构化json文件(每个不到1K),我想以某种方式(使用流媒体)存储在Google云存储上。我宁愿避免将它们放入zip文件(我想),因为我正在考虑使用apachedrill对它们执行查询。将多个json文档合并在一起而不是逐个存储它们会更划算吗?(我认为分批编写文件是一件好事,不管它们是合并的还是单独存储的)

嗯……也许吧。这取决于你的使用模式

地面军事系统没有每件物品的费用。相反,它每月按存储的千兆字节收费。将文件拆分根本不会影响这一点

然而,地面军事系统也收取每项操作费用。在撰写本文时,每10000次下载将花费你一分钱,每10000次上传将花费你一分钱。如果您只有几千个文件,或者一次只能访问几个文件,这可能不会有太大的区别,但是如果您需要经常下载所有文件,或者需要经常替换这些文件,并且每天要进行数百万或数十亿次的单独上传,突然间使用几个大文件可以为你节省很多钱


如果你能估计出在每种情况下你将进行多少次下载和上传,谷歌会提供一个计算器,让你知道这需要多少成本:

如果我上传一张50 kb的小图片,我只需要50 kb吗?我读到另一个对象存储,Scaleway's,在那里我发现:“一个部件的最小大小:5MB”,这听起来好像他们要收取5MB的费用,尽管我只上传了50KB但那是一条通道;地面军事系统可能会有不同的工作方式?不,地面军事系统中没有5MB的东西。如果您在一个月内存储10.7亿个1字节的文件,那么每月的存储成本应该是1千兆字节左右。也就是说,由于其他原因,在GCS中存储数十亿个单字节文件可能不是最佳的存储解决方案(Cloud BigTable可能是一个更好的选择),但对于存储对象的成本,没有任何计费开销。@Brandon-听到这个消息太好了:-)感谢您的快速回复(问题发布4年后)