Google bigquery 从BigQuery或数据存储中检索大约100000条记录

我们想在谷歌计算引擎上缓存一些数据（大约10万行数据）。每行有3-4列。您建议从Google云数据存储或BigQuery加载此数据吗

BigQuery负责“创建”此数据。但是，我们不确定远程读取中等数量的数据是否是一种好的做法

真正专注于分析查询（即，

从我的\u表\u请求中选择user\u agent，SUM（请求\u成本），其中user\u agent！=NULL GROUP BY user\u agent

）而不是导出100个数千行

专注于应用程序级数据检索（即“获取这些精确的行”）而不是分析查询，但它提供了辅助索引（aka，filtering）以及其他奇特的OLTP功能（如ACID事务、自动数据复制等）。对于您的10万行，您只需支付0.06美元即可一次性检索所有行

如果您只想将10万行数据转储到某个文件中，然后将其读回（不需要在服务器端进行任何筛选，也不需要事务或复制），那么这两种方法都不是正确的选择。您可能需要考虑只存储数据的CSV输出文件并调用它一天。

如果您确实需要高级查询、事务等，数据存储将完成这项工作，但成本可能比您预期的要高。您可能需要考虑将此数据加载到SQL数据库（即PostgreSQL或MySQL）中，该数据库可以轻松处理100K行。