Google bigquery BigQuery将在其中存储数据

Google bigquery BigQuery将在其中存储数据,google-bigquery,google-cloud-storage,google-cloud-dataflow,Google Bigquery,Google Cloud Storage,Google Cloud Dataflow,我使用BigQueryIO将数据从Google数据流作业发布到BigQuery中 另外,BigQuery可以用于从谷歌云存储、谷歌硬盘和谷歌表单查询数据 但是当我们使用BigQueryIO存储数据时,数据将存储在哪里?它在谷歌云存储中吗?BigQuery是一个托管数据仓库,简单地说就是一个数据库 因此,您的数据将存储在BigQuery中,您可以使用SQL查询来访问它。简短回答-BigQueryIO写入/读取BigQuery表 更深入一点: BigQuery以列数据格式存储数据,并提供表、分区、列

我使用BigQueryIO将数据从Google数据流作业发布到BigQuery中

另外,BigQuery可以用于从谷歌云存储、谷歌硬盘和谷歌表单查询数据


但是当我们使用BigQueryIO存储数据时,数据将存储在哪里?它在谷歌云存储中吗?

BigQuery是一个托管数据仓库,简单地说就是一个数据库


因此,您的数据将存储在BigQuery中,您可以使用SQL查询来访问它。

简短回答-BigQueryIO写入/读取BigQuery表

更深入一点:
BigQuery以列数据格式存储数据,并提供表、分区、列和行的标准数据库概念

它管理存储结构化数据的技术方面,包括压缩、加密、复制、性能调整和扩展


您可以在

中阅读有关BigQuery的更多信息。云存储是一项独立于BigQuery的服务。在内部,大查询管理自己的存储

因此,如果您将数据保存到云存储,然后使用
bq
命令从云存储中的文件加载一个大的查询表,那么现在数据有两个副本

后果包括:

  • 如果删除云存储副本,数据仍将处于大查询中
  • 费用包括每份的价格。我认为2017年4月,BQ的长期存储大约为0.01美元/GB,而云存储大约为0.01美元-0.026美元/GB,具体取决于存储类别
  • 如果GCS和BQ中都有相同的数据,您将支付两次。是否值得备份数据取决于您