Google bigquery 可以下载整个大查询数据库吗?
例如,是否可以下载bigquery的全部公共数据:芝加哥出租车出行 我相信您首先需要导出到谷歌云存储,然后再从那里下载Google bigquery 可以下载整个大查询数据库吗?,google-bigquery,Google Bigquery,例如,是否可以下载bigquery的全部公共数据:芝加哥出租车出行 我相信您首先需要导出到谷歌云存储,然后再从那里下载 另一种选择是编写脚本(python或R)来查询数据,然后将结果写入文件。注意,对于大型数据集,分块查询可能更有帮助。要下载bigquery公共数据:芝加哥出租车出行: 去 搜索数据集(芝加哥出租车出行) 选择查看数据集 选择bigquery公共数据/芝加哥出租车出行/出租车出行 选择导出/导出到地面军事系统 选择地面军事系统位置、导出格式、压缩 使用CLI bq --l
另一种选择是编写脚本(python或R)来查询数据,然后将结果写入文件。注意,对于大型数据集,分块查询可能更有帮助。要下载bigquery公共数据:芝加哥出租车出行:
bq --location=location extract \
--destination_format format \
--compression compression_type \
--field_delimiter delimiter \
--print_header=boolean \
project_id:dataset.table \
gs://bucket/filename.ext
其中:
location是您所在位置的名称。--location标志是
可选。例如,如果您在东京地区使用BigQuery,
您可以将标志的值设置为asia-northeast1。您可以设置默认值
使用.bigqueryrc文件的位置的值
format是导出数据的格式:CSV,
换行符分隔的JSON或AVRO
压缩类型是数据格式支持的压缩类型。
CSV和换行符分隔的JSON支持GZIP。AVRO支持放气和排气
活泼的
分隔符是指示列之间边界的字符
在CSV导出中\t和tab是tab的可接受名称
布尔值为真或假。设置为true时,标题行将打印到
如果数据格式支持标题,则导出的数据。默认值
价值是真实的
project\u id是您的项目id
dataset是源数据集的名称
表是要导出的表
bucket是您要访问的云存储bucket的名称
导出数据。BigQuery数据集和云存储桶
必须在同一位置
filename.ext是导出数据文件的名称和扩展名。你
可以使用通配符导出到多个文件