Google bigquery 可以下载整个大查询数据库吗?

Google bigquery 可以下载整个大查询数据库吗?,google-bigquery,Google Bigquery,例如,是否可以下载bigquery的全部公共数据:芝加哥出租车出行 我相信您首先需要导出到谷歌云存储,然后再从那里下载 另一种选择是编写脚本(python或R)来查询数据,然后将结果写入文件。注意,对于大型数据集,分块查询可能更有帮助。要下载bigquery公共数据:芝加哥出租车出行: 去 搜索数据集(芝加哥出租车出行) 选择查看数据集 选择bigquery公共数据/芝加哥出租车出行/出租车出行 选择导出/导出到地面军事系统 选择地面军事系统位置、导出格式、压缩 使用CLI bq --l

例如,是否可以下载bigquery的全部公共数据:芝加哥出租车出行

我相信您首先需要导出到谷歌云存储,然后再从那里下载


另一种选择是编写脚本(python或R)来查询数据,然后将结果写入文件。注意,对于大型数据集,分块查询可能更有帮助。

要下载bigquery公共数据:芝加哥出租车出行:

  • 搜索数据集(芝加哥出租车出行)

  • 选择查看数据集

  • 选择bigquery公共数据/芝加哥出租车出行/出租车出行

  • 选择导出/导出到地面军事系统

  • 选择地面军事系统位置、导出格式、压缩

  • 使用CLI

        bq --location=location extract \
        --destination_format format \
        --compression compression_type \
        --field_delimiter delimiter \
        --print_header=boolean \
        project_id:dataset.table \
        gs://bucket/filename.ext
    
    其中:

    location是您所在位置的名称。--location标志是 可选。例如,如果您在东京地区使用BigQuery, 您可以将标志的值设置为asia-northeast1。您可以设置默认值 使用.bigqueryrc文件的位置的值

    format是导出数据的格式:CSV, 换行符分隔的JSON或AVRO

    压缩类型是数据格式支持的压缩类型。 CSV和换行符分隔的JSON支持GZIP。AVRO支持放气和排气 活泼的

    分隔符是指示列之间边界的字符 在CSV导出中\t和tab是tab的可接受名称

    布尔值为真或假。设置为true时,标题行将打印到 如果数据格式支持标题,则导出的数据。默认值 价值是真实的

    project\u id是您的项目id

    dataset是源数据集的名称

    表是要导出的表

    bucket是您要访问的云存储bucket的名称 导出数据。BigQuery数据集和云存储桶 必须在同一位置

    filename.ext是导出数据文件的名称和扩展名。你 可以使用通配符导出到多个文件