Google bigquery 将数据从大查询导出到GCS-包括具有空值的列

Google bigquery 将数据从大查询导出到GCS-包括具有空值的列,google-bigquery,google-cloud-storage,Google Bigquery,Google Cloud Storage,我尝试将大查询表导出到GoogleCloud存储,格式指定为JSON 在这里,我注意到带有null值的like列不包括在生成的JSON文件中 那么,有没有办法将行的所有字段转换为JSON呢 我的目的是从表中导出数据,进行一些转换,然后将数据重新加载到新表中。所以,我基本上需要在生成的JSON文件中包含所有字段 例如,我尝试导出Bigquery-public-data.samples.wikipedia表 导出后,JSON行仅包含非空值的列 { "title": "Strait of Mess

我尝试将大查询表导出到GoogleCloud存储,格式指定为JSON

在这里,我注意到带有null值的like列不包括在生成的JSON文件中

那么,有没有办法将行的所有字段转换为JSON呢

我的目的是从表中导出数据,进行一些转换,然后将数据重新加载到新表中。所以,我基本上需要在生成的JSON文件中包含所有字段

例如,我尝试导出Bigquery-public-data.samples.wikipedia表

导出后,JSON行仅包含非空值的列

{
  "title": "Strait of Messina Bridge",
  "id": "1462053",
  "language": "",
  "wp_namespace": "0",
  "revision_id": "115349459",
  "contributor_ip": "80.129.30.196",
  "timestamp": "1173977859",
  "comment": "/* Controversy and concerns */",
  "num_characters": "20009"
}

生成的JSON中没有几个列,如contributor\u id、contributor\u username和其他空值的列

只是一个简单的问题-为什么需要导出来进行转换?您可以直接在BigQuery中执行这些操作。我想在不修改src表的情况下将数据从src移动到dest表,但在dest表中需要一些转换,那么问题出在哪里?在src表上编写一个查询(执行转换),并将结果写入目标表!这听起来很像你们这里的另一个问题:我在src表中有大量的数据,它是非分区的。我需要以更低的成本将数据移动到特定的分区中。如果我打算使用目标表进行bq查询,那么我每天都要为每次查询src表支付大量费用。有几种解决方法可用于处理分区表并避免这些成本。请看这里: