Google cloud platform Google BigQuery bq是否为某些列加载?
我有一个Google cloud platform Google BigQuery bq是否为某些列加载?,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我有一个.orc文件的数据集。我使用CLI在gcloudutils中的BQ load命令在BQ中加载数据。我的数据有4列。第三列与第四列重复,但我想保留第四列。是否有一种方法可以只接收带有orc文件的bq load的某些列?要仅接收某些列,可以在命令末尾指定列: bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ... 让我们假设两个场景: 在第一个场景中,
.orc
文件的数据集。我使用CLI在gcloud
utils中的BQ load
命令在BQ中加载数据。我的数据有4列。第三列与第四列重复,但我想保留第四列。是否有一种方法可以只接收带有orc
文件的bq load
的某些列?要仅接收某些列,可以在命令末尾指定列:
bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ...
让我们假设两个场景:
BigQuery
中没有表,您只想加载ORC
文件的一些字段。如果运行上面指定某些字段的命令,将创建一个仅包含该字段的表BigQuery
中有一个带有NULLABLE
字段的表。在这种情况下,如果您运行上面指定字段的命令,您将只将数据的该字段加载到表中,而该行的其他字段将为NULL
请告诉我它是否有助于解决您的问题。您是否尝试在仅使用3列的
bq load
命令中指定架构,并添加参数--允许锯齿行
?但我认为这是行不通的。这是不允许的。你的档案很大吗?