Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform Google BigQuery bq是否为某些列加载?_Google Cloud Platform_Google Bigquery - Fatal编程技术网

Google cloud platform Google BigQuery bq是否为某些列加载?

Google cloud platform Google BigQuery bq是否为某些列加载?,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我有一个.orc文件的数据集。我使用CLI在gcloudutils中的BQ load命令在BQ中加载数据。我的数据有4列。第三列与第四列重复,但我想保留第四列。是否有一种方法可以只接收带有orc文件的bq load的某些列?要仅接收某些列,可以在命令末尾指定列: bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ... 让我们假设两个场景: 在第一个场景中,

我有一个
.orc
文件的数据集。我使用CLI在
gcloud
utils中的
BQ load
命令在BQ中加载数据。我的数据有4列。第三列与第四列重复,但我想保留第四列。是否有一种方法可以只接收带有
orc
文件的
bq load
的某些列?

要仅接收某些列,可以在命令末尾指定列:

bq load --source_format=ORC DATASET.TABLE gs://YOU-FILES_LOCATION COLUMN1:TYPE, COLUMN2:TYPE, ...
让我们假设两个场景:

  • 在第一个场景中,
    BigQuery
    中没有表,您只想加载
    ORC
    文件的一些字段。如果运行上面指定某些字段的命令,将创建一个仅包含该字段的表
  • 在第二个场景中,您已经在
    BigQuery
    中有一个带有
    NULLABLE
    字段的表。在这种情况下,如果您运行上面指定字段的命令,您将只将数据的该字段加载到表中,而该行的其他字段将为
    NULL

  • 请告诉我它是否有助于解决您的问题。

    您是否尝试在仅使用3列的
    bq load
    命令中指定架构,并添加参数
    --允许锯齿行
    ?但我认为这是行不通的。这是不允许的。你的档案很大吗?