Fatal编程技术网
  • google-bigquery/
  • Google bigquery 将多个csv从谷歌云上传到bigquery

Google bigquery 将多个csv从谷歌云上传到bigquery

google-bigquery google-cloud-storage

Google bigquery 将多个csv从谷歌云上传到bigquery,google-bigquery,google-cloud-storage,Google Bigquery,Google Cloud Storage,我需要上传多个CSV文件从我的谷歌桶。创建数据集时尝试指向存储桶，但收到错误。也试过 gsutil load <projectID:dataset.table> gs://mybucket gsutil load gs://mybucket 它不起作用 我需要一次上载多个文件，因为我的总数据量为2-3 TB，并且有大量文件您就快到了。Google云存储使用gsutil，但BigQuery的命令行实用程序是“bq”。您要查找的命令是bq load gs://mybucket/fil

我需要上传多个CSV文件从我的谷歌桶。创建数据集时尝试指向存储桶，但收到错误。也试过

gsutil load <projectID:dataset.table> gs://mybucket

gsutil load gs://mybucket
它不起作用

我需要一次上载多个文件，因为我的总数据量为2-3 TB，并且有大量文件

您就快到了。Google云存储使用gsutil，但BigQuery的命令行实用程序是“bq”。您要查找的命令是
bq load gs://mybucket/file.csv

bq的文档在这里：

bq加载--自动检测--无替换--源文件格式=CSV--跳过前导行=1[我的数据集].[我的表格]gs://[我的桶]/[我的文件夹]/*