Google bigquery 将整个存储桶从google云存储移动到BigQuery?

Google bigquery 将整个存储桶从google云存储移动到BigQuery?,google-bigquery,google-cloud-functions,google-cloud-storage,Google Bigquery,Google Cloud Functions,Google Cloud Storage,从我一直在阅读的Google云存储到BigQuery传输文档,我可以看到如何逐个加载数据文件 有没有办法将整个bucket添加到BigQuery中 文件夹和文件是组织的日志。我们希望根据使用它们的人创建可视化效果。但首先我们需要将bucket数据放入BigQuery中 铲斗结构如下所示: BucketName->LogDate(例如20180623)->所有单个日志 有什么想法吗?您可以在加载过程中使用通配符来实现本文中所述的目标 文件的相关部分如下: 例如,如果您有两个名为fed-sample

从我一直在阅读的Google云存储到BigQuery传输文档,我可以看到如何逐个加载数据文件

有没有办法将整个bucket添加到BigQuery中

文件夹和文件是组织的日志。我们希望根据使用它们的人创建可视化效果。但首先我们需要将bucket数据放入BigQuery中

铲斗结构如下所示:

BucketName->LogDate(例如20180623)->所有单个日志


有什么想法吗?

您可以在加载过程中使用通配符来实现本文中所述的目标

文件的相关部分如下:

例如,如果您有两个名为fed-sample000001.csv和fed-sample000002.csv的文件,则bucket URI将是gs://mybucket/fed sample*。然后可以在控制台、经典UI、CLI或API中使用此通配符URI


您可以
迭代加载这些嵌套日志。例如,如果您的日志为CSV格式,则其中包含三个字段:

gsutil ls gs://mybucket/* | grep '.csv' | xargs -I {} bq --location=US load --source_format=CSV mydataset.mytable {} field_a:type_field_a, field_b:type_field_b, field_c:type_field_c

这里,请注意模式是如何以
field\ux]:type\u field\ux]
的格式内联指定的,其中type可以是BQ支持的任何列类型

@Tamir_Klein感谢编辑可能的副本..和这个:…和这个:如果我在上面引用的文件夹路径中有.log.gz文件,并且所有文件名都是:20190329U_20190329T1703651Z_465u2f8.log.gz,那么云存储URI会是什么样子?嗨!如果要将每个csv文件放在不同的表中,并用每个csv文件的6个初始字符命名这些表,这将如何改变?