Csv Google BigQuery将数据批量加载到表中

我认为我现在想做的是不可行的，但我想澄清一下

我有一个bucket say

bucketA

和一个bucket say

bucketB

，其中

bucketA

的访问日志以特定的CSV格式存储

我要做的是对这些访问日志运行SQL查询。我的问题是日志存储在不同的CSV中（我认为每小时一个）。我试图通过BigQueryUI界面导入它们，但似乎存在一对一CSV到表的映射。当您定义输入位置时，占位符和文档将显示为放置一个

gs://

基于以上，我的问题是：是否可以使用类似“*”的星号操作符将一个bucket中的所有文件上传到一个BigQuery表中

一旦构建了表，当更多包含数据的文件存储在bucket中时会发生什么？是否需要重新运行，是否有计划程序

基于以上，我的问题是：是否可以上传一个all 将bucket中的文件保存到单个BigQuery表中，类似于 “*”星号运算符

在这两种情况下，您可以直接在GCS（联邦源代码）中查询它们，或者加载它们，然后使用

*

将它们全部加载到本机表中：

一旦构建了表，当更多包含数据的文件存储在bucket中时会发生什么？是否需要重新运行，是否有计划程序

---

如果将其保留为en

external

table，则每次查询BigQuery时都会扫描所有文件，因此您将获得新的文件/数据。如果将其作为本机表加载，则需要自己安排一个作业，以便将每个新文件附加到表中

使用BigQuery web UI，在使用标准上传csv方法创建新表+一些初始数据之后

对于快速测试，如何使用BigQueryWebUI向现有表中插入更多新数据

我意识到我不能在查询编辑器文本框中复制和粘贴多个insert语句

插入dataset.myschema值（“新值1”、“更多值1”）；
插入dataset.myschema值（“新值2”、“更多值2”）；

哇，那么一行一行地插入新的数据会很乏味

幸运的是，BigQuery支持使用值语法的插入语句，可以插入多行

插入dataset.myschema值（“新值1”、“更多值1”），
（“新价值2”、“更多价值2”）；

这看起来像是一个复制品。这个问题（和答案）有帮助吗？它们非常相似：（1）这里我们有一个不同的（更全面的）答案，（2）我想问一些更具体的用户案例，也许有或者将会有替代的解决方案。什么是最佳的SO继续方式？第二条评论：在跟进之后，可能会构建一个完全不同的问题。您编辑了您的问题，所以我更新了我的答案。@GrahamPolley完美答案，非常感谢您。只是做了“混合”结果。你的回答是正确的。我遇到的问题是，有一些57字节大小的CSV掉到了bucket中，它们的头和内容与其他CSV不同。有什么方法可以忽略它们吗？在文件中找到“用法”和“存储”如果我的回答是“正确”，那么请接受它。然后为其他问题创建一个新问题。