Google bigquery 具有大量小文件和作业限制的BigQuery_Google Bigquery

Google bigquery 具有大量小文件和作业限制的BigQuery

google-bigquery

Google bigquery 具有大量小文件和作业限制的BigQuery,google-bigquery,Google Bigquery,我有大量的小文件要加载到BigQuery中的单个表中。我希望有一个云函数，当它们上传到GCS存储桶时，将它们加载到大查询中。现在，每天的就业人数只有几人（比如说10人），但可能会增加到数千人，我想我会达到每天1500个工作岗位的上限。我不想使用流媒体，因为相对于费用而言，没有业务需要。有没有办法在不执行定期批量加载的情况下执行此操作？您可以使用BigQuery DTS监视GCS位置并自动加载新文件：在BigQuery中使用外部表是否是您的一个选项？这正是我要找的！谢谢

我有大量的小文件要加载到BigQuery中的单个表中。我希望有一个云函数，当它们上传到GCS存储桶时，将它们加载到大查询中。现在，每天的就业人数只有几人（比如说10人），但可能会增加到数千人，我想我会达到每天1500个工作岗位的上限。我不想使用流媒体，因为相对于费用而言，没有业务需要。有没有办法在不执行定期批量加载的情况下执行此操作？

您可以使用BigQuery DTS监视GCS位置并自动加载新文件：

在BigQuery中使用外部表是否是您的一个选项？这正是我要找的！谢谢