Python “我该怎么做？”；“橡皮图章”；Google BigQuery中的bq加载事件？

我有以下文件结构

0916/
  day09/
    part001.file.orc
    ...
  day14/
    part001.file.orc
    ...
0923/
  day09/
    part001.file.orc
    ...
  day10/
    part001.file.orc
    ...
  day15/
    part001.file.orc
    ...

这是因为数据“摄取”可能在首次上传到存储器后几天内完成，导致

day09

的一小部分仍然上传到

0923

我使用

bq load…

从存储上传到bq，但我想保留一些数据来源的“签名”或“橡皮戳”，例如，在orc中有架构，但也添加了一列父文件夹，因此架构将是

field1
field2
...
source

---

其中，该行的源为09160930。这可以通过某种方式实现吗？

我认为这不可能作为

bq load

的一部分，除非将列添加到实际数据中

我将切换到三步流程：

bq load

首先将数据加载到暂存表

bq query

运行从暂存表到目标表的查询，添加额外字段。如果要添加到表或分区，可以使用

WRITE\u APPEND

查询完成

bq rm

删除暂存表

要附加源示例的查询：

SELECT 
  *,
  "0923" AS source
FROM staging_table