Google bigquery 如何将数据从BigQuery加载到扳手？

我想运行一个基于BigQuery设置进行聚合的日常作业。输出是一个表，我将其写回BigQuery，该表的行数为900M，大小为80GB。我希望将此数据集用于在线查询使用模式，而不是用于分析

查询数据总是在特定的切片上完成，这些切片应该很容易通过主键或辅键进行分段。我认为，就查询性能和切分而言，扳手可能是一个不错的选择，但我在解决如何定期将大量数据加载到其中，以及如何处理上传之间的“切换”方面遇到了困难，因为它不支持表重命名

---

有没有一种方法可以通过编程来执行这种批量加载？我们已经在内部使用Apache Airflow来处理类似的数据处理和传输任务，因此如果可以在那里处理它，那就更好了。

您可以使用云数据流

---

在您的管道中，您可以进行读写操作。

谢谢，但这似乎有点太多了。我希望从S3功能中获得类似AWS Aurora的负载。