Firebase 将数据从Firestore加载到BigQuery的适当方式是什么？

我正在研究几种从Firestore导出数据的方法，从长远来看不需要使用导出昂贵的操作，因为它不支持在BigQuery和DataStudio中使用的增量备份

1使用谷歌发布/订阅。 这可能需要函数写入pub/sub，然后另一个函数触发BQ

2使用云函数从onCreate事件触发直接写入BigQuery数据集和表。 这是使用table.insert

使用酒吧/酒吧的好处是什么？从长远来看，它似乎会花费更多

还是有其他我不知道的方法可以做到这一点

这方面我是新手。我们非常感谢上述方案的一些建议和利弊。

官方解决方案是

如果使用云函数从onCreate事件触发，您将创建什么？在云存储上创建文件还是创建Firestore文档

我认为在使用云函数的情况下，应该使用PubSub触发器

我推荐使用Pub/Sub之类的异步架构，因为重新运行很容易，影响范围也很有限

我开发的样品是。我使用的是云调度器，不是cron.yaml。云调度器的成本很高

如果要将Firebase身份验证用户导出到云Firestore集合。使用Firestore、云功能SpubSub和云调度器。 将所有云Firestore集合和指定集合导出到云存储。使用AppEngine和云调度器。 将指定的云Firestore集合作为分区表导出到BigQuery。使用AppEngine和云调度器。

---

嘿@zkohi。我会像这样在云存储中创建一个JSON文档：感谢您的想法和示例。我一定去看看！是否要将数据流传输到BigQuery？您的链接正在使用。我的答案是计划数据导出，如每日cron作业。导出指定的云Firestore集合中的所有数据。我不建议使用Firestore onCreate触发器流式传输数据。