Google cloud platform 谷歌云数据流——是否可以定义一个从BigQuery读取数据并写入本地数据库的管道？

我的组织计划在BigQuery中存储一组数据，并希望定期提取其中的一些数据并将其带回本地数据库。在回顾我在网上发现的关于数据流的内容时，最常见的例子是将数据移向另一个方向——从本地数据库移到云中。是否可以使用数据流将数据从云端带回我们的系统？如果没有，还有其他更适合此任务的工具吗？

抽象地说，是的。如果您有一组源代码和同步代码，并且希望通过一些转换在它们之间移动数据，那么Beam/Dataflow应该非常适合该任务。听起来您讨论的是基于批处理的周期性工作流，而不是连续的流式工作流

在实施方面，还有更多的问题需要考虑。是否为您的预期内部数据库提供了适当的光束连接器？您可以在这里看到内置连接器：（注意页面顶部的每语言SDK切换）

您需要自定义转换吗？除了BigQuery之外，您是否正在组合来自其他系统的数据？或者对我来说意味着你在正确的轨道上

---

另一方面，如果提取过程相对简单（例如，只需每周运行一次查询并提取），您可能会发现有更简单的解决方案，特别是如果您没有移动太多数据，并且您的数据库可以接收其中一个BigQuery中的数据。

我投票结束这个问题，因为它缺少足够的详细信息来创建答案。明确说明问题、您尝试了什么以及任何错误。阅读此链接有助于创建一个好的问题，该问题的答案无需对您的问题发表意见或猜测。谢谢你的回答。根据对我最初问题的评论，我意识到我没有提供太多细节。我还没有试验过，因为我们还在评估可行性。为了简化我的问题，我可能会问“GCP上的数据流技术是否允许写入本身并不驻留在GCP上的数据存储。”毫不奇怪，常见的例子集中在相反的方向上——将数据导入GCP。因此，我不清楚这项技术是否从根本上局限于这一方向。无论如何，谢谢你们的反馈。