Jdbc 如何在有/没有数据流的情况下同步Bigquery和Oracle数据库？

我尝试使用数据流

我意识到这是一个批处理过程，而不是流。此模板不会使Bigquery与Oracle数据库同步，而只是复制并粘贴数据

我试图定期运行相同的作业，但重复的数据被添加到Bigquery中。我看到一些第三方解决方案也这样做，但我希望尽可能多地使用第一方解决方案

---

是否可以使Bigquery与oracle数据库同步？

我认为您需要的是一个从oracle数据库读取更改的源。不幸的是，当前的Beam JDBC源代码无法达到此目的，因此您可能必须为此开发一个新的源代码。

我将对此进行研究，并确认这是否可行。通过随时间周期性地处理数据窗口，可以修改此处的模板以使用流模式。如果无法以这种方式创建模板，则可以从代码运行流式管道，并保持流式管道运行