Google cloud platform Google数据流-将JDBC并行化为BigQuery?

Google cloud platform Google数据流-将JDBC并行化为BigQuery?,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我们正在使用Google提供的批处理模板JDBC to Bigquery将大量表从PostgreSQL加载到Bigquery。 是否有一种方法可以同时运行多个模板作业?在我们当前的设置中,每个作业都会旋转工作实例并花费几分钟,而实际工作只需要几秒钟 想知道在从关系数据库到BigQuery的简单数据传输中是否有更有效的方法 谢谢。数据流与计算引擎一样,最多需要两分钟来实例化自身。您是否尝试过启动多个模板作业?它应该会起作用。此外,您应该考虑使用自己的波束代码与Dataflow连接到DB。是的,我

我们正在使用Google提供的批处理模板JDBC to Bigquery将大量表从PostgreSQL加载到Bigquery。

是否有一种方法可以同时运行多个模板作业?在我们当前的设置中,每个作业都会旋转工作实例并花费几分钟,而实际工作只需要几秒钟

想知道在从关系数据库到BigQuery的简单数据传输中是否有更有效的方法


谢谢。

数据流与计算引擎一样,最多需要两分钟来实例化自身。您是否尝试过启动多个模板作业?它应该会起作用。此外,您应该考虑使用自己的波束代码与Dataflow连接到DB。是的,我正在启动多个波束。我想建立我自己的Beam代码,但不确定从哪里开始。你建议我去哪里看看?感谢您的回复!你可以找到相应的模板代码,你应该看看