Google cloud dataflow 数据流批处理或流式插入到BigQuery澄清_Google Cloud Dataflow_Apache Beam_Dataflow

Google cloud dataflow 数据流批处理或流式插入到BigQuery澄清

google-cloud-dataflow

Google cloud dataflow 数据流批处理或流式插入到BigQuery澄清,google-cloud-dataflow,apache-beam,dataflow,Google Cloud Dataflow,Apache Beam,Dataflow,考虑到流式插入到BigQuery会带来成本，从BigQuery的角度来看，使用数据流读取有界集合（或批处理模式）是否会产生成本？我相信只有在读取无界集合（流模式）并写入BigQuery时才被视为是对BigQuery的流插入？您是正确的，如下所示：如果输入是有界的，则将使用文件加载。如果输入是未绑定，则将使用流式插入您可以在BigQueryIObuilder对象上使用.setMethod（Write.Method.FILE\u load）或.setMethod（Write.Method.ST

考虑到流式插入到

BigQuery

会带来成本，从

BigQuery

的角度来看，使用数据流读取有界集合（或批处理模式）是否会产生成本？我相信只有在读取无界集合（流模式）并写入

BigQuery

时才被视为是对

BigQuery

的流插入？

您是正确的，如下所示：

如果输入是有界的，则将使用文件加载。如果输入是未绑定，则将使用流式插入

您可以在

BigQueryIO

builder对象上使用

.setMethod（Write.Method.FILE\u load）

或

.setMethod（Write.Method.STREAMING\u INSERTS）

覆盖默认行为