Google cloud dataflow 从数据流加载Bigquery表时,我们如何设置最大错误记录数?

Google cloud dataflow 从数据流加载Bigquery表时,我们如何设置最大错误记录数?,google-cloud-dataflow,Google Cloud Dataflow,在写入BigqueryIO时,是否有方法设置最大坏记录数?它似乎将默认值保持在0。不幸的是,目前我们没有提供一种方法来直接设置与云数据流中的BigQueryIO相关的configuration.load.maxBadRecords的值 作为一种解决方法,您应该能够应用自定义的ParDo转换,在将“坏记录”传递到BigQueryIO.Write之前对其进行过滤。因此,BigQuery不应该得到任何“坏记录”。希望这能有所帮助 如果控制configuration.load.maxBadRecords

在写入BigqueryIO时,是否有方法设置最大坏记录数?它似乎将默认值保持在0。

不幸的是,目前我们没有提供一种方法来直接设置与云数据流中的
BigQueryIO
相关的
configuration.load.maxBadRecords
的值

作为一种解决方法,您应该能够应用自定义的
ParDo
转换,在将“坏记录”传递到
BigQueryIO.Write
之前对其进行过滤。因此,BigQuery不应该得到任何“坏记录”。希望这能有所帮助


如果控制
configuration.load.maxBadRecords的功能对您很重要,欢迎您在中提交功能请求。

OK。您是否有一个如何在.fromQuery中执行规范的示例?这似乎是一种读取方法,而不是写入(加载)方法。@DavorBonaci您能详细说明一下如何过滤坏记录吗?我在这里问了这个问题:(例如,有没有一种方法可以根据
TableSchema
)确认
TableRow
。让我们继续那里的对话。