Google cloud dataflow 错误后继续执行数据流管道

Google cloud dataflow 错误后继续执行数据流管道,google-cloud-dataflow,Google Cloud Dataflow,是否有一种方法可以在发生错误后继续执行数据流作业? 我正在从一个CSV文件中读取数据以导入到BigQuery中,CSV中的一个值是字符串,而列的类型是integer,因此我希望作业继续执行并忽略该问题。实际上,我在尝试插入第一行时出错了,这是标题行,然后我想我只想忽略所有不好的行并继续 以下是错误: 无法将值“string\u value:“XXXX””转换为整数。字段: XXXX;价值:XXXX 我知道一种选择是通过尝试转换每个值来防止错误发生,如果出现异常,不要尝试包括行,但在我看来,应该有

是否有一种方法可以在发生错误后继续执行数据流作业? 我正在从一个CSV文件中读取数据以导入到BigQuery中,CSV中的一个值是字符串,而列的类型是integer,因此我希望作业继续执行并忽略该问题。实际上,我在尝试插入第一行时出错了,这是标题行,然后我想我只想忽略所有不好的行并继续

以下是错误:

无法将值“string\u value:“XXXX””转换为整数。字段: XXXX;价值:XXXX


我知道一种选择是通过尝试转换每个值来防止错误发生,如果出现异常,不要尝试包括行,但在我看来,应该有一种方法来处理BQ异常,这应该更简单。

目前
BigQueryIO
不支持这一点,但是,您可以通过JIRA查看进度。

请分享您的代码