Google cloud dataflow 我可以信任管道吗';成功';作业日志中的状态为OutOfMemoryError?

Google cloud dataflow 我可以信任管道吗';成功';作业日志中的状态为OutOfMemoryError?,google-cloud-dataflow,Google Cloud Dataflow,我有一个启用自动缩放的数据流作业,它在执行期间将工作池的大小调整为14。作业完成时,作业日志报告了6个OutOfMemoryErrors,但整个管道以及每个执行步骤的状态均为成功。我可以信任作业状态,还是由于工作人员故障而导致数据丢失?您可以信任作业状态和结果,因为数据流旨在以一种能够适应此类故障的方式处理数据。有关更多信息,请参见的说明。具体而言: 数据流服务是容错的,可能会重试您的代码 在工人问题的情况下多次。数据流服务可以 创建代码的备份副本,并且手动备份可能会出现问题 副作用(例如,如果

我有一个启用自动缩放的数据流作业,它在执行期间将工作池的大小调整为14。作业完成时,作业日志报告了6个
OutOfMemoryError
s,但整个管道以及每个执行步骤的状态均为
成功
。我可以信任作业状态,还是由于工作人员故障而导致数据丢失?

您可以信任作业状态和结果,因为数据流旨在以一种能够适应此类故障的方式处理数据。有关更多信息,请参见的说明。具体而言:

数据流服务是容错的,可能会重试您的代码 在工人问题的情况下多次。数据流服务可以 创建代码的备份副本,并且手动备份可能会出现问题 副作用(例如,如果您的代码依赖于或创建临时 具有非唯一名称的文件)


您可以信任作业状态和结果,因为数据流旨在以一种能够适应此类故障的方式处理数据。有关更多信息,请参见的说明。具体而言:

数据流服务是容错的,可能会重试您的代码 在工人问题的情况下多次。数据流服务可以 创建代码的备份副本,并且手动备份可能会出现问题 副作用(例如,如果您的代码依赖于或创建临时 具有非唯一名称的文件)