Google cloud dataflow 如何调试不生成日志的数据流错误？

我正在使用Python SDK在Google Dataflow批处理管道上写作，我遇到了一个管道故障，Stackdriver中似乎没有任何日志。在数据集~300MB上运行beam.combiners.ToList（）时发生故障

堆栈驱动器输出：

作业失败，因为工作项已失败4次。查看以前的日志条目，了解4个故障中每一个故障的原因。有关详细信息，请参阅。已尝试在以下工作人员上执行工作项：

但是，我找不到关于为什么失败的日志。我正在运行python3.6和apache_beam==2.19.0。我也在运行

——实验=shuffle\u mode=service

，我不确定这是否相关

---

调试的下一步是什么？

我可以看到您已经尝试搜索以前的日志条目，但我想知道您是否按照中的建议按错误级别和致命级别进行了筛选？在此链接中，您将发现可能有4个类似的错误，这可能是导致故障的原因

---

此外，您可以添加调试消息以验证您的步骤是否正常运行，有关详细信息，请参阅。

我认为我的问题与类似。我仍然找不到任何日志告诉我一个工人崩溃了，但我看到了墙时间反转和输出收集计数减少的相同症状