Google cloud dataflow BigtableToAvro始终挂起:超过ping错误截止日期

Google cloud dataflow BigtableToAvro始终挂起:超过ping错误截止日期,google-cloud-dataflow,google-cloud-bigtable,Google Cloud Dataflow,Google Cloud Bigtable,我使用提供的BigtableToAvro模板进行BT备份。它开始时,很好,但随后一直依赖于看起来正在洗牌的东西 完整stacktrace from错误详细信息如下:(我无法使用正确的格式发布,无论我如何尝试,请参阅下面的完整stacktrace列表) 这项工作最终取得了成功,但有一半的时间是在空转中度过的,剩下2-3名工人,而高峰时间最多只有40人。完成这项工作通常需要略多于1小时的时间,这意味着某些内置的60分钟超时 我的作业参数没有指定碎片的数量,从我可以看出模板没有使用GroupByKey

我使用提供的BigtableToAvro模板进行BT备份。它开始时,很好,但随后一直依赖于看起来正在洗牌的东西

完整stacktrace from错误详细信息如下:(我无法使用正确的格式发布,无论我如何尝试,请参阅下面的完整stacktrace列表)

这项工作最终取得了成功,但有一半的时间是在空转中度过的,剩下2-3名工人,而高峰时间最多只有40人。完成这项工作通常需要略多于1小时的时间,这意味着某些内置的60分钟超时

我的作业参数没有指定碎片的数量,从我可以看出模板没有使用GroupByKey,我不知道为什么它会乱洗:-/

我尝试使用shuffle服务运行模板,但似乎无法为模板启用它

来自Dataflow控制台的屏幕截图和剩余工作人员之一的CPU使用情况

我确实遵循了错误中的链接,但从我的案例中没有发现任何适用的内容:节点上没有负载,可能没有发生洗牌,只有2-3个工作虚拟机在超时过期之前保持工作状态。

发现了他们提到的可能是服务器上的超时,客户端或netwrok it self.发现了他们提到的可能是服务器、客户端或netwrok it self上的超时。