Google cloud dataflow 数据流作业似乎已被卡住，因为在过去1小时内未看到任何工作人员活动

我的数据流批处理作业不会在5小时内结束。还是取消

我每10分钟在调度程序中运行一次这种类型的作业

通常，它在10分钟内完成

但它持续了5个多小时

我的工作是

2018-08-26_13_30_17-1172470278423820020

错误日志在这里

堆栈驱动程序

2018-08-27（06:33:14）工作流失败。原因：数据流作业似乎已被卡住，因为未执行任何工作人员活动。。。
2018-08-27（08:34:08）工作流失败。原因：数据流作业似乎已被卡住，因为未执行任何工作人员活动。。。
2018-08-27（10:34:58）工作流失败。原因：数据流作业似乎已被卡住，因为未执行任何工作人员活动。。。
工作流失败。原因：数据流作业似乎被卡住，因为在过去1小时内未看到任何工作人员活动。您可以在以下位置获得有关云数据流的帮助：https://cloud.google.com/dataflow/support.

通常

数据流作业似乎被卡住，因为在过去1小时内没有看到工作人员活动

可能是由于安装过程过长造成的。只需增加工作资源（通过参数）即可解决此问题

在我的例子中，我安装了几个需要构建轮子的依赖项（

pystan

，

fbprophet

），在最小的机器上花了一个多小时（使用1个vCPU和3.75GB RAM）。使用功能更强大的实例（资源是原来的4倍）解决了我的问题

---

如果单个作业被卡住，则可能不是这种情况，但可能会帮助其他人获得相同的错误。

通常

数据流作业似乎被卡住，因为在过去1小时内没有看到工作人员活动

可能是由于安装过程过长造成的。只需增加工作资源（通过参数）即可解决此问题

在我的例子中，我安装了几个需要构建轮子的依赖项（

pystan

，

fbprophet

），在最小的机器上花了一个多小时（使用1个vCPU和3.75GB RAM）。使用功能更强大的实例（资源是原来的4倍）解决了我的问题

---

如果单个作业卡住，则可能不是这样，但可能会帮助其他人获得相同的错误。

这种情况可能发生在三种主要情况下： a） 有些任务需要一个多小时才能完成。 b） 某些任务在处理过程中遇到了问题

这通常是由于转换处理时间过长或进入阻塞状态所致

调试的最佳方法是检查以前的日志，并查看是否存在任何错误或意外状态。似乎您已尝试重新运行作业，但仍然失败。在这种情况下，您可以向卡住的步骤添加额外的日志，并查看卡住的数据

c） Apache Beam/Dataflow端出现故障。

---

这是一个罕见的案例。如果您认为这是问题所在，请创建支持通知单。

这种情况可能发生在三种主要情况下： a） 有些任务需要一个多小时才能完成。 b） 某些任务在处理过程中遇到了问题

这通常是由于转换处理时间过长或进入阻塞状态所致

调试的最佳方法是检查以前的日志，并查看是否存在任何错误或意外状态。似乎您已尝试重新运行作业，但仍然失败。在这种情况下，您可以向卡住的步骤添加额外的日志，并查看卡住的数据

c） Apache Beam/Dataflow端出现故障。

---

这是一个罕见的案例。如果您认为这是问题所在，请创建支持票证。

我不知道为什么这样做有效，但在

setup.py中更新包依赖项已使作业运行

依赖项=[
'阿帕奇波束[gcp]==2.25.0'，
'谷歌云存储==1.32.0'，
'mysql连接器python==8.0.22'，
]```
我不知道为什么这样做有效，但是在
setup.py中更新包依赖项
使作业得以运行

依赖项=[
'阿帕奇波束[gcp]==2.25.0'，
'谷歌云存储==1.32.0'，
'mysql连接器python==8.0.22'，
]```
我刚刚从这个问题中恢复过来

如其他响应中所述，此错误是由于安装过程过长造成的。这可能是因为pip无法解析
setup.py
文件中的依赖项。它不会失败；它试图“永远”找到导致超时的合适版本，但这是徒劳的

使用必要的包在本地重新创建环境
标记满足依赖项的版本
在
setup.py
中明确定义这些版本
我刚刚从这个问题中恢复过来

如其他响应中所述，此错误是由于安装过程过长造成的。这可能是因为pip无法解析
setup.py
文件中的依赖项。它不会失败；它试图“永远”找到导致超时的合适版本，但这是徒劳的

使用必要的包在本地重新创建环境
标记满足依赖项的版本
在
setup.py
中明确定义这些版本
这看起来像是超时问题。请提供更多详情：1。您使用的是哪种光束版本？2.管道试图做什么？3.您是否与其他产品（GCP、BigQuery）互动？4.这是一次性问题还是您再次注意到的问题。由于日志在30天后消失，请提供更新的作业ID。5.您是否关注任何特定的教程/github页面？这看起来像是超时问题。请提供更多详情：1。您使用的是哪种光束版本？2.管道试图做什么？3.您是否与其他产品（GCP、BigQuery）互动？4.这是一次性问题还是您再次注意到的问题。由于日志在30天后消失，请提供更新的作业ID。5.您是否遵循任何特定的教程/github页面？