Google cloud dataflow 数据流似乎被卡住了。与DirectRunner配合使用，与DataflowRunner配合使用

我一直在尝试让wordcount快速入门教程按照此处的说明工作（使用Java SDK 2.2.0）：

当我在本地运行示例管道时，我得到了预期的结果。太好了

然而，当我在云数据流服务上运行示例管道时，该服务启动，但一小时后会发出以下消息：

(b87e004bcb71c8e1): Workflow failed. Causes: (b87e004bcb71c708): The Dataflow appears to be stuck. Please reach out to the Dataflow team at http://stackoverflow.com/questions/tagged/google-cloud-dataflow.

有人能帮助确定在数据流上运行时管道可能失败的原因吗

我所尝试的… 选项

我已尝试显式设置管道选项，以考虑可能导致两种不同结果的任何因素。现在，我可以使用DirectRunner运行以下内容，这将产生预期的结果：

mvn compile exec:java \
  -Dexec.mainClass=com.example.WordCount \
  -Dexec.args=" \
  --project=<my-project> \
  --stagingLocation=gs://<my-project>-dataflow/staging/ \
  --gcpTempLocation=gs://<my-project>-dataflow/temp/ \
  --inputFile=gs://<my-project>-dataflow/testinput.txt \
  --output=gs://<my-project>-dataflow/output \
  --region=europe-west1 \
  --zone=europe-west1-b \
  --network=<my-project>-internal-network-1 \
  --subnetwork=<my-project>-subnet-1 \
  --runner=DirectRunner"

我所尝试的… 权限

在阅读了关于堆栈溢出的其他类似问题之后，我认为这个问题是由权限引起的

我从 在本地运行时，数据流服务可以访问我的云平台帐户可以访问的文件和资源

我相信在使用DataflowRunner时，服务使用Dataflow服务帐户和计算引擎服务帐户

我已经尝试给这两个服务帐户分配“Project-Editor”角色，以确保它们可以访问项目上的文件和资源，但我收到的是相同的“…卡住了…”消息

我所尝试的… 防火墙规则

我还设置了防火墙规则，允许计算引擎服务帐户访问网络上的所有实例

最新职务id为2018-01-10_09_20_46-12253371190865296267

---

非常感谢您的建议。

您确定这是正确且完整的工作ID吗？我无法在我们的系统中找到它。另外：您在Stackdriver中看到任何可疑的登录吗？我刚刚仔细检查了作业ID（2018-01-10_09_20_46-12253371190865296267），它是正确的。当我检查stackdriver日志时，我在Dataflow步骤下没有看到该作业ID的任何记录。@jkff您现在可以在您的系统上看到该作业了吗？嘿，Adam，我再次查看，仍然找不到该作业ID。您能用与该错误对应的完整消息代码发布该消息吗？它可能会帮助我们找到它。嗨，查尔斯，这是完整的消息：（7B5C8E714B41BFBBB）：工作流失败。原因：（7b5c8e714b41b894）：数据流似乎被卡住。请联系位于的数据流团队。

mvn compile exec:java \
  -Dexec.mainClass=com.example.WordCount \
  -Dexec.args=" \
  --project=<my-project> \
  --stagingLocation=gs://<my-project>-dataflow/staging/ \
  --gcpTempLocation=gs://<my-project>-dataflow/temp/ \
  --inputFile=gs://<my-project>-dataflow/testinput.txt \
  --output=gs://<my-project>-dataflow/output \
  --region=europe-west1 \
  --zone=europe-west1-b \
  --network=<my-project>-internal-network-1 \
  --subnetwork=<my-project>-subnet-1 \
  --runner=DataflowRunner"

    (xxxxxxxxxx): Workflow failed. Causes: (xxxxxxxxxx): The Dataflow appears to be stuck. Please reach out to the Dataflow team at http://stackoverflow.com/questions/tagged/google-cloud-dataflow.