Google bigquery 正在处理卡在步骤写入中的成功记录。。。使用模板发布/订阅时->;大查询

Google bigquery 正在处理卡在步骤写入中的成功记录。。。使用模板发布/订阅时->;大查询,google-bigquery,google-cloud-dataflow,Google Bigquery,Google Cloud Dataflow,当我使用一个已定义的模板时,我总是遇到这个问题。我不确定会是什么问题 就sdk而言:ApacheBeamSDK for Java 2.10.0 Processing stuck in step WriteSuccessfulRecords/StreamingInserts/StreamingWriteTables/StreamingWrite for at least 05m00s without outputting or completing in state finish at sun

当我使用一个已定义的模板时,我总是遇到这个问题。我不确定会是什么问题

就sdk而言:
ApacheBeamSDK for Java 2.10.0

Processing stuck in step WriteSuccessfulRecords/StreamingInserts/StreamingWriteTables/StreamingWrite for at least 05m00s without outputting or completing in state finish
  at sun.misc.Unsafe.park(Native Method)
  at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
  at java.util.concurrent.FutureTask.awaitDone(FutureTask.java:429)
  at java.util.concurrent.FutureTask.get(FutureTask.java:191)
  at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:765)
  at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:829)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRows(StreamingWriteFn.java:130)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.finishBundle(StreamingWriteFn.java:102)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn$DoFnInvoker.invokeFinishBundle(Unknown Source)

现有模板似乎需要架构才能使数据流正常工作。添加模式后,问题消失了

您好,问一个有趣的问题,如果您访问BigQueryWebUI并查看您的查询/工作历史,您是否看到任何有用的信息,这些信息可能会引导您了解正在发生的事情?另外,如果您可以共享更多的代码,以及您针对哪些数据的模式?此消息并不一定意味着您的管道被阻塞。可能是BigQuery很慢。您是否又等了几分钟,但仍然发现您继续收到相同的消息/管道无法工作?我正在使用提供的模板。我猜我有一个错误的印象,那个就是只需要指定表,当json对象到达数据流时,它会将其平坦化并写入BQ。我仍然看到这个问题。