Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x GCP数据流作业处理卡在步骤s03中至少05m00s,未输出或完成状态完成_Python 3.x_Google Cloud Platform_Google Cloud Dataflow_Apache Beam_Dataflow - Fatal编程技术网

Python 3.x GCP数据流作业处理卡在步骤s03中至少05m00s,未输出或完成状态完成

Python 3.x GCP数据流作业处理卡在步骤s03中至少05m00s,未输出或完成状态完成,python-3.x,google-cloud-platform,google-cloud-dataflow,apache-beam,dataflow,Python 3.x,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,Dataflow,我在python数据流工作中每天都会遇到这个错误 我正在使用ApacheBeam2.15(与2.17相同)Python3.7 2020-01-28 17:08:53.801 GMT来自工人的恐怖消息:正在处理 卡在步骤s03中至少10万秒,未输出或完成 在状态下在太阳下完成。其他不安全停车(本机方法)在 java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)位于 CompletableFuture$Signaller.

我在python数据流工作中每天都会遇到这个错误

我正在使用ApacheBeam2.15(与2.17相同)Python3.7

2020-01-28 17:08:53.801 GMT来自工人的恐怖消息:正在处理 卡在步骤s03中至少10万秒,未输出或完成 在状态下在太阳下完成。其他不安全停车(本机方法)在 java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)位于 CompletableFuture$Signaller.block(CompletableFuture.java:1693) 在 java.util.concurrent.ForkJoinPool.managedBlock(ForkJoinPool.java:3323) 在 java.util.concurrent.CompletableFuture.waitingGet(CompletableFuture.java:1729) 在 java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1895) 在org.apache.beam.sdk.util.MoreFutures.get(MoreFutures.java:57)上 org.apache.beam.runners.dataflow.worker.fn.control.RegisterAndProcessBundleOperation.finish(RegisterAndProcessBundleOperation.java:285) 在 org.apache.beam.runners.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:85) 在 org.apache.beam.runners.dataflow.worker.fn.control.BeamFnMapTaskExecutor.execute(BeamFnMapTaskExecutor.java:125) 在 org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1295) 在 org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:149) 在 org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:1028) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 运行(Thread.java:745)


请注意,
处理卡滞
消息并不表示您的作业卡滞。相反,它们表示Dataflow worker已执行单个操作超过5分钟

如果您不时看到这条消息,但您的管道总体上继续取得进展,那么您就没有什么可担心的了

如果你不断地看到这条消息,而你的管道完全停止了任何进展,那么这就表明你确实有问题。

看看这篇文章