Google cloud storage &引用;gsutil ls";每次都显示不同的列表

Google cloud storage &引用;gsutil ls";每次都显示不同的列表,google-cloud-storage,google-cloud-dataflow,Google Cloud Storage,Google Cloud Dataflow,我们使用GCS作为数据流管道的数据接收器,出于某种原因,每次我在该目录上尝试“gsutil ls”,输出目录都会“显示”不同的文件列表。 具体来说,文件的数量应该正好是4000(因为管道被指定为将输出分成4000个文件)。 但是,我看到的列表是4000个文件中的一些($prefix-??-of-04000)和一些临时文件($prefix temp-*)。 数据流作业(2016-12-18_19_30_32-7274262445792076535)已经完成10多个小时了,我仍然看到不同的文件列表(

我们使用GCS作为数据流管道的数据接收器,出于某种原因,每次我在该目录上尝试“gsutil ls”,输出目录都会“显示”不同的文件列表。 具体来说,文件的数量应该正好是4000(因为管道被指定为将输出分成4000个文件)。 但是,我看到的列表是4000个文件中的一些($prefix-??-of-04000)和一些临时文件($prefix temp-*)。 数据流作业(2016-12-18_19_30_32-7274262445792076535)已经完成10多个小时了,我仍然看到不同的文件列表(不仅仅是增加,有时是减少,这意味着一些文件消失,然后再次出现)。 这将影响我们运行的从该目录读取的其他数据流管道

这是数据流问题还是地面军事系统问题,我们如何解决? 我以前见过GCS的这种行为,但通常是在数据流管道完成后的最初几分钟,但这次它似乎持续了一段时间。

GCS的列表操作正在进行。这可能意味着列出一个bucket只会返回一段时间内的部分数据

如果您查看4000中的特定文件,它是否始终存在


更新:GCS出现了一个临时问题,导致列表存储桶的结果不一致:

不一致,这就是我感到困惑的原因。这4000个文件中的一些文件消失了,然后又出现了,依此类推(这就是我所说的“它不仅在增加,有时在减少”。如果你列出了存储桶,这可能是最终的一致性。但是如果你列出了一个特定的文件,那么我希望你每次都能找到它。