Google cloud dataflow 从谷歌云数据流输出排序文本文件

Google cloud dataflow 从谷歌云数据流输出排序文本文件,google-cloud-dataflow,Google Cloud Dataflow,我在谷歌云数据流中有一个PCollection,我通过TextIO.Write.to将它输出到文本文件中: PCollection<String> lines = ...; lines.apply(TextIO.Write.to("gs://bucket/output.txt")); PCollection行=。。。; line.apply(TextIO.Write.to(“gs://bucket/output.txt”); 当前,输出的每个碎片的行是随机顺序的 可以让数据流按排

我在谷歌云数据流中有一个
PCollection
,我通过
TextIO.Write.to
将它输出到文本文件中:

PCollection<String> lines = ...;
lines.apply(TextIO.Write.to("gs://bucket/output.txt"));
PCollection行=。。。;
line.apply(TextIO.Write.to(“gs://bucket/output.txt”);
当前,输出的每个碎片的行是随机顺序的


可以让数据流按排序顺序输出行吗?

数据流不直接支持这一点

对于有界的
PCollection
,如果您对输入进行了足够精细的分片,则可以使用对每个分片进行排序的实现来编写已排序的文件。您可能需要参考实现以了解基本的大纲