Google cloud dataflow 从PCollection输出多个文本文件<；千伏<；字符串，字符串>&燃气轮机；

如何从

PCollection

输出到多个文件

每个条目中的键是文件名。groupByKey转换为我提供了

PCollection

，但我如何将它们写入多个文件

例如，给定以下输入

<file1, value1>
<file2, value2>
<file1, value3>

---

数据流当前没有可以为您执行此操作的转换。作为一种解决方法，您可以使用一个简单的

DoFn

来执行此操作，它将从

KV

中提取文件名，使用

IOChannelFactory

打开文件，并将

Iterable

写入其中

见和

---

我们有计划解决这个问题，但还没有具体的时间表。

数据流目前没有一个可以为您实现这一点的转换。作为一种解决方法，您可以使用一个简单的

DoFn

来执行此操作，它将从

KV

中提取文件名，使用

IOChannelFactory

打开文件，并将

Iterable

写入其中

见和

---

我们已经计划解决这个问题，但还没有具体的时间表。

现在可以通过TextIO.write（）.to（DynamicDestinations）获得此信息。请参阅，现在可以通过TextIO.write（）.to（DynamicDestinations）使用此功能。看见

file1:
  value1
  value3

file2:
  value2