Google cloud platform 我们能在ParDo函数中写一个ParDo函数吗？_Google Cloud Platform_Google Cloud Dataflow_Apache Beam

Google cloud platform 我们能在ParDo函数中写一个ParDo函数吗？

google-cloud-platform google-cloud-dataflow

Google cloud platform 我们能在ParDo函数中写一个ParDo函数吗？,google-cloud-platform,google-cloud-dataflow,apache-beam,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,例如，我有一个URL列表作为字符串存储在数据存储中。因此，我使用了DatastoreIO函数并将它们读入PCollection。在ParDo的DoFn中，对于每个URL（文件的GCP云存储位置），我必须读取该位置中的文件并进行进一步的转换所以我想知道我是否可以在ParDo函数中为PCollections编写ParDo。并行执行每个文件转换，并发送KV（key，PCollection）作为第一个ParDo函数的输出对不起，如果我没有清楚地介绍我的情景。我是Apache Beam和Google

例如，我有一个URL列表作为字符串存储在数据存储中。因此，我使用了DatastoreIO函数并将它们读入PCollection。在ParDo的DoFn中，对于每个URL（文件的GCP云存储位置），我必须读取该位置中的文件并进行进一步的转换

所以我想知道我是否可以在ParDo函数中为PCollections编写ParDo。并行执行每个文件转换，并发送KV（key，PCollection）作为第一个ParDo函数的输出

对不起，如果我没有清楚地介绍我的情景。我是Apache Beam和Google Dataflow的新手，您需要的是

PCollection url=pipeline.apply（DatastoreIO.read（…）
PCollection line=url.apply（TextIO.readAll（））

您想要的是

PCollection url=pipeline.apply（DatastoreIO.read（…）
PCollection line=url.apply（TextIO.readAll（））