Google cloud dataflow 在Google云数据流中不使用DirectPipelineRunner读取/写入本地数据

Google cloud dataflow 在Google云数据流中不使用DirectPipelineRunner读取/写入本地数据,google-cloud-dataflow,Google Cloud Dataflow,是否可以在不使用DirectPipelineRunner的情况下读取/写入本地数据? 假设我在云上创建了一个数据流模板,并希望它读取一些本地数据。这可能吗 谢谢。您需要先将输入文件暂存到,然后从中读取。您的代码将如下所示: p.apply(TextIO.read().from(gs://bucket/folder) 其中gs://bucket/folder是GCS中文件夹的路径,假设您使用的是最新的Beam版本(2.0.0)。之后,您可以将地面军事系统的输出下载到您的本地计算机。是的,我知道…

是否可以在不使用DirectPipelineRunner的情况下读取/写入本地数据? 假设我在云上创建了一个数据流模板,并希望它读取一些本地数据。这可能吗


谢谢。

您需要先将输入文件暂存到,然后从中读取。您的代码将如下所示:

p.apply(TextIO.read().from(gs://bucket/folder)

其中gs://bucket/folder是GCS中文件夹的路径,假设您使用的是最新的Beam版本(2.0.0)。之后,您可以将地面军事系统的输出下载到您的本地计算机。

是的,我知道……所以基本上您是说这不可能按我所希望的方式进行……好吧……谢谢@Matthias Baetens据我所知并非如此。您可以使用其中一个来上载文件,使用执行数据流模板作业,然后使用与来监视您要输出到的存储桶并从中下载文件。