Google cloud storage 谷歌云数据流到云存储

Google cloud storage 谷歌云数据流到云存储,google-cloud-storage,google-cloud-dataflow,google-cloud-dataproc,apache-beam,Google Cloud Storage,Google Cloud Dataflow,Google Cloud Dataproc,Apache Beam,上面的参考体系结构表明云数据流中存在云存储接收器,但是Beam API(似乎是当前默认的数据流API)没有列出云存储I/O连接器 任何人都可以帮助澄清是否存在数据流,如果没有,还有什么替代方案可以将数据从数据流带到云存储。Beam支持从地面军事系统写入/读取数据。只需使用TextIO类即可 要从一个或多个文本文件中读取PCollection,请使用TextIO.read。您可以使用TextIO.Read.from(字符串)实例化转换,以指定要从中读取的文件的路径(例如,如果在本地运行,则为本

上面的参考体系结构表明云数据流中存在云存储接收器,但是Beam API(似乎是当前默认的数据流API)没有列出云存储I/O连接器


任何人都可以帮助澄清是否存在数据流,如果没有,还有什么替代方案可以将数据从数据流带到云存储。

Beam支持从地面军事系统写入/读取数据。只需使用
TextIO
类即可

要从一个或多个文本文件中读取PCollection,请使用TextIO.read。您可以使用TextIO.Read.from(字符串)实例化转换,以指定要从中读取的文件的路径(例如,如果在本地运行,则为本地文件名或文件名模式,或谷歌云存储文件名或文件名模式,格式为“gs:///”


Beam不支持从地面军事系统写入/读取数据。只需使用
TextIO
类即可

要从一个或多个文本文件中读取PCollection,请使用TextIO.read。您可以使用TextIO.Read.from(字符串)实例化转换,以指定要从中读取的文件的路径(例如,如果在本地运行,则为本地文件名或文件名模式,或谷歌云存储文件名或文件名模式,格式为“gs:///”


您可以使用TextIO、AvroIO或任何其他读取/写入文件的连接器与地面军事系统进行交互。Beam标识任何以“gs://”开头的文件路径,用于GCS。Beam使用可插拔文件系统[1]接口来实现这一点


[1]

您可以使用TextIO、AvroIO或任何其他读取/写入文件的连接器与地面军事系统进行交互。Beam标识任何以“gs://”开头的文件路径,用于GCS。Beam使用可插拔文件系统[1]接口来实现这一点


[1]

上面列出的注释无效,您是否有其他链接?我猜这是该文件的当前工作链接:上面列出的注释无效,您是否有其他链接?我猜这是该文件的当前工作链接: