Java 将文件从Google数据流保存到Google存储的最简单方法是什么?

Java 将文件从Google数据流保存到Google存储的最简单方法是什么?,java,google-cloud-dataflow,apache-beam,Java,Google Cloud Dataflow,Apache Beam,我已经启动并运行了我的管道,但我需要将一个数字保存到一个文件中,这将允许我返回到以前的处理过程,以防出现问题或当我想要部署管道的新版本时,并且我无法使用更新管道功能 我试图从google cloud storage添加库,但在运行时出现错误,即使我拥有最新的所有依赖项,它也无法从google cloud core中找到某些类。需要有一种简单的方法,只需保存然后读取文件。我会很感激一些片段或链接 如果您陷入依赖地狱,必须从数据流中执行此步骤,那么我建议您查看侧输入和输出…然后将其与一些简单的文本操

我已经启动并运行了我的管道,但我需要将一个数字保存到一个文件中,这将允许我返回到以前的处理过程,以防出现问题或当我想要部署管道的新版本时,并且我无法使用更新管道功能


我试图从google cloud storage添加库,但在运行时出现错误,即使我拥有最新的所有依赖项,它也无法从google cloud core中找到某些类。需要有一种简单的方法,只需保存然后读取文件。我会很感激一些片段或链接

如果您陷入依赖地狱,必须从数据流中执行此步骤,那么我建议您查看侧输入和输出…然后将其与一些简单的文本操作配对。

回答此问题可能为时已晚:D。但可能可以帮助其他人。如果由于使用不同的GCP组件而遇到依赖性地狱,请使用。他们创建了一个pom文件,用于跟踪不同组件中的所有兼容版本

只需使用TextIOI直接从您的管道向GCS写入即可。您正在寻找一种方法,将元数据作为工作本身之外的一个层进行跟踪,如果您可以像您所说的那样依靠云存储驱动程序,这将是理想的。我建议您将云存储依赖项放在pom文件的第一位,或许再试试?我们已经成功地直接使用了云存储,与dataflow 1.x一起使用,没有任何问题。