Google cloud dataflow 我如何使用Google Cloud Dataflow暂存其他文件?
我正在阅读我的谷歌数据流程序中的一堆配置文件,想知道什么是展示它们的最佳方式。目前我是这样做的,系统无法找到它们Google cloud dataflow 我如何使用Google Cloud Dataflow暂存其他文件?,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我正在阅读我的谷歌数据流程序中的一堆配置文件,想知道什么是展示它们的最佳方式。目前我是这样做的,系统无法找到它们 FileReader filereader1 = new FileReader("config_1.csv"); FileReader filereader2 = new FileReader("config_2.csv"); config_1.csv和config_2.csv存储在/target/classes/org/model/examples/ 我的运行脚本如下所示: mv
FileReader filereader1 = new FileReader("config_1.csv");
FileReader filereader2 = new FileReader("config_2.csv");
config_1.csv
和config_2.csv
存储在/target/classes/org/model/examples/
我的运行脚本如下所示:
mvn compile exec:java -Dexec.mainClass=org.model.examples.MyPipeline \
-Dexec.args="--runner=DataflowRunner \
--project=mortgage-data-warehouse
--gcpTempLocation=gs://my-project-bucket/tmp \
--inputFile=gs://my-project-bucket/Data/input.txt \
--filesToStage=./target/classes/org/datamodel/examples/config_1.csv, ./target/classes/org/datamodel/examples/config_2.csv" \
-Pdataflow-runner
我发现了错误
java.io.FileNotFoundException:config_1.csv(系统找不到指定的文件)
我想知道这是否是设置
--filesToStage
的正确方法 对于小的配置文件,最好从资源文件夹中读取文件,例如此文件所写的内容,并避免使用--filesToStage
的复杂性。您能提供错误的完整堆栈跟踪吗?提交作业时,您是在本地计算机上获得FileNotFoundException
,还是在尝试读取文件时在数据流作业内部获得?