Google cloud dataflow 使用ApacheBeam对BigQuery执行多个查询

我在谷歌云存储上有一个文件，其中包含许多查询（插入/更新/删除/选择）。我需要做两件事： 1） 执行所有查询 2） 对于select查询，将结果写入GCS中的文件

在ApacheBeam中最有效的方法是什么

---

谢谢。

这些查询的顺序重要吗？如果不是，每个查询是否在GCS文件中的一行中？若有,；然后您应该能够拥有一个

ReadFromText

->

ParDo（执行每个查询）

->

WriteToText

@Pablo顺序也很重要，每个查询不在一行中。出于测试的目的，我试图读取这样一个文件，但是查询出现的顺序被打乱了…就像查询相互混合一样。怎么处理这个案子？@Pablo有什么新消息吗？我不知道该怎么做。现有文本源将文件拆分为每行元素，并且无法保证它们进入管道的顺序。您需要一个提供文件列表的源，您可以使用该源从GCS读取文件并解析并执行查询。@rish0097您是否能够实现此问题的解决方案？如果是这样，建议将其作为更好地帮助社区的答案发布。如果没有，那么让一个源使用新行以外的其他分隔符读取有序文本将是一个好方法。这些查询的顺序是否重要？如果不是，每个查询是否在GCS文件中的一行中？若有,；然后您应该能够拥有一个

ReadFromText

->

ParDo（执行每个查询）

->

WriteToText

@Pablo顺序也很重要，每个查询不在一行中。出于测试的目的，我试图读取这样一个文件，但是查询出现的顺序被打乱了…就像查询相互混合一样。怎么处理这个案子？@Pablo有什么新消息吗？我不知道该怎么做。现有文本源将文件拆分为每行元素，并且无法保证它们进入管道的顺序。您需要一个提供文件列表的源，您可以使用该源从GCS读取文件并解析并执行查询。@rish0097您是否能够实现此问题的解决方案？如果是这样，建议将其作为更好地帮助社区的答案发布。如果不是这样，那么让一个源使用新行以外的其他分隔符读取有序文本将是一个不错的选择。