Google cloud platform 使用服务帐户导出GCP数据流SQL

Google cloud platform 使用服务帐户导出GCP数据流SQL,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我有一个访问BQ视图的服务帐户,我想查询它并将数据导出到GCS或另一个项目中的BQ数据集 Dataflow(+createjobfromsql)看起来非常适合这个用例,但我不知道如何设置它,以便将服务帐户用于查询。数据流似乎接受使用服务帐户,但这是如何做到的 提前感谢,如果您想将数据导出到另一个BigQuery表中,您只需使用插入SELECT*FROM…(也称为INSERT-SELECT)。如果需要定期导出,可以使用 如果你想导出到谷歌云存储,你有两个解决方案 导出一个完整的表,并使用(如果希

我有一个访问BQ视图的服务帐户,我想查询它并将数据导出到GCS或另一个项目中的BQ数据集

Dataflow(+createjobfromsql)看起来非常适合这个用例,但我不知道如何设置它,以便将服务帐户用于查询。数据流似乎接受使用服务帐户,但这是如何做到的


提前感谢,

如果您想将数据导出到另一个BigQuery表中,您只需使用
插入SELECT*FROM…
(也称为INSERT-SELECT)。如果需要定期导出,可以使用

如果你想导出到谷歌云存储,你有两个解决方案

  • 导出一个完整的表,并使用(如果希望定期导出,可以使用Cloud Scheduler调用此API)
  • 使用语句

为什么要创建数据流sql?对于这两个用例,一个简单的查询就足够了。为什么选择这个选项?我可以做什么简单的查询来从视图中选择*并导出为json?觉得唯一的选择就是写一个脚本来完成这个任务?这就是我研究数据流的原因