Google bigquery 如何从BigQuery导出到数据存储？

我在BigQuery中有一些表，我想在数据存储中导出和导入这些表。

---

如何实现这一点？

您可以将BigQuery数据导出到CSV，然后将CSV导入数据存储。第一步很简单，而且有很好的文档记录。对于第二步，有许多资源可以帮助您实现这一目标。例如

---

可以将BigQuery中的表导出并导入到您的数据存储中

从下载jar文件

然后运行命令

java -cp bigquery-to-datastore-bundled-0.5.1.jar com.github.yuiskw.beam.BigQuery2Datastore --project=yourprojectId --runner=DataflowRunner  --inputBigQueryDataset=datastore  --inputBigQueryTable=metainfo_internal_2 --outputDatastoreNamespace=default --outputDatastoreKind=meta_internal  --keyColumn=key --indexedColumns=column1,column2 --tempLocation=gs://gsheetbackup_live/temp  --gcpTempLocation=gs://gsheetlogfile_live/temp

-tempLocation和-gcpTempLocation是有效的云存储桶URL

-keyColumn=key-这里的键是大查询表上的唯一字段， 使用GoogleCloudPlatform/DataflowTemplates

构建Java项目并将工件上载到GCS mvn编译执行器：java\ -Dexec.mainClass=com.google.cloud.teleport.templates.BigQueryToDatastore\ -Dexec.cleanupDaemonThreads=false\ -Dexec.args=\ -项目=\ -地区=\ -stagingLocation=gs:///staging\ -tempLocation=gs:///temp\ -templateLocation=gs:///templates/.json\ -runner=数据流runner 使用GCS工件运行传输作业 gcloud数据流作业正在运行\ -地面军事系统位置=\ -分区=\ -参数\ readQuery=从中选择*，readIdColumn=\ invalidOutputPath=gs://your bucket/path/to/error.txt\ datastoreWriteProjectId=\ datastoreWriteNamespace=\ datastoreWriteEntityKind=\ errorWritePath=gs://your bucket/path/to/errors.txt

---

我希望这将得到一个正确的用户界面在GCP控制台的一天！由于使用Dataflow SQL将Pub/Sub转换为BigQuery已经是可能的，因此这是一个合理的问题，并且需要这样做。BigQuery可以从数据存储导出导入，但反过来则不正确。应该有一个快速的方法来做到这一点。