Google cloud firestore 以编程方式将Firestore备份导入BigQuery

Google cloud firestore 以编程方式将Firestore备份导入BigQuery,google-cloud-firestore,google-bigquery,cloud,Google Cloud Firestore,Google Bigquery,Cloud,我在GCS中有一个firestore备份文件,名为:all_namespaces_kind_Rates.export_metadata。我已经设置了一个cron作业,每24小时更新一次这个文件。我现在需要的是找到一种方法,通过编程将这个导出元数据文件发送到BigQuery。BigQuery能够调度来自GCS的数据传输,但仅适用于以下格式的文件:CSV、JSON、AVRO、PARQUET和ORC。如何以编程方式将firestore备份文件传输到BigQuery?如果您的cron作业可以访问bq命令

我在GCS中有一个firestore备份文件,名为:all_namespaces_kind_Rates.export_metadata。我已经设置了一个cron作业,每24小时更新一次这个文件。我现在需要的是找到一种方法,通过编程将这个导出元数据文件发送到BigQuery。BigQuery能够调度来自GCS的数据传输,但仅适用于以下格式的文件:CSV、JSON、AVRO、PARQUET和ORC。如何以编程方式将firestore备份文件传输到BigQuery?

如果您的cron作业可以访问bq命令行工具,您是否尝试过:

bq load-source_format=数据存储_备份[数据集].[表][路径_到_源]

有关该命令的详细信息,请参见:

谢谢你的回答。cron作业如何执行CLI bq加载?cron作业在哪里运行?BQ命令是googlecloudsdk的一部分。我想如果您的cron作业可以指示FireStore进行备份,那么访问该命令应该不会有问题。参考: