Google cloud platform 是否支持GCP Firestore本机模式导出到BQ导入?
我正在探索将Firestore本机模式数据(收集和文档)加载到BQ中的选项。但这对我来说不起作用 问题:大查询是否支持从Firestore本机导出导入摘录 设置:1个包含多个文档的集合(无子集合) 步骤: -导出到云存储桶: -以BQ输入: 在BQ中加载时出错:'不包含有效的备份元数据' 分析:链接中提到URI应具有种类集合ID,并且该文件应以[种类集合ID]结尾。导出元数据。但对于Firestore本机模式导出文件,这些都不正确。它适用于Firestore数据存储模式导出Google cloud platform 是否支持GCP Firestore本机模式导出到BQ导入?,google-cloud-platform,google-cloud-firestore,google-bigquery,Google Cloud Platform,Google Cloud Firestore,Google Bigquery,我正在探索将Firestore本机模式数据(收集和文档)加载到BQ中的选项。但这对我来说不起作用 问题:大查询是否支持从Firestore本机导出导入摘录 设置:1个包含多个文档的集合(无子集合) 步骤: -导出到云存储桶: -以BQ输入: 在BQ中加载时出错:'不包含有效的备份元数据' 分析:链接中提到URI应具有种类集合ID,并且该文件应以[种类集合ID]结尾。导出元数据。但对于Firestore本机模式导出文件,这些都不正确。它适用于Firestore数据存储模式导出 验证云存储URI中
- 验证云存储URI中是否指定了[KIND_COLLECTION_ID]。如果指定的URI没有 [KIND_COLLECTION_ID],您收到以下错误:不包含有效的备份元数据。(错误 代码:无效)
- 云Firestore导出文件的URI应以[KIND\u COLLECTION\u ID]结尾。导出元数据。 例如:default\u namespace\u kind\u Book.export\u metadata。在本例中,Book是集合ID, 默认的\u namespace\u kind\u Book是Cloud Firestore生成的文件名
[Bucket]
- [Date/Time]
- [Date/Time].overall_export_metadata
- all_namespaces
- kind_[collection]
- all_namespaces_kind_[collection].export_metadata
将导出导入BigQuery时,请使用以下文件:
[Bucket]/[Date/Time]/all_namespaces/kind_[collection]/all_namespaces_kind_[collection].export_metadata
具体地说,如果使用[Bucket]/[Date/Time]/[Date/Time].\u export\u metadata
您将得到您描述的错误。另请参见Console>Bullet 3下的注释,内容如下:
注意:不要使用以整体导出元数据结尾的文件。这个文件
不可由BigQuery使用
如果要创建从Firestore到Bigquery的管道,应手动将Firestore集合格式化为Bigquery表。我使用和将数据从Firestore迁移到Bigquery。我创建了一个示例代码我试图重新创建您的问题,但对我来说效果很好。你能百分之百地检查你使用的GCS存储桶中的哪个文件吗?对于我的测试,完整路径是[Bucket]/[Date time]/all\u namespaces/kind\u[collection]/all\u namespaces\u kind\u[collection]。导出\u元数据…感谢您的响应!您确定使用的是本机模式还是数据存储模式。从firestore导出到Bucket时,GCP每次都会创建一个这样的文件夹:2019-10-24T12:13:17_27544/文件夹为我提供了以下内容:文件-2019-10-30T13:12:58_36484.总体_导出_元数据文件夹-export0/contatins 2文件:export0.export_元数据和output-0文件夹-export1/contatins 2文件:export1.export_元数据和output-0我非常确定我使用的是Firestore本机模式。您能否使用导出数据时使用的确切命令更新问题?与上面链接中提到的相同,gcloud beta firestore导出gs://firestore\u导出用于导入BQ的GCS对象的确切路径和全名是什么?