Google cloud platform 是否支持GCP Firestore本机模式导出到BQ导入?

Google cloud platform 是否支持GCP Firestore本机模式导出到BQ导入?,google-cloud-platform,google-cloud-firestore,google-bigquery,Google Cloud Platform,Google Cloud Firestore,Google Bigquery,我正在探索将Firestore本机模式数据(收集和文档)加载到BQ中的选项。但这对我来说不起作用 问题:大查询是否支持从Firestore本机导出导入摘录 设置:1个包含多个文档的集合(无子集合) 步骤: -导出到云存储桶: -以BQ输入: 在BQ中加载时出错:'不包含有效的备份元数据' 分析:链接中提到URI应具有种类集合ID,并且该文件应以[种类集合ID]结尾。导出元数据。但对于Firestore本机模式导出文件,这些都不正确。它适用于Firestore数据存储模式导出 验证云存储URI中

我正在探索将Firestore本机模式数据(收集和文档)加载到BQ中的选项。但这对我来说不起作用

问题:大查询是否支持从Firestore本机导出导入摘录

设置:1个包含多个文档的集合(无子集合)

步骤: -导出到云存储桶: -以BQ输入:

在BQ中加载时出错:'不包含有效的备份元数据'

分析:链接中提到URI应具有种类集合ID,并且该文件应以[种类集合ID]结尾。导出元数据。但对于Firestore本机模式导出文件,这些都不正确。它适用于Firestore数据存储模式导出

  • 验证云存储URI中是否指定了[KIND_COLLECTION_ID]。如果指定的URI没有 [KIND_COLLECTION_ID],您收到以下错误:不包含有效的备份元数据。(错误 代码:无效)
  • 云Firestore导出文件的URI应以[KIND\u COLLECTION\u ID]结尾。导出元数据。 例如:default\u namespace\u kind\u Book.export\u metadata。在本例中,Book是集合ID, 默认的\u namespace\u kind\u Book是Cloud Firestore生成的文件名

当创建firestore集合到GCS的导出时,将创建一个目录结构,如下所示:

[Bucket]
  - [Date/Time]
    - [Date/Time].overall_export_metadata
    - all_namespaces
      - kind_[collection]
        - all_namespaces_kind_[collection].export_metadata
将导出导入BigQuery时,请使用以下文件:

[Bucket]/[Date/Time]/all_namespaces/kind_[collection]/all_namespaces_kind_[collection].export_metadata
具体地说,如果使用
[Bucket]/[Date/Time]/[Date/Time].\u export\u metadata
您将得到您描述的错误。另请参见Console>Bullet 3下的注释,内容如下:

注意:不要使用以整体导出元数据结尾的文件。这个文件 不可由BigQuery使用


如果要创建从Firestore到Bigquery的管道,应手动将Firestore集合格式化为Bigquery表。我使用和将数据从Firestore迁移到Bigquery。我创建了一个示例代码

我试图重新创建您的问题,但对我来说效果很好。你能百分之百地检查你使用的GCS存储桶中的哪个文件吗?对于我的测试,完整路径是[Bucket]/[Date time]/all\u namespaces/kind\u[collection]/all\u namespaces\u kind\u[collection]。导出\u元数据…感谢您的响应!您确定使用的是本机模式还是数据存储模式。从firestore导出到Bucket时,GCP每次都会创建一个这样的文件夹:2019-10-24T12:13:17_27544/文件夹为我提供了以下内容:文件-2019-10-30T13:12:58_36484.总体_导出_元数据文件夹-export0/contatins 2文件:export0.export_元数据和output-0文件夹-export1/contatins 2文件:export1.export_元数据和output-0我非常确定我使用的是Firestore本机模式。您能否使用导出数据时使用的确切命令更新问题?与上面链接中提到的相同,gcloud beta firestore导出gs://firestore\u导出用于导入BQ的GCS对象的确切路径和全名是什么?