Google bigquery 如何在BigQuery中备份数据集?

Google bigquery 如何在BigQuery中备份数据集?,google-bigquery,backup,Google Bigquery,Backup,我们希望创建BigQuery数据集的备份副本,以防意外删除表,因为它只能恢复 有没有办法延长恢复期?如果没有,我们如何在BigQuery中创建保留期为30天的数据集备份?目前无法延长恢复期。根据Katayoon的评论,已经创建了延长恢复期的功能请求 以下是监控该问题进展的公共链接: 要备份BigQuery中的数据集,您可以复制数据集,或者作为一个更可行的解决方案,将数据导出到云存储,以便稍后再导入。云存储允许您设置一个保留期和一个生命周期策略,这两个策略一起将允许您确保数据在所需的时间内保持不受

我们希望创建BigQuery数据集的备份副本,以防意外删除表,因为它只能恢复


有没有办法延长恢复期?如果没有,我们如何在BigQuery中创建保留期为30天的数据集备份?

目前无法延长恢复期。根据Katayoon的评论,已经创建了延长恢复期的功能请求

以下是监控该问题进展的公共链接:

要备份BigQuery中的数据集,您可以复制数据集,或者作为一个更可行的解决方案,将数据导出到云存储,以便稍后再导入。云存储允许您设置一个保留期和一个生命周期策略,这两个策略一起将允许您确保数据在所需的时间内保持不受干扰,并且如果您希望节省存储成本,在给定的时间后数据会自动删除

有关如何在BigQuery中导出的信息: 您可以通过web UI、命令行、API和使用各种语言(如C#、Go、Python和Java)将表作为AVRO、JSON或CSV文件导出到云存储,只要它们位于同一位置。导出表还有其他限制,例如文件大小、整数编码、数据压缩等。 链接到表导出和限制:

您可以在此处找到有关程序的说明: 保留策略和存储桶锁定: 对象生命周期管理:

可以使用各种文件格式将数据加载到BigQuery中,如CSV、JSON、Avro、Parquet或ORC等。此时,您只能直接从本地存储或Google存储加载。有关加载数据、文件格式、数据源和限制的更多信息,请单击链接:

更多有关 导出表: 出口限制: 正在将数据加载到BigQuery中: 通配符:
合并文件:

您可以使用以下工具进行备份和恢复:

将表格备份到地面军事系统

./bq_backup.py --input dataset.tablename --output gs://BUCKET/backup
这将以AVRO格式将schema.json、tabledef.json和提取的数据保存到GCS

您还可以备份数据集中的所有表:

./bq_backup.py --input dataset --output gs://BUCKET/backup
通过指定目标数据集逐个还原表

./bq_restore.py --input gs://BUCKET/backup/fromdataset/fromtable --output destdataset

对于视图,备份存储视图定义,还原创建视图

我应该注意到,Cloud BigQuery产品团队已经意识到您对此功能请求的兴趣,我建议star关注您的功能请求。编辑以强调自原始问题发布以来,此期限已延长至7天。还值得注意的是,功能请求被标记为“不会修复”谢谢你的帮助。