Google bigquery 通过命令行bq实用程序在BigQuery中复制日期切分表的有效方法？

是否有办法通过

bq

实用程序将日期切分表复制到另一个数据集

我目前的解决方案是生成一个bash脚本，每天一个接一个地复制并拆分工作，但更有效的方法是并行执行所有操作：

#!/bin/sh
bq cp old_dataset.table_20140101 new_dataset_20140101
..
bq cp old_dataset.table_20171001 new_dataset_20171001

---

您可以指定多个源表，但只能指定一个目标表（请参阅），因此这可能不适用于您。但是，如果数据是日期分区的（而不是分片的），则可以通过一个命令复制表

我建议您将所有分片表有效地复制到新表。您可以使用以下命令执行此操作：

bq partition old_dataset.table_ new_dataset.partitioned

---

您可以指定多个源表，但只能指定一个目标表（请参阅），因此这可能不适用于您。但是，如果数据是日期分区的（而不是分片的），则可以通过一个命令复制表

我建议您将所有分片表有效地复制到新表。您可以使用以下命令执行此操作：

bq partition old_dataset.table_ new_dataset.partitioned

---

你能分享你的bash脚本吗？我对“每天一个一个地复制并拆分工作”感到困惑。我添加了脚本，它是通过vim从命令行自动生成的。该列表可以拆分为

n

脚本，其中

n

是并行量，但这非常繁琐。您可以共享bash脚本吗？我对“每天一个一个地复制并拆分工作”感到困惑。我添加了脚本，它是通过vim从命令行自动生成的。该列表可以分为

n

脚本，其中

n

是并行量，但这非常繁琐。谢谢，但我需要保留旧结构，因为这是一个备份，与旧脚本相对应，软件以老式方式对其进行寻址。（我正在迁移到每日分区表，并因此执行此备份。）谢谢，但我需要保留旧结构，因为这是一个备份，它对应于旧脚本和软件，以老式方式对其进行寻址。（我正在迁移到每日分区表，并因此执行此备份。）