Amazon web services 如何恢复以前快照中不存在的红移数据?

Amazon web services 如何恢复以前快照中不存在的红移数据?,amazon-web-services,amazon-s3,amazon-redshift,Amazon Web Services,Amazon S3,Amazon Redshift,目前,我们每1小时自动手动备份一次红移数据。 假设集群宕机,数据从快照恢复,我还想恢复快照中不存在的数据 注:在我们转到红移之前,s3中有完整的数据 我如何处理这个问题?这样,在快照还原之后,我就可以将s3中的剩余数据保存到红移中。您需要在红移和s3中都有一些指示器,以便知道加载了哪些数据 例如,如果S3上的数据按年、月、日和小时进行分区,如下所示: s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.p

目前,我们每1小时自动手动备份一次红移数据。 假设集群宕机,数据从快照恢复,我还想恢复快照中不存在的数据

注:在我们转到红移之前,s3中有完整的数据


我如何处理这个问题?这样,在快照还原之后,我就可以将s3中的剩余数据保存到红移中。

您需要在红移和s3中都有一些指示器,以便知道加载了哪些数据

例如,如果S3上的数据按年、月、日和小时进行分区,如下所示:

s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.pt001.gz
然后,您希望在红移表中有年、月、日和小时列,以便可以找到加载的最大分区

SELECT  MAX(year||month||day||hour) FROM my_table

然后,您可以重新加载红移中当前不存在的任何分区。

您需要在红移和S3中都有一些指示符,以便知道加载了哪些数据

例如,如果S3上的数据按年、月、日和小时进行分区,如下所示:

s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.pt001.gz
然后,您希望在红移表中有年、月、日和小时列,以便可以找到加载的最大分区

SELECT  MAX(year||month||day||hour) FROM my_table

然后,您可以重新加载当前不在红移中的任何分区。

另外,请注意,“每8小时或每5 GB的数据更改后”保存数据。是的,我知道,我的意思是我们每1小时手动拍摄一次快照(我们已自动完成此过程)。另外,请注意,保存数据“每8小时或每5 GB的数据更改一次”。是的,我知道这一点,我的意思是我们每1小时手动拍摄一次快照(我们已经实现了此过程的自动化)