Amazon web services 雪花故障切换-复制机制

Amazon web services 雪花故障切换-复制机制,amazon-web-services,data-warehouse,snowflake-cloud-data-platform,snowflake-schema,Amazon Web Services,Data Warehouse,Snowflake Cloud Data Platform,Snowflake Schema,我一直在深入阅读有关如何在Snowflake中管理故障切换/复制用例的文档。基本上,故障切换策略基于位于不同区域的同一组织的两个不同帐户之间的数据库复制功能 从复制的角度来看,我可以配置这两个数据库,并在每10分钟刷新一次主数据库的任务中设置我的复制,并以这种方式尽量保持辅助数据库的更新。尽管如此,如果发生意外事件,我的辅助数据库将升级一次,因为主数据库将具有基于上次完成的更新的数据版本,这意味着我可能会部分丢失在停机之前执行的所有新数据/转换。这让我想到: 除了将复制任务计划为1分钟之外,还

我一直在深入阅读有关如何在Snowflake中管理故障切换/复制用例的文档。基本上,故障切换策略基于位于不同区域的同一组织的两个不同帐户之间的数据库复制功能

从复制的角度来看,我可以配置这两个数据库,并在每10分钟刷新一次主数据库的任务中设置我的复制,并以这种方式尽量保持辅助数据库的更新。尽管如此,如果发生意外事件,我的辅助数据库将升级一次,因为主数据库将具有基于上次完成的更新的数据版本,这意味着我可能会部分丢失在停机之前执行的所有新数据/转换。这让我想到:

  • 除了将复制任务计划为1分钟之外,还有什么方法可以尽可能地将丢失的数据减少到Snowflake内的故障切换设计中呢
  • 在中断已解决且我需要恢复主数据库的情况下,如何管理我无法复制到辅助数据库但与我本可以生成的新数据合并的部分数据,而我在辅助数据库中作为生产运行
非常感谢

a)为了减少数据丢失,一种策略是按照您指出的那样频繁地安排复制操作。另一个是在故障转移后能够重播最近的ETL作业。为此,您需要确保源数据可用,并且在灾难发生后可以恢复ETL过程。ETL可以以幂等方式重放


b) 不支持合并更改/冲突解决。Snowflake的数据库复制遵循单一主模型。刷新辅助数据库会用主数据库的当前状态覆盖它。建议按照(a)中的建议,通过重播ETL恢复故障切换后主服务器上丢失的数据

感谢@Sahaj的澄清。但是,short story Snowflake提供了一个辅助数据库作为故障切换,前提是客户对额外的工作流负责,这将减少数据丢失,并提供了一个根据客户需要恢复DBs的清晰过程。好的,太好了,谢谢