Postgresql 使用Kafka的双向数据库同步
我们希望建立一个系统,在总部有一个主要的Postgres数据库,在各个地区办事处有许多本地数据库 主数据库将有一份来自所有区域办事处数据库的数据副本 总部和当地办事处不会修改任何表格。每个表要么仅由总部修改,且更改将同步到区域办事处,要么仅由本地办事处修改并同步到总部数据库 请注意,每个本地数据库都有来自HQ数据库的不同数据子集。没有两个本地数据库具有相同的数据 实现这一点的最佳方式是什么。卡夫卡?SQL脚本?或者其他的选择Postgresql 使用Kafka的双向数据库同步,postgresql,apache-kafka,Postgresql,Apache Kafka,我们希望建立一个系统,在总部有一个主要的Postgres数据库,在各个地区办事处有许多本地数据库 主数据库将有一份来自所有区域办事处数据库的数据副本 总部和当地办事处不会修改任何表格。每个表要么仅由总部修改,且更改将同步到区域办事处,要么仅由本地办事处修改并同步到总部数据库 请注意,每个本地数据库都有来自HQ数据库的不同数据子集。没有两个本地数据库具有相同的数据 实现这一点的最佳方式是什么。卡夫卡?SQL脚本?或者其他的选择 非常欢迎您的输入。从您的用例来看,您似乎想要设置一个多主机复制系统。我
非常欢迎您的输入。从您的用例来看,您似乎想要设置一个多主机复制系统。我们目前为您的问题提供两个完整的解决方案,一个是EDB Postgres Replication Server 6.2(Postgres数据复制) 您可以在此处查看详细信息: 并可从此处下载: 您的问题的第二个解决方案是即将发布的EDB Replicate,它使用Apache Kafka消息流在数据库和Apache Zookeeper配置管理之间复制更改 如果您对EDB Replicate的详细信息感兴趣,请在info@enterprisedb.com.
免责声明:我为EnterpriseDB工作。你可以用听起来像是过度杀戮卡夫卡,除非你还需要其他地方的数据。直接db复制几乎总是最好使用特定于db的工具来完成的。这取决于您的组织中的基础架构。是否有任何特定的ETL工具,或者像kafka Spark之类的大数据或流。或者相信自定义构建…问题是开放的