Postgresql 使用Kafka的双向数据库同步

Postgresql 使用Kafka的双向数据库同步,postgresql,apache-kafka,Postgresql,Apache Kafka,我们希望建立一个系统,在总部有一个主要的Postgres数据库,在各个地区办事处有许多本地数据库 主数据库将有一份来自所有区域办事处数据库的数据副本 总部和当地办事处不会修改任何表格。每个表要么仅由总部修改,且更改将同步到区域办事处,要么仅由本地办事处修改并同步到总部数据库 请注意,每个本地数据库都有来自HQ数据库的不同数据子集。没有两个本地数据库具有相同的数据 实现这一点的最佳方式是什么。卡夫卡?SQL脚本?或者其他的选择 非常欢迎您的输入。从您的用例来看,您似乎想要设置一个多主机复制系统。我

我们希望建立一个系统,在总部有一个主要的Postgres数据库,在各个地区办事处有许多本地数据库

主数据库将有一份来自所有区域办事处数据库的数据副本

总部和当地办事处不会修改任何表格。每个表要么仅由总部修改,且更改将同步到区域办事处,要么仅由本地办事处修改并同步到总部数据库

请注意,每个本地数据库都有来自HQ数据库的不同数据子集。没有两个本地数据库具有相同的数据

实现这一点的最佳方式是什么。卡夫卡?SQL脚本?或者其他的选择


非常欢迎您的输入。

从您的用例来看,您似乎想要设置一个多主机复制系统。我们目前为您的问题提供两个完整的解决方案,一个是EDB Postgres Replication Server 6.2(Postgres数据复制)

您可以在此处查看详细信息:

并可从此处下载:

您的问题的第二个解决方案是即将发布的EDB Replicate,它使用Apache Kafka消息流在数据库和Apache Zookeeper配置管理之间复制更改

如果您对EDB Replicate的详细信息感兴趣,请在info@enterprisedb.com.


免责声明:我为EnterpriseDB工作。

你可以用听起来像是过度杀戮卡夫卡,除非你还需要其他地方的数据。直接db复制几乎总是最好使用特定于db的工具来完成的。这取决于您的组织中的基础架构。是否有任何特定的ETL工具,或者像kafka Spark之类的大数据或流。或者相信自定义构建…问题是开放的