Database postgresql数据库间表的快速传输

Database postgresql数据库间表的快速传输,database,postgresql,data-warehouse,postgresql-9.1,database-optimization,Database,Postgresql,Data Warehouse,Postgresql 9.1,Database Optimization,我有一个每天进行数据分区的postgresql操作数据库 以及一个postgresql数据仓库数据库。 为了快速地将数据从操作数据库复制到DWH,我希望以最少的资源复制表。 由于表是按天分区的,我知道每个分区本身就是一个表。 这是否意味着我可以在机器之间复制数据文件,并使用这些数据文件在DWH中创建表? 在这种情况下,最佳做法是什么 编辑: 我将回答这里提出的所有问题: 1.我正在构建一个ETL。ETL的第一步是复制对操作数据库影响较小的数据。 2.如果这不会减慢操作数据库的写入速度,我希望复制

我有一个每天进行数据分区的postgresql操作数据库 以及一个postgresql数据仓库数据库。 为了快速地将数据从操作数据库复制到DWH,我希望以最少的资源复制表。 由于表是按天分区的,我知道每个分区本身就是一个表。 这是否意味着我可以在机器之间复制数据文件,并使用这些数据文件在DWH中创建表? 在这种情况下,最佳做法是什么

编辑: 我将回答这里提出的所有问题: 1.我正在构建一个ETL。ETL的第一步是复制对操作数据库影响较小的数据。 2.如果这不会减慢操作数据库的写入速度,我希望复制数据。 3.还有一点数据,操作数据库不在我的职责范围内,但主要关注的是该数据库上的写入时间。 它每天写大约5亿行,其中加载的时间更多,但没有几个小时不写。
4.我遇到了一些工具/方法-复制、pg_转储。但我找不到比较工具,知道什么时候使用什么,了解什么适合我的情况。

< P>如果你正在进行批量传输,我实际上会考虑在仓库系统上运行PGZDUMP,并将结果一天一次注入PSQL。您可能也可以运行Slony,但这将需要更多资源,而且可能会更复杂。

有许多好方法可以在数据库之间复制数据。而只是在寻找一个

数据库间表的快速传输

。。。扩展提供了一个简单快速的解决方案。这里有很多这样的例子。尝试搜索


如果你想要一个更广泛的方法,继续同步等等。很高兴让您开始。

您有什么理由不希望DWH数据库实时复制操作数据库?也许可以告诉更多关于从操作数据库读取和写入操作的频率和数量,以及DWH的要求/意图。您正在构建ETL过程吗?或者您的“数据仓库”只是操作系统的一个副本(在这种情况下,它应该被称为“操作数据存储”),我查看了这个搜索。我找到了一些方法。我想得到更多关于什么对我的案子最有利的信息。