Sql server 如何在greenplum实施CDC?

Sql server 如何在greenplum实施CDC?,sql-server,talend,greenplum,cdc,hawq,Sql Server,Talend,Greenplum,Cdc,Hawq,我们有一个小型的gpdb阵列和关键的hadoop。我们正在尝试使用gpdb进行CDC 我们使用SQL server 2012作为外部数据源。我们已从客户端对SQL SERVER进行只读访问。因此,SQLServer不允许为数据集成工具捕获CDC机制 我们必须在greenplum实施CDC。因此,它每次只带来更改的行,而不是满载。这也会在批处理作业的每个计划中增加SQL server的负担 我们尝试了以下SQL 这是决定每行操作的完整CDC查询 select * from (select *,ca

我们有一个小型的gpdb阵列和关键的hadoop。我们正在尝试使用gpdb进行CDC

我们使用SQL server 2012作为外部数据源。我们已从客户端对SQL SERVER进行只读访问。因此,SQLServer不允许为数据集成工具捕获CDC机制

我们必须在greenplum实施CDC。因此,它每次只带来更改的行,而不是满载。这也会在批处理作业的每个计划中增加SQL server的负担

我们尝试了以下SQL

这是决定每行操作的完整CDC查询

select * from (select *,case when ( a.ID is null) then 'I'
when ( a.ID is not null and  a.SalesOrder = a.SalesOrder and  a.SalesOrderLine = a.SalesOrderLine) then 'N'
when ( a.ID is not null and ( a.SalesOrder != a.SalesOrder or  a.SalesOrderLine != a.SalesOrderLine)) then 'U'
else 'X'
end as increment_action from tablename)
我们还尝试使用链接来理解:

同样地,我也尝试了Talend的十几个链接。但它要求的是发布/订阅机制,该机制仅在SQLServerCDC功能启用时才支持。 因此不能按照泰伦德的方式来做

是否有任何方法可以使用SQL在gpdb中实现增量负载而不是全负载。 及 有没有办法将SQL SERVER DDL语法转换为Greenplum

是否有在gpdb中实施CDC的分步文档或指南


如果您能在这方面提供帮助,我们将不胜感激。

外包商负责CDC,而且它是开源的。您可以使用Outsourcer,也可以查看代码以了解它是如何完成的,并使用您自己的代码重新创建它


外包商负责CDC,而且是开源的。您可以使用Outsourcer,也可以查看代码以了解它是如何完成的,并使用您自己的代码重新创建它


这将是一个很好的机制。它也适用于hawq吗?。我也搜索了,但有任何实时演示。使用HAWQ/GREENPLUM的CDC。外包商与HAWQ合作,但复制/CDC不合作。CDC需要能够从HAWQ中由于HDFS而不支持的表中删除。我将很快制作一个外包商复制的快速演示。乔恩,这是一件不可思议的事情。我的意思是,你所做的对正在使用全负荷的人非常有帮助,并且想要转移到增量负荷。谢谢。@vickps谢谢!我刚刚创建了一个使用外包商复制的演示,现在可以在我的站点上使用。请在聊天区,这将是一个伟大的机制。它也适用于hawq吗?。我也搜索了,但有任何实时演示。使用HAWQ/GREENPLUM的CDC。外包商与HAWQ合作,但复制/CDC不合作。CDC需要能够从HAWQ中由于HDFS而不支持的表中删除。我将很快制作一个外包商复制的快速演示。乔恩,这是一件不可思议的事情。我的意思是,你所做的对正在使用全负荷的人非常有帮助,并且想要转移到增量负荷。谢谢。@vickps谢谢!我刚刚创建了一个使用外包商复制的演示,现在可以在我的站点上使用。请点击聊天区