如何将oracle表数据加载到kafka主题中?

如何将oracle表数据加载到kafka主题中?,oracle,apache-kafka,cdc,Oracle,Apache Kafka,Cdc,如何将oracle表数据加载到kafka主题中?我做了一些研究,了解到,我应该使用CDC工具,但所有CDC工具都是付费版本,有人能建议我如何实现这一点吗 请参考kafka jdbc源连接器。下面是链接 请参阅kafka jdbc源代码连接器。下面是链接 将数据从Oracle表加载到Kafka主题中不需要更改数据捕获(CDC)工具 可以使用Kafka加载数据 但是,如果您需要捕获删除和更新,则必须使用CDC工具,您需要为此支付许可证。Confluent已认证以下CDC工具(源连接器): 要

如何将oracle表数据加载到kafka主题中?我做了一些研究,了解到,我应该使用CDC工具,但所有CDC工具都是付费版本,有人能建议我如何实现这一点吗

请参考kafka jdbc源连接器。下面是链接
请参阅kafka jdbc源代码连接器。下面是链接
将数据从Oracle表加载到Kafka主题中不需要更改数据捕获(CDC)工具

可以使用Kafka加载数据

但是,如果您需要捕获删除和更新,则必须使用CDC工具,您需要为此支付许可证。Confluent已认证以下CDC工具(源连接器):


  • 要将数据从Oracle表加载到Kafka主题中,不需要变更数据捕获(CDC)工具

    可以使用Kafka加载数据

    但是,如果您需要捕获删除和更新,则必须使用CDC工具,您需要为此支付许可证。Confluent已认证以下CDC工具(源连接器):


  • 您会发现本文很有用:

    它详细介绍了您的所有选项和当前可用的工具。简而言之,您可以使用Kafka Connect JDBC连接器进行批量(或基于查询的CDC),也可以将基于日志的CDC方法与支持Oracle作为源的CDC工具之一结合使用,包括Attunity、GoldenGate、SQ Data和IBM的IIDR


    您通常会发现,如果您已经为数据库(例如Oracle、DB2等)付费,您将不得不为基于日志的CDC工具付费。开源CDC工具可用于开源数据库。例如,Debezium是开源的,与MongoDB、MySQL和PostgreSQL配合使用非常好。

    您会发现本文非常有用:

    它详细介绍了您的所有选项和当前可用的工具。简而言之,您可以使用Kafka Connect JDBC连接器进行批量(或基于查询的CDC),也可以将基于日志的CDC方法与支持Oracle作为源的CDC工具之一结合使用,包括Attunity、GoldenGate、SQ Data和IBM的IIDR


    您通常会发现,如果您已经为数据库(例如Oracle、DB2等)付费,您将不得不为基于日志的CDC工具付费。开源CDC工具可用于开源数据库。例如,Debezium是开源的,与MongoDB、MySQL和PostgreSQL配合使用非常好。

    正如其他人提到的,CDC需要付费产品。如果你只是想尝试一下,Strim在前30天是免费的

    包括JDBC在内的“免费”选项。但是,如果您真的想使用触发器捕获更改,则会在数据库中引入大量负载


    免责声明:我在Strim工作,正如其他人提到的,CDC需要付费产品。如果你只是想尝试一下,Strim在前30天是免费的

    包括JDBC在内的“免费”选项。但是,如果您真的想使用触发器捕获更改,则会在数据库中引入大量负载


    免责声明:我在Strim工作,您可能对该项目感兴趣,该项目为各种数据库提供开源CDC连接器。除其他外,我们还提供。请注意,此连接器目前基于Oracle的XStream API,它本身需要单独的许可证,但我们希望很快添加一个完全免费的替代品


    免责声明:我是Debezium的负责人,您可能对该项目感兴趣,该项目为各种数据库提供开源CDC连接器。除其他外,我们还提供。请注意,此连接器目前基于Oracle的XStream API,它本身需要单独的许可证,但我们希望很快添加一个完全免费的替代品


    免责声明:我是Debezium的负责人

    这里有一个基于logminer的Oracle数据库自定义Kafka源连接器:


    此项目正在开发中。

    有一个基于logminer的Oracle数据库自定义Kafka源连接器,如下所示:


    此项目正在开发中。

    您可能会感兴趣。它是一个完全由C++编写的开源GPL许可工具。它读取Oracle重做日志的二进制格式并将其发送给Kafka

    它非常快-您可以不费吹灰之力就实现低延迟,因为它完全在内存中运行。它支持自11.2.0.1以来的所有Oracle数据库版本,不需要额外的许可

    它可以在数据库主机上工作,但您也可以将其配置为使用sshfs从另一台主机读取重做日志,而数据库的负载最小


    免责声明:我是您可能感兴趣的此解决方案的作者。它是一个完全由C++编写的开源GPL许可工具。它读取Oracle重做日志的二进制格式并将其发送给Kafka

    它非常快-您可以不费吹灰之力就实现低延迟,因为它完全在内存中运行。它支持自11.2.0.1以来的所有Oracle数据库版本,不需要额外的许可

    它可以在数据库主机上工作,但您也可以将其配置为使用sshfs从另一台主机读取重做日志,而数据库的负载最小


    免责声明:我是此解决方案的作者

    您是否获得了此解决方案?这是否回答了您的问题?你找到解决办法了吗?这能回答你的问题吗?SQ数据和IBM的IIDR也支持Oracle作为源。谢谢Giorgos,将尝试Kafka Confluent的JDBC源连接器。SQ数据和IBM的IIDR也支持Oracle作为源。谢谢Giorgos,将尝试Kafka Confluent的JDBC源连接器。谢谢@Robin的回复。没有Confluent平台,是否可以通过jdbc源连接器将cdc数据从oracle表获取到Kafka connect?Kafka connect是Apache Kafka的一部分。JDBC连接器是开源的,并且可用