Database 卡夫卡到ES和其他接收器DB
使用mysql源连接器,我可以捕获mysql更改,并将其发送到ESE或另一个db进行备份。但为此,我需要为源数据库中的每个表使用单独的连接器(源和接收器)。 所以我的问题是:Database 卡夫卡到ES和其他接收器DB,database,
elasticsearch,apache-kafka,apache-kafka-connect,Database,
elasticsearch,Apache Kafka,Apache Kafka Connect,使用mysql源连接器,我可以捕获mysql更改,并将其发送到ESE或另一个db进行备份。但为此,我需要为源数据库中的每个表使用单独的连接器(源和接收器)。 所以我的问题是: 如果不为每个表创建相同数量的源连接器和接收器连接器,如何实现相同的目的?因为创建这么多连接器很麻烦。因此,备份数据库(副本)和为客户端提供更快的响应服务对我来说将变得容易得多。或者没有办法做到这一点?对于源连接器,您可以使用。比如说, table.whitelist: "User, Address, Email" 一次
如果不为每个表创建相同数量的源连接器和接收器连接器,如何实现相同的目的?因为创建这么多连接器很麻烦。因此,备份数据库(副本)和为客户端提供更快的响应服务对我来说将变得容易得多。或者没有办法做到这一点?对于源连接器,您可以使用。比如说,
table.whitelist: "User, Address, Email"
一次只能为一个表配置接收器连接器
我不会说维护多个接收器/源连接器和主题很难。根据我的经验,很难维护从多个主题/源复制数据的连接器。例如,如果您想在特定主题上应用SMT(简单消息转换),那么如果没有独立的连接器,您将无法实现它,因为SMT应用于连接器级别。此外,如果您为所有源配置了一个连接器,但在某个点出现故障,则所有目标系统都将遇到停机。白名单是否可以将数据复制到同一主题?从文档:
table.whitelist复制中要包含的表的列表。如果指定
。在发送到连接服务器之前,您可以编写一个脚本来创建源连接器和接收器连接器属性文件是的,这也是另一种方法!