Amazon redshift 基于现有postgresql的用于红移的Debezium连接器

Amazon redshift 基于现有postgresql的用于红移的Debezium连接器,amazon-redshift,apache-kafka-connect,debezium,Amazon Redshift,Apache Kafka Connect,Debezium,我已成功使用卡夫卡连接插件。与通过sql查询连续轮询数据库的普通JDBC连接器相比,此连接器直接连接到关系数据库(WAL),大大提高了性能 使用红移作为源代码,而不是Postgresql,是否可能出现类似的情况?我知道红移和Postgresql之间有很大的区别,红移是基于列的,基于集群的,没有二级索引,并且有不同的用例。如果Redshift与写前日志有任何类似之处,或者使用完全不同的方法,我无法找到确切的信息 是否有一种基于写前日志的方法,可以通过debezium或其他方式将数据更改从红移表直接

我已成功使用卡夫卡连接插件。与通过sql查询连续轮询数据库的普通JDBC连接器相比,此连接器直接连接到关系数据库(WAL),大大提高了性能

使用红移作为源代码,而不是Postgresql,是否可能出现类似的情况?我知道红移和Postgresql之间有很大的区别,红移是基于列的,基于集群的,没有二级索引,并且有不同的用例。如果Redshift与写前日志有任何类似之处,或者使用完全不同的方法,我无法找到确切的信息


是否有一种基于写前日志的方法,可以通过debezium或其他方式将数据更改从红移表直接流式传输到kafka,或者在技术上不可能?如果不支持,那么有什么替代方案可以实现同样的效果呢?

用一句话回答您的问题-不,它不受支持,我相信AWS(或任何现代DW)甚至都不会考虑启用此功能

在我看来,有两个强有力的理由:

  • RedShift本身从不同的数据库(如Postgres)获取数据,其主要目的是读取而不是写入(因此并发写入更少)
  • 出于分析目的,我们将所有数据放入DW。从那里它将进入BI工具或任何与ML相关的工作。但我从未见过任何地方DW数据会实时或接近实时地进入另一个数据库

(您可能已经知道这个选项)如果您仍然需要这样做,那么您将从某些来源获取数据,对吗?使用同一来源从RedShift CDC将数据发送到您想要使用的地方。

一行回答您的问题-不,它不受支持,而且我确信AWS(或任何现代DW)甚至不会想到启用此功能

在我看来,有两个强有力的理由:

  • RedShift本身从不同的数据库(如Postgres)获取数据,其主要目的是读取而不是写入(因此并发写入更少)
  • 出于分析目的,我们将所有数据放入DW。从那里它将进入BI工具或任何与ML相关的工作。但我从未见过任何地方DW数据会实时或接近实时地进入另一个数据库

(您可能已经知道这个选项)如果您仍然需要这样做,那么您将从某些来源获取数据,对吗?使用相同的源从RedShift CDC将数据发送到您想要使用的地方。

感谢您对为什么不支持此功能以及可能永远不会支持此功能的逻辑解释。感谢您对为什么不支持此功能以及可能永远不会支持此功能的逻辑解释。我不明白为什么这不符合堆栈溢出的指导原则。有人问了一个明确的问题:是否支持从红移到卡夫卡连接的流更改,并且给出了一个带有逻辑解释的明确答案。我不明白为什么这不符合堆栈溢出的指导原则。有人提出了一个明确的问题:是否支持从红移到卡夫卡连接的流式更改,并提供了一个带有逻辑解释的明确答案。