Sql server 使用视图是通过kafka对复杂查询进行ETL的好策略吗?

Sql server 使用视图是通过kafka对复杂查询进行ETL的好策略吗?,sql-server,apache-kafka,Sql Server,Apache Kafka,我在MicrosoftSQLServer上有一个数据仓库和许多复杂的查询,涉及表之间的大量连接。每个查询将返回一个结构,该结构将用于填充mongodb数据库中的对象 查询可以更改并涉及新表,因此我的策略如下: 我会创建一些具体化的视图当然微软会随心所欲,所以这些视图似乎不存在,而是呈现为普通视图+索引,我想知道这是一样的吗?。 我会为视图设置一个适当的更新周期 卡夫卡随后将听取这些观点的相关事件 我不太确定这种方法,因为我不知道dbms如何以及是否也会为物化视图生成事件日志,也不知道kafka是

我在MicrosoftSQLServer上有一个数据仓库和许多复杂的查询,涉及表之间的大量连接。每个查询将返回一个结构,该结构将用于填充mongodb数据库中的对象

查询可以更改并涉及新表,因此我的策略如下:

我会创建一些具体化的视图当然微软会随心所欲,所以这些视图似乎不存在,而是呈现为普通视图+索引,我想知道这是一样的吗?。 我会为视图设置一个适当的更新周期 卡夫卡随后将听取这些观点的相关事件 我不太确定这种方法,因为我不知道dbms如何以及是否也会为物化视图生成事件日志,也不知道kafka是否会将它们解释为对表的更改

另一种方法是在每一张桌子上听事件,但正如我所说的,它们很多,可能会改变,因此需要进行大量维护


您觉得怎么样?

如前所述,视图不会发出事件

不过,您可以像查询任何其他表一样连接JDBC来查询视图


否则,您将需要不同的主题来执行筛选器和联接

视图不会生成事件。物化视图确实存在,它们就是您所描述的。微软并不是按照自己喜欢的方式做事——物化视图是特定于产品的特性,而不是SQL的一部分。事实上,鉴于SQL Server是三大RDBMS之一,并且RDBMS通常不处理事件,您对物化视图有什么想法?SQL Server允许您查找自上次轮询表以来对表的更改,包括删除。这是一种轻量级机制,可在所有版本和版本中使用。你可以把所有的改变都拉到一张桌子上,你有没有想过?这些不是在数据库中找到的物化视图。这篇文章的作者认为,一个类似的概念实际上起源于传统的数据库,它通常被称为“物化视图”。请注意作者是如何明确地解释一个类似的概念实际上起源于传统数据库的,在传统数据库中它通常被称为“物化视图”。