Etl 从流式复制数据生成SCD Type 2表的最佳方法是什么？

通常使用ETL实现SCD类型2，但是否可以使用实时数据处理（例如Spark Streaming或KSQL）来实现这一点？

Spark-related？或者其他？任何流媒体解决方案都合适。不确定spark是否适合您可能认为的方式。问题太模糊了。基本上，问题是如何建立传统的数据仓库，但使用在线数据源，如CDC向卡夫卡流媒体。当然，可以先将在线数据放到某个阶段，然后使用ETL进行处理。但我想知道如何处理流数据。与Spark相关吗？或者其他？任何流媒体解决方案都合适。不确定spark是否适合您可能认为的方式。问题太模糊了。基本上，问题是如何建立传统的数据仓库，但使用在线数据源，如CDC向卡夫卡流媒体。当然，可以先将在线数据放到某个阶段，然后使用ETL进行处理。但是我想知道如何使用流数据处理来完成它。