如何将卡夫卡流与Cassandra和AWS Redshift一起使用

如何将卡夫卡流与Cassandra和AWS Redshift一起使用,cassandra,amazon-redshift,apache-kafka-streams,Cassandra,Amazon Redshift,Apache Kafka Streams,我有一个用例,在这个用例中,我收到点击流,我需要使用来自Cassandra的数据进行某些计算,最后将计算出的值推送到Redshift 对于流媒体和计算的这个用例,我正在探索所需的技术堆栈。可以使用卡夫卡流库吗 如果有人使用过,可以说明可能的优点/缺点或任何其他建议。对于卡夫卡流,您需要“手动”从卡桑德拉提取数据-使用正常的会话从代码内部执行查询。执行,或使用 作为替代方案,您可以使用ApacheSpark,它允许使用卡夫卡的流式数据和Cassandra(via)中的数据。当您需要使用数据库中的数

我有一个用例,在这个用例中,我收到点击流,我需要使用来自Cassandra的数据进行某些计算,最后将计算出的值推送到Redshift

对于流媒体和计算的这个用例,我正在探索所需的技术堆栈。可以使用卡夫卡流库吗


如果有人使用过,可以说明可能的优点/缺点或任何其他建议。

对于卡夫卡流,您需要“手动”从卡桑德拉提取数据-使用正常的
会话从代码内部执行查询。执行
,或使用

作为替代方案,您可以使用ApacheSpark,它允许使用卡夫卡的流式数据和Cassandra(via)中的数据。当您需要使用数据库中的数据丰富流式数据时,在Cassandra中查找数据是一项非常常见的任务—您可以在Cassandra中加入数据,然后根据提取的数据实现计算。如果你想有具体的例子,看看我的


如果您希望使用Spark,请使用Spark结构化流媒体,因为它大大简化了此类应用程序的开发。

如果是Kafka流媒体,您需要“手动”从Cassandra中提取数据-使用正常的
会话从代码内部执行查询。执行
,或使用

作为替代方案,您可以使用ApacheSpark,它允许使用卡夫卡的流式数据和Cassandra(via)中的数据。当您需要使用数据库中的数据丰富流式数据时,在Cassandra中查找数据是一项非常常见的任务—您可以在Cassandra中加入数据,然后根据提取的数据实现计算。如果你想有具体的例子,看看我的

如果您希望使用Spark,请使用Spark结构化流媒体,因为它大大简化了此类应用程序的开发