Cassandra上的低延迟聚合

我们将大量的时间序列指标吸收到我们的系统中。我们无法用当前的基础结构处理写负载。所以，我们正在评估卡桑德拉

关于我们现有实时系统的更多信息

• 我们收集特定于应用程序的时间序列度量
• 我们将它们写入数据库
• 这是我们跟踪的数据样本

• 然后，在添加数据之后，我们会随着时间的推移将它们聚合成不同的分辨率
• 例如，对于我们跟踪的每个指标，我们都有1分钟、30分钟、3小时、天分辨率的预聚合数据
• 然后，我们的前端应用程序将提出如下不同的问题。我们会进行临时聚合来解决这些问题
  • 给我这个X时间段的平均恢复时间
  • 列出在给定时间段内具有较高恢复时间的前10条路线

对卡桑德拉的担忧 通过运行一些后台作业，我们可以使用cassandra进行预聚合。但我们需要在低延迟（小于5ms）下进行临时查询。对于我们的预聚合数据，这似乎微不足道

但是由于cassandra没有聚合支持，我们需要找到其他解决方案。我们用一些内存数据源尝试了spark（没有cassandra）。但是，对这样的少量数据进行聚合需要更多的时间

---

所以，唯一可行的选择是在cassandra之上创建一个聚合引擎。我只是想知道是否有其他方法可以做到这一点，或者是否有一些现有的解决方案？

您可以举一个数据示例，并说明这些数据是如何在您的实际系统中聚合的？您正在跟踪哪种指标？你们想做什么聚合？谢谢你们。我已经用更多的信息更新了这个问题。

{
  appId: 'applicationId', 
  route: 'routeName', 
  time: 1406845866304, 
  resTime: 500, 
  dbTime: 200
}