Java 时间轴数据存储解决方案
我面临一个有趣的问题:我必须为我的用户显示Facebook、Foursquare和Twitter的聚合提要,我不知道该使用什么解决方案。许多批处理并行运行,活动流中有许多更新 我需要操作活动列表,所以我首先尝试了Redis,但是当您使用许多sunionstore命令时,复制无法工作。我一直在想:Java 时间轴数据存储解决方案,java,nosql,bigdata,sqlfire,Java,Nosql,Bigdata,Sqlfire,我面临一个有趣的问题:我必须为我的用户显示Facebook、Foursquare和Twitter的聚合提要,我不知道该使用什么解决方案。许多批处理并行运行,活动流中有许多更新 我需要操作活动列表,所以我首先尝试了Redis,但是当您使用许多sunionstore命令时,复制无法工作。我一直在想: noSQL ->HBase newSQL ->VoltDB和SQLFire 数据网格 ->Infinispan、GridGain和Gigaspace 你认为我应该用什么?您还有其他想法吗?我们已经在
- noSQL ->HBase
- newSQL ->VoltDB和SQLFire
- 数据网格 ->Infinispan、GridGain和Gigaspace
我认为Hazelcast应该是一个很好的方法,因为您可以进行批处理和实时插入,并且它的API和文档都很好持久性存储是必需的,或者在mem中是可以的?持久性和一致性根本不是强制性的,所以mem是可以的:)您在Hazelcast中使用了查询API吗?是的,我们在几个节点上使用带有谓词的查询API。目前我们没有任何性能瓶颈,但这必须取决于应用程序。我提到,我们处于一个70%读/30%写的场景中,我们的应用程序运行了几个月,没有任何内存泄漏。公平地说,我们使用Hazelcast作为临时/容错数据存储,在其上运行批处理和聚合功能,以便只向前端应用程序提供预计算数据。然后从HZ中丢弃原始数据。所以,我们不是在一个“永远成长”的模式上。