Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/328.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 时间轴数据存储解决方案_Java_Nosql_Bigdata_Sqlfire - Fatal编程技术网

Java 时间轴数据存储解决方案

Java 时间轴数据存储解决方案,java,nosql,bigdata,sqlfire,Java,Nosql,Bigdata,Sqlfire,我面临一个有趣的问题:我必须为我的用户显示Facebook、Foursquare和Twitter的聚合提要,我不知道该使用什么解决方案。许多批处理并行运行,活动流中有许多更新 我需要操作活动列表,所以我首先尝试了Redis,但是当您使用许多sunionstore命令时,复制无法工作。我一直在想: noSQL ->HBase newSQL ->VoltDB和SQLFire 数据网格 ->Infinispan、GridGain和Gigaspace 你认为我应该用什么?您还有其他想法吗?我们已经在

我面临一个有趣的问题:我必须为我的用户显示Facebook、Foursquare和Twitter的聚合提要,我不知道该使用什么解决方案。许多批处理并行运行,活动流中有许多更新

我需要操作活动列表,所以我首先尝试了Redis,但是当您使用许多sunionstore命令时,复制无法工作。我一直在想:

  • noSQL ->HBase

  • newSQL ->VoltDB和SQLFire

  • 数据网格 ->Infinispan、GridGain和Gigaspace

你认为我应该用什么?您还有其他想法吗?

我们已经在生产中使用了2年,对其性能和可扩展性非常满意

我们也使用Gridgain,但作为计算网格,而不是数据网格


我认为Hazelcast应该是一个很好的方法,因为您可以进行批处理和实时插入,并且它的API和文档都很好

持久性存储是必需的,或者在mem中是可以的?持久性和一致性根本不是强制性的,所以mem是可以的:)您在Hazelcast中使用了查询API吗?是的,我们在几个节点上使用带有谓词的查询API。目前我们没有任何性能瓶颈,但这必须取决于应用程序。我提到,我们处于一个70%读/30%写的场景中,我们的应用程序运行了几个月,没有任何内存泄漏。公平地说,我们使用Hazelcast作为临时/容错数据存储,在其上运行批处理和聚合功能,以便只向前端应用程序提供预计算数据。然后从HZ中丢弃原始数据。所以,我们不是在一个“永远成长”的模式上。