Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/multithreading/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 为流式数据实现具有过期元素的bloomfilter_Java_Apache Storm - Fatal编程技术网

Java 为流式数据实现具有过期元素的bloomfilter

Java 为流式数据实现具有过期元素的bloomfilter,java,apache-storm,Java,Apache Storm,我正在storm中编写一个重复数据消除工具,目前在我的实现中,我使用的是一个使用位集实现的bloomfilter。我需要能够为每个bucket设置一个过期时间,并能够将该位置在位集中设置回零。目前,作为一个粗略的实现,我正在使用HashMap将hashedValue存储为键,并将创建的时间存储为值。如果使用bloomfilter实现再次遇到该值,我会检查该映射是否已过生存时间,如果是,我会返回它不是重复的,并使用新的生存时间值更新该映射。但这在我的情况下不起作用,因为我将处理大量的流式数据,而这

我正在storm中编写一个重复数据消除工具,目前在我的实现中,我使用的是一个使用位集实现的bloomfilter。我需要能够为每个bucket设置一个过期时间,并能够将该位置在位集中设置回零。目前,作为一个粗略的实现,我正在使用HashMap将hashedValue存储为键,并将创建的时间存储为值。如果使用bloomfilter实现再次遇到该值,我会检查该映射是否已过生存时间,如果是,我会返回它不是重复的,并使用新的生存时间值更新该映射。但这在我的情况下不起作用,因为我将处理大量的流式数据,而这些数据必须保留在内存中,并且必须快速工作。另一个问题是,从技术上讲,位集中的存储桶在其ttl后从不重置为零,我只在数据的另一个副本进入时检查ttl。

实际上,在最后,我正在寻找一种方法,让我们跟踪位集中的位设置时间,并给它一个特定的生存时间,在其生命结束时设置在哪里回到零。如果我能实现像连续布鲁姆过滤器这样的东西