Indexing 索引大量字符串

Indexing 索引大量字符串,indexing,redis,cassandra,bigdata,Indexing,Redis,Cassandra,Bigdata,我有200多万个ID,每个ID表示为10个字符串。这些ID对应于将由多台计算机处理的文档。创建用于跟踪已处理ID的共享索引的正确方法是什么 卡桑德拉是正确的工具还是过度使用 频繁的操作将是: (1) 将ID添加到索引中 (2) 检查索引中是否存在ID。您检查过Redis模块吗?我当前的实现基于Redis,但我想知道这是一种好的做法,还是其他工具在这种情况下更可取。我想这一切都取决于您的延迟要求,如果您需要低延迟Redis是您的解决方案。此外,单节点崩溃的问题是,如果您使用set/zset,那么您

我有200多万个ID,每个ID表示为10个字符串。这些ID对应于将由多台计算机处理的文档。创建用于跟踪已处理ID的共享索引的正确方法是什么

卡桑德拉是正确的工具还是过度使用

频繁的操作将是:

(1) 将ID添加到索引中


(2) 检查索引中是否存在ID。

您检查过Redis模块吗?我当前的实现基于Redis,但我想知道这是一种好的做法,还是其他工具在这种情况下更可取。我想这一切都取决于您的延迟要求,如果您需要低延迟Redis是您的解决方案。此外,单节点崩溃的问题是,如果您使用set/zset,那么您的所有ID都将存储在同一台机器上,因此如果该机器崩溃,您可能会丢失数据。