Performance 实时数据处理

Performance 实时数据处理,performance,database-design,real-time,Performance,Database Design,Real Time,我每秒解析几次关键字。每秒钟我就有1000-5000个关键词。所以我想找出异常值,增长和其他叫做技术分析的东西。问题之一是如何存储数据。 我将能够做一些事情,比如: 20-01 20-02 20-03 brother 0 3 4 table 1 0 0 cup 34 54 78 但可能有很多关键词。对于我需要查找的每个新数据部分,这个词是否存在?如果没有,那么我必须添加新词并为它们添加新行。组织

我每秒解析几次关键字。每秒钟我就有1000-5000个关键词。所以我想找出异常值,增长和其他叫做技术分析的东西。问题之一是如何存储数据。 我将能够做一些事情,比如:

         20-01 20-02 20-03 
brother    0      3     4
table      1      0     0
cup        34     54    78

但可能有很多关键词。对于我需要查找的每个新数据部分,这个词是否存在?如果没有,那么我必须添加新词并为它们添加新行。组织商店的正确方式是什么?我应该使用key\value数据库、NoSQL还是其他什么

你有多少列?例如,
20-01
,等等……这是时间序列数据吗?你每秒捕获关键字(并且必须添加以前未使用过的新关键字)?@coon这是时间序列数据,这就是为什么每次程序运行时都会添加列。@Neir0:那么你最好先看看MongoDb。我认为列集是静态的。在这种情况下,您需要一个文档数据库。