Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 针对具有大量读写操作的海量数据的最佳数据存储_Database_Hbase_Datastore_Document Database_Bigdata - Fatal编程技术网

Database 针对具有大量读写操作的海量数据的最佳数据存储

Database 针对具有大量读写操作的海量数据的最佳数据存储,database,hbase,datastore,document-database,bigdata,Database,Hbase,Datastore,Document Database,Bigdata,我需要在数据库中存储大约1亿条记录。每天大约有60-70%的记录被删除,每天插入的记录数量相同。我觉得像Hbase这样的文档数据库,大表就可以放在这里。还有许多其他的数据存储,如Cassandra、MongoDb等。哪种数据存储对这类问题有用,因为每天都会有大量的读/写操作(数以千万计)。基于您提到的特征(JSON文档、按键访问、1亿条记录、平衡读/写)我认为他们是很好的候选人(这里有一个例子) HBase和Cassandra可能也可以工作,但对于HBase,您需要安装许多组件(Hadoop、Z

我需要在数据库中存储大约1亿条记录。每天大约有60-70%的记录被删除,每天插入的记录数量相同。我觉得像Hbase这样的文档数据库,大表就可以放在这里。还有许多其他的数据存储,如Cassandra、MongoDb等。哪种数据存储对这类问题有用,因为每天都会有大量的读/写操作(数以千万计)。

基于您提到的特征(JSON文档、按键访问、1亿条记录、平衡读/写)我认为他们是很好的候选人(这里有一个例子)

HBase和Cassandra可能也可以工作,但对于HBase,您需要安装许多组件(Hadoop、ZooKeeper等),这些组件不会真正使用d-only,而Cassandra在写操作多于读操作时(至少在我上次使用它时)会更好


不幸的是,大表是谷歌内部的:)

也许你想要一个效率比较。您可能会在其网站上看到这些数据存储的性能。我们在类似的情况下使用Cassandra,但我没有使用其他数据存储。您的数据的性质可能也会影响此数据库比较。许多数据存储可以处理1亿条记录和这些读取/删除速率。记录的大小是多少?您的数据访问模式等是什么?写入与读取比率等?@Arnnrotem Gal Oz:每条记录的大小可能约为100KB,非周末的读写比率为24:25,周末为5:7。@sravan_kumar访问数据怎么样?用钥匙?复杂的查询?