Database 数据库基准测试

Database 数据库基准测试,database,nosql,benchmarking,Database,Nosql,Benchmarking,我正在研究noSQL数据库上的基准测试(YCSB)结果。在我的项目中,我最初有130万用户,他们每天都会插入30MB的数据,这些数据由安装在他们车辆上的传感器收集(基于使用的保险) YCSB基准测试产生的吞吐量为50000次/秒。每个写入操作写入1KB的数据 理想情况下,我的系统应该能够在一天结束时读取所有这些数据,以便对其进行分析,评估驾驶员的风险,并为用户确定第二天的价格 问题是,它们总共写入了39 TB(130万*30MB),而通过这种读取吞吐量,系统需要很多天(188天),但我需要在1小

我正在研究noSQL数据库上的基准测试(YCSB)结果。在我的项目中,我最初有130万用户,他们每天都会插入30MB的数据,这些数据由安装在他们车辆上的传感器收集(基于使用的保险)

YCSB基准测试产生的吞吐量为50000次/秒。每个写入操作写入1KB的数据

理想情况下,我的系统应该能够在一天结束时读取所有这些数据,以便对其进行分析,评估驾驶员的风险,并为用户确定第二天的价格

问题是,它们总共写入了39 TB(130万*30MB),而通过这种读取吞吐量,系统需要很多天(188天),但我需要在1小时内完成

问题是:如果写操作是1KB,那么读操作是1KB还是在无模式数据库中更快

读吞吐量意味着什么不同吗?我不敢相信会有结果


谢谢。

每个用户都是独立的吗?如果是这样的话,您不需要将它们全部放在同一个数据库中,这样您就可以与多个服务器并行,每个服务器处理您的一些用户。然后,您的分析也可以并行运行。我假设所有数据的大量读取可能比单个写入更快,但如果我们有足够的信息可以说,请点击IDK。这取决于硬件和细节。我想展示我的系统是可伸缩的。我有4个主节点,它们以无模式JSON格式收集每个用户(100万)的信息,所以我可以假设读操作检索超过1KB/ops的读操作吗?我的目标是展示,通过8个节点,我可以读取和分析大约1000万用户的数据,就像我在写操作中所做的那样。另外,每个主节点都有2个副本集,所以当它们被更新时,我可以提高并行性。我不知道如何用这些基准测试的结果用数学证明它。