Apache Cassandra-如何强调IO

Apache Cassandra-如何强调IO,io,cassandra,benchmarking,stress-testing,Io,Cassandra,Benchmarking,Stress Testing,我已经与Cassandra合作了一段时间,并遵循了以下链接中的基准测试技巧: 我有4个节点运行Cassandra,2个不同的节点使用本机基准测试工具“Cassandra stress”为集群提供数据。我知道,因为Cassandra的LSM特性,它们几乎不会是IO绑定的,但是在读取时,我希望我能够以IO绑定的方式强调集群。到目前为止,我甚至无法接近使IO成为瓶颈 我增加了并发写/读的数量;我已经提高了流吞吐量,出站兆比特每秒,这样它就不会节流;我已经将cassandra压力客户端的数量增加了3倍

我已经与Cassandra合作了一段时间,并遵循了以下链接中的基准测试技巧:

我有4个节点运行Cassandra,2个不同的节点使用本机基准测试工具“Cassandra stress”为集群提供数据。我知道,因为Cassandra的LSM特性,它们几乎不会是IO绑定的,但是在读取时,我希望我能够以IO绑定的方式强调集群。到目前为止,我甚至无法接近使IO成为瓶颈

我增加了并发写/读的数量;我已经提高了流吞吐量,出站兆比特每秒,这样它就不会节流;我已经将cassandra压力客户端的数量增加了3倍(这只是让它更受CPU限制)

我在每个Cassandra节点上的设置都是用于commitLogs的独立HDD,我为数据存储设置了10个驱动器DAS。我已经用Linux的iostat实用程序监控了IO,但我永远无法让驱动器的利用率接近100%。此外,我还减少了Cassandra可用的允许内存,认为这将迫使它更频繁地刷新。以下是我如何启动写压力测试:

卡桑德拉应力-d 192.168.2.1192.168.2.2-n 20000000-t 400-f 2000万写入1和卡桑德拉应力-d 192.168.2.1192.168.2.2-n 20000000-t 400-f 2000万写入2和卡桑德拉应力-d 192.168.2.1192.168.2.2-n 20000000-t 400-f 2000万写入3&

下面是我如何启动阅读压力测试的:

卡桑德拉应力-d 192.168.2.1192.168.2.2-n 20000000-t 400-f 20000000-U读数1-o读数和卡桑德拉应力-d 192.168.2.1192.168.2.2-n 20000000-t 400-f 20000000-f读数2-o读数和卡桑德拉应力-d 192.168.2.1192.168.2-n 20000000-t 400-f 20000000-f读数3-o读数&

我是从2个外部节点执行此操作的,它们为4节点Cassandra集群提供数据

关于如何有效地强调IO并使其受IO约束,有什么想法或想法吗?或者可能是我做错了什么

谢谢你的时间和耐心


-Matt

一个单独的commitlog磁盘和10个数据磁盘。。你是“做对了”

您可以尝试使用较大值的混合读写工作负载来增加总体I/O,但您可能会再次发现这在您的硬件选择上很好