Amazon web services 如何在aws实例上测试硬件的完整性?
我有一个消费集群(大约50个实例)从kafka分区消费 我注意到有一台服务器的速度一直很慢。它的cpu使用率始终在80-100%左右。而其他分区约为50% 最初我认为这有一点可能是依赖于流量的,所以我手动切换慢速加载程序正在使用的分区 但是,我没有观察到处理速度的提高 我也没有看到cpu从iostat上被窃取,但是由于所有的消费者都在运行相同的代码,我怀疑硬件中存在一些瓶颈 不幸的是,我不能仅仅更换服务器,除非我能提供确凿的证据证明硬件是问题所在 因此,我想编写一个负载测试脚本,指出瓶颈 我的计划是用python编写一个while循环,它可以进行n次计算,并找出慢速使用者可以进行的最大计算量是多少,快速使用者可以进行的最大计算量是多少 我还能做什么其他的测试策略 也许我应该通过让python脚本写入txt文件来测试磁盘瓶颈 这是快速消费者Amazon web services 如何在aws实例上测试硬件的完整性?,amazon-web-services,amazon-ec2,cpu,hardware,Amazon Web Services,Amazon Ec2,Cpu,Hardware,我有一个消费集群(大约50个实例)从kafka分区消费 我注意到有一台服务器的速度一直很慢。它的cpu使用率始终在80-100%左右。而其他分区约为50% 最初我认为这有一点可能是依赖于流量的,所以我手动切换慢速加载程序正在使用的分区 但是,我没有观察到处理速度的提高 我也没有看到cpu从iostat上被窃取,但是由于所有的消费者都在运行相同的代码,我怀疑硬件中存在一些瓶颈 不幸的是,我不能仅仅更换服务器,除非我能提供确凿的证据证明硬件是问题所在 因此,我想编写一个负载测试脚本,指出瓶颈 我的计
iostat
avg-cpu: %user %nice %system %iowait %steal %idle
50.01 0.00 3.96 0.13 0.12 45.77
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
xvda 1.06 0.16 11.46 422953 30331733
xvdb 377.63 0.01 46937.99 35897 124281808572
xvdc 373.43 0.01 46648.25 26603 123514631628
md0 762.53 0.01 93586.24 22235 247796440032
这是慢速消费者iostat
avg-cpu: %user %nice %system %iowait %steal %idle
81.58 0.00 5.28 0.11 0.06 12.98
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
xvda 1.02 0.40 13.74 371145 12685265
xvdb 332.85 0.02 40775.06 18229 37636091096
xvdc 327.42 0.01 40514.44 10899 37395540132
md0 676.47 0.01 81289.50 11287 75031631060
我很不明白你为什么要在这件事上浪费时间。对我来说,使用基于云的托管的一个要点是,您可以随时“丢弃”一个实例,然后启动一个新实例。停止该实例,然后重新启动它。然后,您将使用不同的硬件,就像以前一样。当您停止实例时,EC2将底层硬件分配返回给池。再次启动它将永远不会(出于所有实际目的)导致将同一硬件重新分配到同一实例。