Statistics 什么样的统计分布用于对算法进行基准测试?

Statistics 什么样的统计分布用于对算法进行基准测试?,statistics,benchmarking,static-analysis,Statistics,Benchmarking,Static Analysis,我已经测试了我的算法,它运行了1000次。现在我有了所有的时间值,在这一点上,知道平均值,标准偏差,中位数会很有趣。问题是我不知道用什么正确的统计数据来估计这些参数。我不确定是否使用正态分布。了解。那里有很多书、指南、论文和介绍(,,,) 还有许多实现默认统计方法的库: , , 当然,对于你所使用的语言,还有很多其他的 还有最后一个提示:对于快速(初始)结果,我经常使用和它的图表函数。它支持一些统计方法,您可以使用这些方法进行一些调整,看看您可能会朝哪个方向继续……这实际上取决于您的工作负载

我已经测试了我的算法,它运行了1000次。现在我有了所有的时间值,在这一点上,知道平均值,标准偏差,中位数会很有趣。问题是我不知道用什么正确的统计数据来估计这些参数。我不确定是否使用正态分布。

了解。那里有很多书、指南、论文和介绍(,,,)
还有许多实现默认统计方法的库:

  • ,
  • ,
  • 当然,对于你所使用的语言,还有很多其他的

还有最后一个提示:对于快速(初始)结果,我经常使用和它的图表函数。它支持一些统计方法,您可以使用这些方法进行一些调整,看看您可能会朝哪个方向继续……

这实际上取决于您的工作负载经历的分布情况,因此您无法一般地回答这个问题

但是有一个技巧:如果你向前走一步,做几次迭代,每次由N个调用组成,然后计算,比如说,整个迭代的平均时间/吞吐量。然后,对于一个大的N和跨调用的一致的工作负载行为,迭代分数可能会受到影响,这会使它们变成正态分布