如何用Java编写正确的微基准测试？

如何用Java编写（并运行）正确的微基准测试

我正在寻找一些代码示例和注释，说明需要考虑的各种问题

示例：基准测试应该测量时间/迭代还是迭代/时间，为什么

---

相关：

Java基准测试的重要内容是：

• 在计时之前，先运行代码几次，预热JIT
• 确保运行足够长的时间，以便能够在几秒钟或（更好的）几十秒钟内测量结果
• 虽然您不能在迭代之间调用

  System.gc（）

  ，但最好在测试之间运行它，这样每个测试都会有一个“干净”的内存空间来使用。（是的，

  gc（）

  与其说是一种保证，不如说是一种暗示，但根据我的经验，它很可能真的会进行垃圾收集。）
• 我喜欢显示迭代和时间，以及可以缩放的时间/迭代分数，以便“最佳”算法的分数为1.0，其他算法的分数相对较高。这意味着您可以在较长的时间内运行所有算法，改变迭代次数和时间，但仍然可以获得可比的结果

---

我正在写关于.NET中基准测试框架设计的博客。我有一个例子可以给你一些想法，当然不是所有的东西都是合适的，但其中一些可能是合适的。

Java基准测试的重要内容是：

• 在计时之前，先运行代码几次，预热JIT
• 确保运行足够长的时间，以便能够在几秒钟或（更好的）几十秒钟内测量结果
• 虽然您不能在迭代之间调用

  System.gc（）

  ，但最好在测试之间运行它，这样每个测试都会有一个“干净”的内存空间来使用。（是的，

  gc（）

  与其说是一种保证，不如说是一种暗示，但根据我的经验，它很可能真的会进行垃圾收集。）
• 我喜欢显示迭代和时间，以及可以缩放的时间/迭代分数，以便“最佳”算法的分数为1.0，其他算法的分数相对较高。这意味着您可以在较长的时间内运行所有算法，改变迭代次数和时间，但仍然可以获得可比的结果

---

我正在写关于.NET中基准测试框架设计的博客。我有一个很好的例子，也许能给你一些想法——当然，不是所有的东西都合适，但其中一些可能是合适的。

用Java编写微基准有很多可能的陷阱

首先：你必须计算各种各样的事件，这些事件或多或少都是随机的：垃圾收集、缓存效果（文件的操作系统和内存的CPU）、IO等等

第二：在很短的时间间隔内，你不能相信测量时间的准确性

第三：JVM在执行时优化代码。因此，同一JVM实例中的不同运行速度将越来越快

---

我的建议是：让基准测试运行几秒钟，这比运行时间超过毫秒更可靠。预热JVM（意味着至少运行一次基准测试而不测量JVM是否可以运行优化）。然后运行您的基准多次（可能5次）并取中值。在新的JVM实例中运行每个微基准测试（调用每个基准测试新Java），否则JVM的优化效果可能会影响以后运行的测试。不要执行在预热阶段没有执行的东西（因为这可能会触发类加载和重新编译）。

在Java中编写微基准测试有很多可能的陷阱

首先：你必须计算各种各样的事件，这些事件或多或少都是随机的：垃圾收集、缓存效果（文件的操作系统和内存的CPU）、IO等等

第二：在很短的时间间隔内，你不能相信测量时间的准确性

第三：JVM在执行时优化代码。因此，同一JVM实例中的不同运行速度将越来越快

---

我的建议是：让基准测试运行几秒钟，这比运行时间超过毫秒更可靠。预热JVM（意味着至少运行一次基准测试而不测量JVM是否可以运行优化）。然后运行您的基准多次（可能5次）并取中值。在新的JVM实例中运行每个微基准测试（调用每个基准测试新Java），否则JVM的优化效果可能会影响以后运行的测试。不要执行在预热阶段没有执行的东西（因为这可能会触发类加载和重新编译）。

如果您试图比较两个算法，请至少为每个算法执行两个基准测试，交替顺序。i、 e:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

我发现同一算法在不同过程中的运行时存在一些明显的差异（有时为5-10%）

---

另外，请确保n非常大，以便每个循环的运行时间至少为10秒左右。迭代次数越多，基准时间中的数字就越重要，数据也就越可靠。

如果要比较两种算法，请至少对每种算法进行两次基准测试，交替顺序。i、 e:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

我发现同一算法在不同过程中的运行时存在一些明显的差异（有时为5-10%）

---

另外，请确保n非常大，以便每个循环的运行时间至少为10秒左右。迭代次数越多，基准时间中的数字就越重要，数据也就越可靠。

确保以某种方式使用在基准代码中计算的结果。否则，您的代码将被优化。

请确保以某种方式使用在基准代码中计算的结果。否则，您的代码可以被优化掉

<

final long endTime, startTime = System.nanoTime();
//code here...
endTime = System.nanoTime();
System.out.println("Code took "+(endTime-startTime)+"nano seconds");