Performance 应用程序性能的基线和基准之间的差异

什么是基准，什么是基准？这些的最佳定义是什么？如何对一组数字进行基准测试并对另一组进行基准测试？

如果我错了，请纠正我，但我相信“基准”指的是已知的良好状态，而“基准”指的是当前状态。您可以做一个基准测试，并将其与基线进行比较。

来自（软件生产力研究）的有趣定义

基线和基准是类似但不同的活动

打个比方，基线是一个组织的“沙中之线”，用来衡量重要的绩效特征，以备将来参考

这不一定是一种“良好”状态，只是一种参考

最好通过单词本身的原始派生来理解基准：

从事重复性工作（如将木材锯成一致长度）的技工通常在工作台上放置槽口，以指示切割前板材的位置。实际上，基准成为比较标准和过去成功的指标

基本上：

• 基线是关于一个重要状态的识别，这意味着你的一组数字符合一个公共认可的批准状态
• 基准是评估应用程序的相对性能

---

嗨，Gagneet，我是Windows性能团队的成员：下面是我们如何使用这些术语的

基线是对已知配置的测量，用作后续测量的参考。对于基线，我们描述了被测量的东西：以冷启动时间为例。这里我们有一组具有良好特征的机器-这意味着我们知道它们如何工作，我们有好的驱动程序对于他们来说，硬件没有损坏或缺陷

在这个硬件上，我们有几个“基线”测量，如XP-RTM、XP-SP2、Vista RTM、Vista-SP1、Vista-SP2等

对于这些基线中的每一条，我们都有一组很好描述和理解的度量，包括引导的所有阶段、CPU数量、磁盘和内存利用率、DLL加载的数量等

---

建立基线后，我们可以进行其他测量，并将其与基线进行比较。例如，我们目前正在为每个构建（每天）进行我们运行一组启动时测试。我们将每个Win-7版本的所有特征与基线测量值进行比较。这包括所有以前的Win-7版本。这让我们看到差异所在，并帮助我们深入问题领域。

在科学研究中，基准是一种测试，基线是一种结果中尉

让我们看一个基准测试的例子：我们可以收集5000个英语句子，使用实验室的四核戴尔机器，使用各种算法将它们翻译成西班牙语。因为我们保持数据和机器不变，我们可以有意义地比较不同算法完成测试所花费的时间k、 以及它们的相对准确性（根据金标准人工翻译衡量）

为了找到这个基准测试的基线，我们可能会编写一个非常简单的翻译算法，只为每个单词找到最常见的翻译，而不考虑上下文。根据我们的人工翻译来衡量这个算法的准确性，让我们知道其他单词必须达到的最低分数——基线t、 让我们感受到什么样的准确度才算“好”

---

在基线的另一端，上限也是一个有用的尺度。在翻译示例中，我们可以通过测量一个人类翻译相对于其他翻译的准确度来找到上限。这让我们知道我们的“准确度”可能有多高“在你达到人类分歧的上限之前进行衡量。我们希望我们的机器翻译算法的性能介于基线和上限之间。

欢迎您-我正试图从我们的WIn-7工作中解放出来，这样我就可以在博客上使用更多的工具。我们即将发布一个新版本。