应用程序性能的基线和基准之间的差异

Question

什么是基准,什么是基准？什么是这些的最佳定义,你如何基准一组数字和基准另一组？

Answer 1

SPR(软件生产力研究)的有趣定义

基线和基准是相似但不同的活动.

形象地说,基线是组织中的"沙子线",其中它测量重要的性能特征以供将来参考.

这不一定是"好"状态",只是一个参考.

通过对单词本身的原始推导,可以最好地理解基准:

从事重复性工作的商人,例如将木材锯成一致的长度,经常在工作台上放置凹口,以指示在切割之前放置木板.从字面上看,基准成为比较的标准,也是过去成功的标志.

基本上:

• 基线是关于识别重要状态,意味着您的一组数字符合批准状态,得到公认.
• 基准是关于评估应用程序的相对性能.

Answer 2

HI Gagneet,我是Windows性能团队的成员:这就是我们使用这些术语的方式.

甲基线是被用作用于后续测量的参考的公知的结构的测量.对于基线,我们描述被测物体的特征:例如,让我们采取冷启动时间.在这里,我们有一套很好的机器 - 这意味着我们知道它们是如何工作的,我们有很好的驱动因素,硬件没有损坏或有缺陷.

在这个硬件上,我们有几个"基线"测量,如XP-RTM,XP-SP2,Vista-RTM,Vista-SP1,Vista-SP2等.

对于这些基线中的每一个,我们都有一组经过充分表征和理解的测量,包括启动的所有阶段,CPU的数量,磁盘和内存利用率,DLL负载的数量等.

建立基线后,我们可以进行其他测量并将其与基线进行比较.例如,我们目前正在开发Window-7.对于每个构建(每天),我们运行一组引导时间测试.我们将每个Win-7构建的所有特征与基线测量进行比较.这包括以前的所有Win-7版本.这让我们看到了差异所在,并帮助我们深入研究问题领域. 这里有一些更多的细节.