如何准备一个恒定的基准环境

Question

当我进行图形基准性能测试(C++)时,我发现应用程序有时会更快或更慢.这与当前的操作系统状态/缓存/内存使用情况以及图形硬件状态有关.

我正在使用Win7.我想知道是否有一些指导方针告诉我如何获得稳定/恒定的基准性能测试环境？

Answer 1

有很多方法可以做到这一点 - 我在测试中倾向于使用 WAIK（Windows 自动安装工具包，可从 Microsoft 免费获得）在单独的工作站上部署最小的 Windows 7 系统。

然后，需要考虑/更改以下配置项（尽量不要偏离典型的用户机器太多，否则你的基准测试将没有建设性）：

这些代表了一个相当最佳的测试环境，爱好者仍然可以获得，因此可以代表高级用户（即使我使用自动更新和驱动器索引，我也会将它们安排在我离开/睡觉时）

至于缓存和内存使用情况 - 至少在 Win7 Professional 中，您可以编写远程启动脚本 - 例如，我会让一个脚本过夜运行我的基准测试（用于大型回归测试），每次运行后重新启动操作系统。或者我会在不重新启动的情况下运行相同的基准测试 5-10 次，以查看缓存使用情况是否发生变化。

最后，还有引导加载程序开关来控制处理器数量和可用 RAM 数量 - 我的测试机器是具有 16GB RAM 的 AMD Phenom X6，但我们需要测试性能如何随核心数量变化（有些用户会单核系统，有些会有多核系统），以及 RAM 量（1-16GB）。

这通常在检查点发布之前完成，以查看是否由于此后发生的额外功能和额外优化而需要调整推荐或最小推荐。