如何自动化性能测试并与CI集成？

Question

我正在考虑自动化性能测试,其方式与我们目前的单元测试相同.

我知道如何使用jMeter等工具运行性能测试,或者编写自己的代码来触发应用程序的特定部分.我知道如何使用time,jvisualvm,nmon或其他人来收集有关正在使用的资源的信息.

我想进一步编写一个性能测试,如果它超过某些行(执行时间,内存或CPU消耗......)就会失败.然后,我会让我的CI服务器(Jenkins)定期运行测试,以确保性能保持良好.

这很复杂,因为性能取决于硬件,并且按照当前的方式,它需要人工解释结果以确定这是否令人满意.

您是否知道任何有助于以这种方式自动执行性能测试的工具或框架(如果可能的话,基于Java)？如果没有,你有一些好的建议吗？

谢谢.

Answer 1

过去，我曾使用JUnit做过一些性能测试。然而，它不需要人类解释——算法要么花费太长时间，要么足够快。在某种程度上，这是基于时间阈值的通过/失败测试。

如果需要自动完成主观性能测试，恐怕会很难构建。