Xcode性能测试失败百分比

Ada*_*hns 6 xcode ios swift xcode8

我正在使用XCTestCase measure(_ :)测试功能。

如果时间百分比增长(从设定的基准开始)恶化了62%,则测试仍通过: 在此处输入图片说明

但是,如果时间百分比增长恶化了65%,则测试将失败: 在此处输入图片说明

并且失败消息显示为“ (允许的最大值:10%)

我的问题

  1. 第一种情况下,如果时间增加62%,则“最大允许:10%”消息是否暗示测试应该失败?
  2. 是否在任何地方正式记录了允许的最大增加量,因为我在任何正式文档中都找不到。
  3. 有没有一种方法可以自定义最大允许的百分比增长?我看到有一种调整最大STDEV的方法,但这不是我的意思。

注意:在我所有的测试中,如果(%increase - STDEV) >= 60%测试失败,则测试将通过。