如何在 Octave 中对方法进行基准测试？

Question

Matlab 有timeit方法，它有助于比较一个实现与另一个实现的性能。我在八度音阶中找不到类似的东西。我编写了这个基准测试方法，运行函数 f N 次，然后返回所用的总时间。这是比较不同实现的合理方法还是我错过了诸如“热身”之类的重要内容？

function elapsed_time_in_seconds = benchmark(f, N)
  % benchmark runs the function 'f' N times and returns the elapsed time in seconds.

  timeid = tic;
  for i=1:N
    output = f();
  end
  elapsed_time_in_seconds = toc(timeid);
end

Answer 1

MATLABtimeit执行以下操作（您可以阅读整个函数，它是一个 M 文件）：

1. 粗略估计t_rough调用函数的时间f。
2. 使用估计来确定N，从而N*t_rough为0.001秒。
3. 确定M，使得M*N*t_rough不超过15秒，但M必须是3和11之间。
4. 循环M次数：
5.    调用f() N次数并记录总时间。
6. 确定时间的中位数M，除以N。

M和两个循环的目的N如下： 调用f() N时间确保tic/测量的时间toc足够大而可靠，该循环避免尝试对太短以至于无法计时的事情进行计时。重复测量M时间并保持中位数尝试使测量对系统上发生的其他事情造成的延迟具有鲁棒性，这可能会人为地增加记录的时间。

该函数减去通过其句柄调用函数的开销（通过对空函数的调用计时来实验确定）以及tic/toc调用时间（也通过实验确定）。它没有减去内部循环的成本，大概是因为在 MATLAB 中它是由 JIT 优化的，并且它的成本可以忽略不计。

还有一些进一步的改进。确定的函数t_rough首先预热tic并toc通过调用每个函数两次，然后使用while循环来确保它调用f()至少 0.001 秒。但是在这个循环中，如果第一次迭代至少需要 3 s，那么它只是把那个时间作为粗略的估计。如果第一次迭代花费的时间较少，则丢弃第一次计数（预热），然后使用所有后续调用的中位数作为时间的粗略估计。

f()使用正确数量的输出参数调用函数也需要付出很多努力。

代码中有很多注释解释了所有这些步骤背后的原因，值得一读。

至少，我会增加您的基准功能如下：

function elapsed_time_in_seconds = benchmark(f, N, M)
  % benchmark runs the function 'f' N*M times and returns the elapsed time in seconds.

  tic; [~] = toc; tic; [~] = toc; % warmup
  output = f(); % warmup

  t = zeros(M, 1);
  for k=1:M
    timeid = tic;
    for i=1:N
      output = f();
    end
    t(k) = toc(timeid) / N;
  end
  elapsed_time_in_seconds = median(t);
end

如果使用函数直接比较各种备选方案，保持N和M不变，则tic, toc, 函数调用和循环的开销是无关紧要的。

此函数确实假设f有一个输出参数，但情况并非一定如此。您可以只调用f()而不是output = f()，它适用于带有或不带有输出参数的函数。但是如果函数需要有一定数量的输出才能正常工作，或者触发你想要计时的计算，那么你必须调整函数以使用正确数量的输出参数调用它。

您可以想出一些启发式方法来确定Mfrom N，这将使使用此函数更容易一些。