C代码循环性能[续]

Question

这个问题在我的问题上继续(根据神秘的建议):

C代码循环性能

---

继续我的问题,当我使用压缩指令而不是标量指令时,使用内在函数的代码看起来非常相似:

for(int i=0; i<size; i+=16) {
    y1 = _mm_load_ps(output[i]);
    …
    y4 = _mm_load_ps(output[i+12]);

    for(k=0; k<ksize; k++){
        for(l=0; l<ksize; l++){
            w  = _mm_set_ps1(weight[i+k+l]);

            x1 = _mm_load_ps(input[i+k+l]);
            y1 = _mm_add_ps(y1,_mm_mul_ps(w,x1));
            …
            x4 = _mm_load_ps(input[i+k+l+12]);
            y4 = _mm_add_ps(y4,_mm_mul_ps(w,x4));
        }
    }
    _mm_store_ps(&output[i],y1);
    …
    _mm_store_ps(&output[i+12],y4);
    }

这个内核的测量性能是每个周期大约5.6个FP操作,虽然我预计它将是标量版本性能的4倍,即每个周期4.1,6 = 6,4 FP操作.

考虑到权重因素的移动(感谢指出这一点),时间表如下:

看起来调度没有改变,尽管在操作之后有一条额外的指令movss将标量权重值移动到XMM寄存器然后用于shufps在整个向量中复制这个标量值.似乎权重向量已经准备好用于mulps考虑从加载到浮点域的切换延迟,因此这不应该产生任何额外的延迟.

此内核中使用的movaps(对齐,打包的移动)addps和mulps指令(使用汇编代码检查)与其标量版本具有相同的延迟和吞吐量,因此这不会产生任何额外的延迟.

有没有人知道每8个周期的额外周期花费在哪里,假设这个内核可以获得的最大性能是每个周期6.4个FP运算并且每个周期运行5.6个FP运算？

---

顺便说一下,这是实际装配的样子:

…
Block x: 
  movapsx  (%rax,%rcx,4), %xmm0
  movapsx  0x10(%rax,%rcx,4), %xmm1
  movapsx  0x20(%rax,%rcx,4), %xmm2
  movapsx  0x30(%rax,%rcx,4), %xmm3
  movssl  (%rdx,%rcx,4), %xmm4
  inc %rcx
  shufps $0x0, %xmm4, %xmm4               {fill weight vector}
  cmp $0x32, %rcx 
  mulps %xmm4, %xmm0 
  mulps %xmm4, %xmm1
  mulps %xmm4, %xmm2 
  mulps %xmm3, %xmm4
  addps %xmm0, %xmm5 
  addps %xmm1, %xmm6 
  addps %xmm2, %xmm7 
  addps %xmm4, %xmm8 
  jl 0x401ad6 <Block x> 
…

Answer 1

尝试在 Vtune 中使用 EMON 分析，或类似 oprof 等等效工具

\n\n

\n
• Vtune for Linux（可以搜索Windows版本）
\n
• 个人档案
\n

\n\n

EMON（事件监控）分析 => 就像一个基于时间的工具，但它可以告诉您哪些性能事件导致了问题。尽管如此，您应该首先从基于时间的配置文件开始，看看是否有特定的指令跳出。（可能还有相关事件告诉您该 IP 出现停顿的频率。）

\n\n

要使用 EMON 分析，您必须运行一系列事件，范围从“通常的嫌疑人”到......

\n\n

在这里，我将从缓存未命中和对齐开始。我不知道您使用的处理器是否有针对 RF 端口限制的计数器 - 应该有 - 但我很久以前就添加了 EMON 分析，而且我不知道它们通过添加适合微架构的事件来保持得怎么样。

\n\n

也有可能是前端、取指令、停顿。这些指令中有多少字节？也有为此举办的 EMON 活动。

\n\n\n\n

回应 Nehalem VTune 无法看到 L3 事件的评论：不正确。以下是我添加到评论中但不适合的内容：

\n\n

实际上，有 LL3 / L3$ / 所谓的 Uncore 的性能计数器。如果 VTune 不支持它们，我会感到非常惊讶。请参阅http://software.intel.com/sites/products/collat ​​eral/hpc/vtune/performance_analysis_guide.pdf 指向 VTune 和其他工具（例如 PTU）。事实上，即使没有 LL3 事件，正如 David Levinthal 所说：“Intel\xc2\xae Core\xe2\x84\xa2 i7 处理器也有一个 \xe2\x80\x9clatency 事件\xe2\x80\x9d，它\n非常类似于Itanium\xc2\xae 处理器系列数据 EAR 事件。该事件\n对负载进行采样，记录执行指令和\n实际传送数据之间的周期数。如果测得的延迟大于\n编程的最小延迟MSR 0x3f6，位 15:0，然后计数器递增。计数器\n溢出启用 PEBS 机制，并且在下一个满足延迟\n阈值的事件\n下，测得的延迟、虚拟或线性地址和数据源\n被复制到 3 中PEBS 缓冲区中的附加寄存器。因为虚拟地址\n被捕获到已知位置，所以采样驱动程序还可以执行虚拟到\n物理转换并捕获物理地址。\n物理地址标识\nNUMA 主位置，原则上允许对缓存占用情况的详细分析。” 他还在第 35 页指出了 VTune 事件，例如 L3 CACHE_HIT_UNCORE_HIT 和 L3 CACHE_MISS_REMOTE_DRAM。有时您需要查找数字代码并将它们编程到 VTune 的较低级别界面中，但我认为在这种情况下它在漂亮的用户界面中是可见的。

\n\n\n\n

好的，在http://software.intel.com/en-us/forums/showthread.php?t=77700&o=d&s=lr中，俄罗斯的 VTune 程序员（我认为）“解释”您无法进行采样非核心事件。

\n\n

他错了 - 例如，您可以只启用一个 CPU，并进行有意义的采样。我还相信，当 L3 丢失数据返回到 CPU 时，能够对其进行标记。事实上，总的来说，L3 知道它正在将数据返回到哪个 CPU，因此您绝对可以采样。您可能不知道哪个超线程，但您可以再次禁用，进入单线程模式。

\n\n

但看起来，正如相当常见的那样，您必须围绕 VTune 工作，而不是使用它才能做到这一点。

\n\n

首先尝试延迟分析。这完全在 CPU 内部，VTune 人员不太可能把它搞砸太多。

\n\n

而且，我再说一遍，你的问题很可能出在核心，而不是 L3。所以 VTune 应该能够处理这个问题。

\n\n\n\n

尝试 Levinthal 的“周期会计”。

\n