使用SSE/AVX获取存储在__m256d中的值的总和

Question

有没有办法获得存储在__m256d变量中的值的总和？我有这个代码.

acc = _mm256_add_pd(acc, _mm256_mul_pd(row, vec));
//acc in this point contains {2.0, 8.0, 18.0, 32.0}
acc = _mm256_hadd_pd(acc, acc);
result[i] = ((double*)&acc)[0] + ((double*)&acc)[2];

此代码有效,但我想用SSE/AVX指令替换它.

Answer 1

看来你正在为输出数组的每个元素做一个水平求和.(也许作为matmul的一部分？)这通常是次优的; 尝试在第二个内部循环上进行矢量化,这样您就可以result[i + 0..3]在矢量中生成并且根本不需要水平和.

对于一般的水平缩减,请参阅在x86上执行水平浮点矢量和的最快方法:提取高半部分并添加到低半部分.重复,直到你达到1个元素.

如果你在内部循环中使用它,你肯定不想使用它hadd(same,same).除非您的编译器将您从自己身上拯救出来,否则这需要花费2个shuffle uops而不是1.(并且gcc/clang没有.) hadd对代码大小有好处,但几乎没有别的,除非你可以有效地使用两个不同的输入.

对于AVX,这意味着我们需要的唯一256位操作是提取,这在AMD和Intel上都很快.其余的都是128位:

#include <immintrin.h>

inline
double hsum_double_avx(__m256d v) {
    __m128d vlow  = _mm256_castpd256_pd128(v);
    __m128d vhigh = _mm256_extractf128_pd(v, 1); // high 128
            vlow  = _mm_add_pd(vlow, vhigh);     // reduce down to 128

    __m128d high64 = _mm_unpackhi_pd(vlow, vlow);
    return  _mm_cvtsd_f64(_mm_add_sd(vlow, high64));  // reduce to scalar
}

如果你想将结果广播到a的每个元素__m256,你可以使用vshufpd和vperm2f128交换高/低一半(如果调整为Intel).并使用256位FP添加整个时间.如果你完全关心Ryzen,你可以减少到128,使用_mm_shuffle_pd交换,然后vinsertf128获得256位向量.或者使用AVX2,vbroadcastsd最终结果如此.但是,对于英特尔来说,这比在整个时间内保持256位还要慢,同时还要避免vhaddpd.

编译gcc7.3 -O3 -march=haswell 在Godbolt编译探险

    vmovapd         xmm1, xmm0               # silly compiler, vextract to xmm1 instead
    vextractf128    xmm0, ymm0, 0x1
    vaddpd          xmm0, xmm1, xmm0
    vunpckhpd       xmm1, xmm0, xmm0         # no wasted code bytes on an immediate for vpermilpd or vshufpd or anything
    vaddsd          xmm0, xmm0, xmm1         # scalar means we never raise FP exceptions for results we don't use
    vzeroupper
    ret

在内联之后(你肯定想要它),vzeroupper下沉到整个函数的底部,并希望vmovapd优化掉,vextractf128进入一个不同的寄存器而不是破坏保存_mm256_castpd256_pd128结果的xmm0 .

根据Agner Fog的说明表,在Ryzen上,vextractf1281 uop,1c延迟和0.33c吞吐量.

不幸的是,@ PaulR的版本在AMD上很糟糕; 它就像你可能在英特尔库或编译器输出中找到的"跛脚AMD"功能.(我不认为Paul是故意这样做的,我只是指出忽略AMD CPU会导致代码运行速度变慢.)

在Ryzen上,vperm2f128是8 uops,3c延迟,每3c吞吐量一个. vhaddpd ymm是8 uops(相对于你可能预期的6),7c延迟,每3c吞吐量一个.Agner说这是一个"混合域"指令.256位操作总是至少需要2次.

     # Paul's version                      # Ryzen      # Skylake
    vhaddpd       ymm0, ymm0, ymm0         # 8 uops     # 3 uops
    vperm2f128    ymm1, ymm0, ymm0, 49     # 8 uops     # 1 uop
    vaddpd        ymm0, ymm0, ymm1         # 2 uops     # 1 uop
                           # total uops:   # 18         # 5

与

     # my version with vmovapd optimized out: extract to a different reg
    vextractf128    xmm1, ymm0, 0x1        # 1 uop      # 1 uop
    vaddpd          xmm0, xmm1, xmm0       # 1 uop      # 1 uop
    vunpckhpd       xmm1, xmm0, xmm0       # 1 uop      # 1 uop
    vaddsd          xmm0, xmm0, xmm1       # 1 uop      # 1 uop
                           # total uops:   # 4          # 4

总的uop吞吐量通常是加载,存储和ALU混合的代码的瓶颈,因此我预计4-uop版本在英特尔上可能至少要好一些,在AMD上要好得多.它也应该稍微减少热量,因此允许稍高的涡轮/使用更少的电池电量.(但希望这个hsum是你整个循环中的一小部分,这可以忽略不计!)

延迟也不会更糟,因此没有理由使用低效hadd/ vpermf128版本.

Answer 2

你可以这样做：

acc = _mm256_hadd_pd(acc, acc);    // horizontal add top lane and bottom lane
acc = _mm256_add_pd(acc, _mm256_permute2f128_pd(acc, acc, 0x31));  // add lanes
result[i] = _mm256_cvtsd_f64(acc); // extract double

注意：如果这是代码的“热门”（即性能关键）部分（特别是在 AMD CPU 上运行），那么您可能想看看Peter Cordes关于更高效实现的答案。