AVX512 - 如何将所有设置位移至右侧？

Question

如何将掩码寄存器的所有设置位向右移动？（到底部，最不重要的位置）。

例如：

__mmask16 mask = _mm512_cmpeq_epi32_mask(vload, vlimit); // mask = 1101110111011101

如果我们将所有设置位向右移动，我们将得到：1101110111011101 -> 0000111111111111

我怎样才能有效地实现这一目标？

您可以在下面看到我如何尝试获得相同的结果，但效率很低：

__mmask16 mask = 56797;
// mask: 1101110111011101
__m512i vbrdcast = _mm512_maskz_broadcastd_epi32(mask, _mm_set1_epi32(~0));
// vbrdcast: -1 0 -1 -1 -1 0 -1 -1 -1 0 -1 -1 -1 0 -1 -1
__m512i vcompress = _mm512_maskz_compress_epi32(mask, vbrdcast);
// vcompress:-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 
__mmask16 right_packed_mask =   _mm512_movepi32_mask(vcompress);   
// right_packed_mask: 0000111111111111                         

做这个的最好方式是什么？

Answer 1

BMI2pext是 的按位标量等价物v[p]compressd/q/ps/pd。
在掩码值上使用它，将它们左包装到值的底部。

  mask = _pext_u32(-1U, mask);    // or _pext_u64(-1ULL, mask64)  for __mmask64
// costs 3 asm instructions (kmov + pext + kmov) if you need to use the result as a mask
// not including putting -1 in a register.

__mmask16（GCC 中的 uint16_t）和 uint32_t 之间的隐式转换有效。
如果您愿意，可以使用_cvtu32_mask16和_cvtu32_mask16使 KMOVW 显式化。

有关以此类方式使用 pext/pdep 的更多信息，请参阅如何取消设置 N 个最右边的设置位。

当前所有采用 AVX-512 的 CPU 也具有快速 BMI2 pext（包括 Xeon Phi），与 popcnt 具有相同的性能。AMD 在 Zen 3 之前速度很慢pext，但如果/当 AMD 推出 AVX-512 CPU 时，它应该具有快速pext/ pdep.

对于没有 AVX512 的早期 AMD，您可能需要(1ULL << __builtin_popcount(mask)) - 1，但如果设置了所有位，请小心溢出。 是未定义的行为，并且在为 x86-64 编译时1ULL << 64可能会产生1not 。0

如果您打算使用vpcompressd，请注意源向量可以简单地为全 1 _mm512_set1_epi32(-1)；compress 不关心掩码为零的元素，它们不需要已经为零。

（你打包哪个 并不重要；一旦你使用布尔值，来自原始位掩码的 a 与你生成的更便宜的常量-1之间没有区别，而不依赖于您的输入掩码。同样的推理适用于，为什么您可以使用源数据而不是。即 a或设置位没有标识；它与任何其他或设置位相同）。truetruepext-1Updep-1-1

因此，让我们尝试两种方法，看看 asm 有多好或多坏。

inline
__mmask16 leftpack_k(__mmask16 mask){
    return _pdep_u32(-1U, mask);
}

inline
__mmask16 leftpack_comp(__mmask16 mask) {
    __m512i v = _mm512_maskz_compress_epi32(mask, _mm512_set1_epi32(-1));
    return _mm512_movepi32_mask(v);
}

查看这些的独立版本没有用，因为__mmask16是 的 typedef unsigned short，因此在整数寄存器中传递/返回，而不是在k寄存器中。pext当然，这使得该版本看起来非常好，但我们希望了解它如何内联到我们生成并使用 AVX-512 内在函数的掩码的情况中。

// not a useful function, just something that compiles to asm in an obvious way
void use_leftpack_compress(void *dst, __m512i v){
    __mmask16 m = _mm512_test_epi32_mask(v,v);
    m = leftpack_comp(m);
    _mm512_mask_storeu_epi32(dst, m, v);
}

注释掉m = pack(m)，这只是生成然后使用掩码的简单 2 条指令。

use_mask_nocompress(void*, long long __vector(8)):
        vptestmd        k1, zmm0, zmm0
        vmovdqu32       ZMMWORD PTR [rdi]{k1}, zmm0
        ret

因此，任何额外的说明都将归因于左包装（压缩）掩模。GCC 和 clang 彼此制作相同的汇编，不同之处仅在于 clang 避免支持kmovwalways kmovd。 神箭

# GCC10.3 -O3 -march=skylake-avx512
use_leftpack_k(void*, long long __vector(8)):
        vptestmd        k0, zmm0, zmm0
        mov     eax, -1                        # could be hoisted out of a loop
        kmovd   edx, k0
        pdep    eax, eax, edx
        kmovw   k1, eax
        vmovdqu32       ZMMWORD PTR [rdi]{k1}, zmm0
        ret

use_leftpack_compress(void*, long long __vector(8)):
        vptestmd        k1, zmm0, zmm0
        vpternlogd      zmm2, zmm2, zmm2, 0xFF   # set1(-1)  could be hoisted out of a loop
        vpcompressd     zmm1{k1}{z}, zmm2
        vpmovd2m        k1, zmm1
        vmovdqu32       ZMMWORD PTR [rdi]{k1}, zmm0
        ret

所以不可吊装的部分是

• kmov r,k(端口 0) / pext(端口 1) / kmov k,r(端口 5) = 3 uops，每个执行端口 1 个。（包括端口 1，其矢量 ALU 在 512 位微指令运行时关闭）。kmov/kmov 往返在 SKX 上有 4 个周期延迟，并且pext是 3 个周期延迟，总共有 7 个周期延迟。

• vpcompressd zmm{k}{z}, z(2 p5) / vpmovd2m(端口 0) = 3 uops，两个用于端口 5。SKX / ICL 上vpmovd2m有3 个周期延迟，并且vpcompressd-zeroing-into-zmm 从 k 输入到 zmm 输出（SKX和 ICL）有 6 个周期。因此总共有 9 个周期延迟，并且微指令的端口分布更差。

此外，可提升部分通常更糟糕（vpternlogd比 更长并且竞争更少的端口mov r32, imm32），除非您的函数已经需要一个全 1 向量而不是全 1 寄存器。

结论：BMI2pext方法在任何方面都不差，而且在某些方面更好。（除非周围的代码在端口 1 微指令上严重瓶颈，如果使用 512 位向量，则不太可能，因为在这种情况下，它只能运行标量整数微指令，例如 3 周期 LEA、IMUL、LZCNT，当然还有简单的 1 周期整数的东西，如加/减/和/或）。