Fab*_*bio 3 c++ x86 sse simd avx
有类似标题的问题,但我的问题涉及其他地方没有涉及的一个非常具体的用例.
我有4个__128d寄存器(x0,x1,x2,x3),我想在5 __256d寄存器(y0,y1,y2,y3,y4)中重新组合它们的内容,如下所示,准备其他计算:
on entry:
x0 contains {a0, a1}
x1 contains {a2, a3}
x2 contains {a4, a5}
x3 contains {a6, a7}
on exit:
y0 contains {a0, a1, a2, a3}
y1 contains {a1, a2, a3, a4}
y2 contains {a2, a3, a4, a5}
y3 contains {a3, a4, a5, a6}
y4 contains {a4, a5, a6, a7}
我在下面的实现很慢.有没有更好的办法？
y0 = _mm256_set_m128d(x1, x0);
__m128d lo = _mm_shuffle_pd(x0, x1, 1);
__m128d hi = _mm_shuffle_pd(x1, x2, 1);
y1 = _mm256_set_m128d(hi, lo);
y2 = _mm256_set_m128d(x2, x1);
lo = hi;
hi = _mm_shuffle_pd(x2, x3, 1);
y3 = _mm256_set_m128d(hi, lo);
y4 = _mm256_set_m128d(x3, x2);
通过寄存器中的输入,您可以使用5个随机指令执行此操作:
vinsertf128通过连接2 xmm寄存器来创建y0,y2和y4.vshufpd在这些结果之间创建y1和y3的2x (车道内改组).请注意,y0和y2的低通道包含a1和a2,即y1的低通道所需的元素.同样的洗牌也适用于高速公路.
#include <immintrin.h>
void merge(__m128d x0, __m128d x1, __m128d x2, __m128d x3,
__m256d *__restrict y0, __m256d *__restrict y1,
__m256d *__restrict y2, __m256d *__restrict y3, __m256d *__restrict y4)
{
*y0 = _mm256_set_m128d(x1, x0);
*y2 = _mm256_set_m128d(x2, x1);
*y4 = _mm256_set_m128d(x3, x2);
// take the high element from the first vector, low element from the 2nd.
*y1 = _mm256_shuffle_pd(*y0, *y2, 0b0101);
*y3 = _mm256_shuffle_pd(*y2, *y4, 0b0101);
}
编译非常好(与-O3 -march=haswellGodbolt 上的gcc和clang):
merge(double __vector(2), double __vector(2), double __vector(2), double __vector(2), double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*):
vinsertf128 ymm0, ymm0, xmm1, 0x1
vinsertf128 ymm3, ymm2, xmm3, 0x1
vinsertf128 ymm1, ymm1, xmm2, 0x1
# vmovapd YMMWORD PTR [rdi], ymm0
vshufpd ymm0, ymm0, ymm1, 5
# vmovapd YMMWORD PTR [rdx], ymm1
vshufpd ymm1, ymm1, ymm3, 5
# vmovapd YMMWORD PTR [r8], ymm3
# vmovapd YMMWORD PTR [rsi], ymm0
# vmovapd YMMWORD PTR [rcx], ymm1
# vzeroupper
# ret
我评论了商店和内联中会消失的东西,所以我们确实只有5个随机指令,而不是你问题中代码的9个随机指令.(还包括在Godbolt编译器资源管理器链接中).
这在AMD上是非常好的,其中vinsertf128超便宜(因为256位寄存器实现为2x 128位半,因此它只需128位副本而无需特殊的shuffle端口.)256位通道混洗AMD的速度很慢,但是内置的256位shuffle vshufpd只有2 uops.
在英特尔它是相当不错的,但主流的带有AVX的英特尔CPU在256位或FP shuffle中每个时钟的随机吞吐量只有1个.(Sandybridge和之前的整数128位shuffle有更多的吞吐量,但AVX2 CPU减少了额外的shuffle单位,但他们无论如何都没有帮助.)
因此,英特尔CPU根本无法利用指令级并行性,但总共只有5微秒,这很不错.这是可能的最小值,因为您需要5个结果.
但特别是如果周围的代码也在洗牌时出现瓶颈,那么值得考虑的是只有4个存储和5个重叠向量加载的存储/重载策略.或者,也许2倍vinsertf128来构建y0和y4,然后2个256位存储+ 3重叠的重载.这可能会让乱序exec开始依赖指令,只使用y0或者y4在为y1..3解析存储转发停顿时.
特别是如果你不太关心英特尔第一代Sandybridge,其中未对齐的256位向量负载效率较低.(注意,如果你正在使用GCC ,你需要编译gcc -mtune=haswell以关闭-mavx256-split-unaligned-load默认/ sandybridge调整.无论编译器如何,-march=native如果使二进制文件在你编译它的机器上运行是一个好主意,采取充分利用指令集和设置调整选项.)
但是如果来自前端的总uop吞吐量更多地是瓶颈所在,那么shuffle实现是最好的.
(见https://agner.org/optimize/而在其他性能链接的x86代码维基的更多性能优化.同时考虑去到什么预测现代超标量处理器的操作延迟,我怎么可以手工计算它们？,但实际上,Agner Fog的指南是一份更深入的指南,它解释了吞吐量与延迟的实际关系.)
我甚至不需要保存,因为数据也已经在连续的内存中可用.
然后简单地加载5个重叠负载几乎可以肯定是你能做的最有效的事情.
Haswell可以从L1d每个时钟执行2次加载,或者当任何跨越缓存行边界时更少.因此,如果您可以将块对齐64,那么完全没有缓存行分割就非常有效. 缓存丢失很慢,但是从L1d缓存重新加载热数据非常便宜,而具有AVX支持的现代CPU通常具有高效的非对齐负载支持.
(就像我之前说过的,如果使用gcc确保你用-march=haswell或者编译,或者-mtune=haswell不仅仅是-mavx为了避免使用gcc -mavx256-split-unaligned-load.)
4个负载+ 1 vshufpd(y0,y2)可能是平衡负载端口压力与ALU压力的好方法,具体取决于周围代码中的瓶颈.如果周围的代码在随机端口压力较低时,甚至3次加载+ 2次洗牌.
它们位于先前计算的寄存器中,需要加载它们.
如果先前的计算仍然在寄存器中有源数据,那么您可能首先完成256位加载,并且只使用它们的128位低半部分用于早期计算. (XMM寄存器是相应YMM寄存器的低128,读取它们不会干扰上面的通道,因此_mm256_castpd256_pd128编译为零asm指令.)
对y0,y2和y4执行256位加载,并将它们的低半部分用作x0,x1和x2.(稍后使用未对齐的加载或随机播放构造y1和y3).
只有x3不是你想要的256位向量的低128位.
理想情况下,当您从同一地址执行a _mm_loadu_pd和a 时,编译器已经注意到此优化_mm256_loadu_pd,但是您可能需要通过执行操作来手持它
__m256d y0 = _mm256_loadu_pd(base);
__m128d x0 = _mm256_castpd256_pd128(y0);
依此类推,提取ALU内在(_mm256_extractf128_pd)或128位负载x3,具体取决于周围的代码.如果它只需要一次,那么让它折叠成一个内存操作数,无论使用什么指令都可能是最好的.
潜在的缺点:在128位计算可以开始之前稍微延迟,或者如果256位负载是高速缓存线交叉而没有128位负载,则会有几个周期.但是如果您的数据块对齐了64个字节,则不会发生这种情况.