我们是否需要在 C++ 中进行矢量化，或者 for 循环是否已经足够快？

Question

在 Matlab 中，我们使用矢量化来加速代码。例如，这里有两种执行相同计算的方法：

% Loop
tic
i = 0;
for t = 0:.01:1e5
    i = i + 1;
    y(i) = sin(t);
end
toc

% Vectorization
tic
t = 0:.01:1e5;
y = sin(t);
toc

结果是：

Elapsed time is 1.278207 seconds. % For loop
Elapsed time is 0.099234 seconds. % Vectorization

所以矢量化代码快了近 13 倍。实际上，如果我们再次运行它，我们会得到：

Elapsed time is 0.200800 seconds. % For loop
Elapsed time is 0.103183 seconds. % Vectorization

向量化代码的速度现在只有 2 倍，而不是 13 倍。所以看起来我们在第一次运行代码时获得了巨大的加速，但是在以后的运行中加速没有那么大，因为 Matlab 似乎知道 for 循环没有改变并且正在对其进行优化。在任何情况下，矢量化代码仍然是 for 循环代码的两倍。

现在我已经开始使用 C++，我想知道这种语言中的矢量化。我们需要在 C++ 中对 for 循环进行矢量化还是它们已经足够快了？也许编译器会自动矢量化它们？实际上，我不知道 Matlab 类型向量化是否是 C++ 中的一个概念，也许它只是 Matlab 需要的，因为这是一种解释型语言？您将如何用 C++ 编写上述函数以使其尽可能高效？

Answer 1

我们需要在 C++ 中进行矢量化吗

不一定总是需要矢量化，但它可以使某些程序更快。

C++ 编译器支持自动矢量化，但如果您需要矢量化，那么您可能无法依赖这种优化，因为并非每个循环都可以自动矢量化。

[循环] 已经足够快了吗？

取决于循环、目标 CPU、编译器及其选项，而且至关重要的是：它需要多快。

您可以做一些事情来潜在地在标准 C++ 中实现矢量化：

• 启用执行自动矢量化的编译器优化。（请参阅您的编译器手册）
• 指定在其指令集中具有向量操作的目标 CPU。（请参阅您的编译器手册）
• 使用标准算法std::parallel_unsequenced_policy或std::unsequenced_policy。
• 确保正在操作的数据与 SIMD 指令充分对齐。您可以使用alignas. 请参阅目标 CPU 的手册以了解您需要的对齐方式。
• 通过使用链接时间优化，确保优化器尽可能多地了解。
• 部分展开您的循环。这样做的限制是您对并行化数量进行了硬编码：

for (int i = 0; i < count; i += 4) {
    operation(i + 0);
    operation(i + 1);
    operation(i + 2);
    operation(i + 3);
}

在标准的、可移植的 C++ 之外，还有具体的实现方式：

• 一些编译器提供语言扩展来编写明确的矢量化程序。这可以跨不同的 CPU 移植，但不能移植到未实现扩展的编译器。

using v4si = int __attribute__ ((vector_size (16)));
v4si a, b, c;
a = b + 1;    /* a = b + {1,1,1,1}; */
a = 2 * b;    /* a = {2,2,2,2} * b; */

• 一些编译器提供“内置”函数来调用特定的 CPU 指令，这些指令可用于调用 SIMD 向量指令。使用这些在不兼容的 CPU 之间是不可移植的。
• 一些编译器支持OpenMP API，它具有#pragma omp simd.