为什么 CPU 不能在一个简单的循环中实现相当于 Ghz 的 FLOP 性能？

Question

我想知道为什么像这样的简单循环无法达到我的 CPU 时钟速度（4,2Ghz）：

float sum = 0;    
for (int i = 0; i < 1000000; i+=1) {
    sum = sum * 1 + 1;
}

凭直觉，我希望在不到 1 毫秒（例如 0,238 毫秒）的时间内实现这一目标，每秒进行 42 亿次迭代。但我得到的时间约为 3 毫秒，即每秒约 3.33 亿次迭代。

我假设做数学运算需要 2 个周期，一个用于乘法，另一个用于求和。假设我正在执行 6.66 亿次操作……看起来仍然很慢。然后我假设循环比较需要一个周期，循环计数器需要另一个周期......

所以我创建了以下代码来删除循环......

void listOfSums() {
    float internalSum = 0;
    internalSum = internalSum * 1 + 1;
    internalSum = internalSum * 1 + 1;
    internalSum = internalSum * 1 + 1;
    internalSum = internalSum * 1 + 1;
    // Repeated 100k times

令我惊讶的是，速度变慢了，现在需要 10 毫秒。导致每秒只有 1 亿次迭代。

考虑到现代 CPU 使用流水线、乱序执行、分支预测......似乎我无法通过在循环内执行两个浮点运算来饱和 4,2Ghz 速度。

那么是否可以安全地假设 4.2Ghz 只能通过 SIMD 来实现，以使 CPU 内核的任务完全饱和，并且执行一个简单的循环将获得大约 1/6 Ghz 浮点性能？我尝试过不同的处理器，1/6 似乎在大概范围内（英特尔、iPhone、iPad）。

到底瓶颈是什么？CPU解析指令的能力？只有 SIMD 才能超越哪个？

Answer 1

通常，当前处理器可以在每个处理器周期中发出一个或多个浮点加法，并且可以在每个周期中发出一个或多个浮点乘法。通常浮点加法或乘法需要四个周期才能完成。这意味着，一旦开始四次浮点加法\xe2\x80\x94，一次在周期n中，一次在周期n +1 中，一次在周期n +2 中，一次在周期n +3\xe2\x80\x94 中，处理器可能会在每个周期\xe2\x80\x94 中完成一次加法，其中一个在周期n +4 中完成（而新的加法也在周期n +4 中开始），一个在n +5 中完成，依此类推。

\n

然而，为了开始浮点运算，该运算的输入必须准备好。一旦在第 nsum * 1周期开始，其结果可能要到第 n +4 周期才准备好。所以 的加法将从第 n +4周期开始。并且该加法直到循环n +8才会完成。然后使用该结果的下一次迭代中的乘法直到循环n +8 才能开始。因此，根据所示的标称循环结构，每四个周期将完成一次浮点加法或乘法。1

\n

如果你尝试：

\n

float sum0 = 0;\nfloat sum1 = 0;\nfloat sum2 = 0;\nfloat sum3 = 0;    \nfor (int i = 0; i < 1000000; i += 1)\n{\n    sum0 = sum0 * 1 + 1;\n    sum1 = sum1 * 1 + 1;\n    sum2 = sum2 * 1 + 1;\n    sum3 = sum3 * 1 + 1;\n}\n

\n

那么您可能会发现同时完成的浮点运算数量是原来的四倍。

\n

这些详细信息因处理器型号而异。有些处理器可能在所有输入准备好之前开始处理某些指令，有些处理器可能会在将结果传递到常规结果寄存器之前将结果直接提前转发到其他指令执行单元，等等，因此获得的性能是巨大的取决于处理器特性。

\n

就该listOfSums示例而言，代码严重超出了L1缓存的大小，因此处理器必须在执行之前从内存中加载每条指令，这大大降低了性能。

\n