为什么cuda中二级缓存命中率约为93%，但二级缓存利用率却很低？

Question

我正在使用 cuda 进行实验。

我认为如果二级缓存命中率高，性能就会提高。

然而，从nvprof来看，尽管L2缓存命中率约为93%，但L2缓存利用率较低。

为什么会出现这种情况？有没有例子可以实现这一点？

Answer 1

它们是不同的东西。您可能很少在 L2 缓存中查找数据，但当您这样做时，会发现 L2 几乎总是包含您要查找的数据。

事实上，这是一个很可能结合在一起的组合，因为低利用率意味着有用的数据不太可能从缓存中逐出。