在我的 CUDA 应用程序中,我将数据从设备内存复制到共享内存。该数据也缓存在 L1 中吗?
我使用 perf 作为基本事件计数器。我正在开发一个遭受数据缓存存储未命中的程序。其中比例高达80%。
我知道缓存原则上是如何工作的。它会在各种未命中情况下从内存加载,并在需要时从缓存中删除数据。我不明白的是:存储未命中和加载未命中之间有什么区别。它与加载和存储有何不同。你怎么能储存错过呢?
我无法理解多级缓存中缓存包含属性的概念。根据我的理解,如果我们有 2 级缓存,L1 和 L2,那么 L1 的内容必须是 L2 的子集。这意味着 L2 必须至少与 L1 一样大。此外,当 L1 中的一个块被修改时,我们必须在 L2 和内存两个地方进行更新。这些概念正确吗?
是否涉及寄存器或与高速缓存相关?
我的问题的一个说明性示例可能足够简单,我将鼠标移动到当前正在输入的屏幕上。我不点击任何东西,我只是将箭头从左到右上下移动。CPU 如何处理我的鼠标相对于显示器显示的位置变化,这似乎是瞬时的?
编辑:我知道这更多是由操作系统处理的,因为鼠标是外部设备,而 CPU 只是计算值并执行逻辑。鼠标移动,在每个时钟信号上,操作系统都会收到一个中断并进行适当的处理。
我发现很难理解局部和全局未命中率之间的差异以及如何计算内存访问的平均时间,我只想举一个我试图解决的问题的例子。如果有人能告诉我我是否在正确的轨道上,或者我是否错了我错过的东西,我将不胜感激。
考虑以下多级缓存层次结构及其寻道时间和未命中率:
在这种情况下,给出的寻道时间是指检查请求的数据在当前层次结构上是否可用,并将数据传输到上层(或 CPU)所需的总时间。这和命中时间一样吧?给出的未命中率是本地的。正如我所理解的,一个级别的未命中率需要乘以所有先前级别的未命中率才能对该级别进行正确处理。
假设我们有 1000 次内存访问,在 L1 中,其中 20% 会丢失。因此,其中 20% 将进入 L2,其中 5% 将错过。因此,从 1000 次内存访问中,1000 * 20% * 5% 将到达那里。现在,据我所知......如果我错了,请纠正我,上述未命中率是局部的,但它们的乘积是每个相应级别的全局未命中率。这意味着 L2 的全局未命中率为 0,2*0,05 = 1%。
现在,我可能对这个计算非常错误,但这就是我的想法:
AMAT (Average Memory Access Time) = Hit time + Miss rate * Miss penalty
AMAT = 0.5 + 0.2 * (1.8 + 0.2 * 0.05 * (4.2 + 0.2 * 0.05 * 0.015 * 70))
Run Code Online (Sandbox Code Playgroud)
计算后我得到 AMAT = 0.868421 ns …
memory performance computer-science cpu-architecture cpu-cache
由于存储负载转发,某些负载指令能否在全局范围内不可见?换句话说,如果加载指令从存储缓冲区中获取其值,则它永远不必从高速缓存中读取。
通常说来,当从L1D缓存读取负载时,该负载在全局范围内可见,因此,未从L1D读取的负载应使其在全局上不可见。
我想知道ARM Cortex-M4内部是否有缓存。
我在技术参考手册中没有找到任何线索,但这是官方的还是隐藏的?我知道有些微控制器有缓存,但它位于总线和 RAM 之间,而不是内核内部。
你知道有什么文件可以澄清这一点吗?
我问过一个类似的问题:较低级别的缓存是否可以具有更高的关联性并且仍然包含包含?
假设我们有 2 级缓存。(L1离CPU最近(内部/低级),L2在CPU之外,离主存最近)L1缓存可以写回吗?
我的尝试)
我认为我们只能通过缓存写入,而不能在 L1 中使用回写缓存。如果一个块在 L1 缓存中被替换,那么它必须被写回 L2 和主内存以保持包含。因此它必须被写透而不是写回。
所有这些疑问都来自以下考试问题。:P
问题)为了包含在多级缓存层次结构中的两个缓存级别 L1 和 L2 之间,以下哪些是必要的?
I) L1 必须是直写缓存
II) L2 必须是直写缓存
III) L2 的关联性必须大于 L1
IV) L2 缓存必须至少与 L1 缓存一样大A) 仅 IV
B)仅I 和 IV
C)仅I、II 和 IV
D) I、II、III 和 IV
根据我的理解,答案必须是选项(B)
所以我试图学习计算机的各种组件的性能指标,如 L1 缓存、L2 缓存、主内存、以太网、磁盘等,如下所示:
Latency Comparison Numbers
--------------------------
L1 cache **reference** 0.5 ns
Branch mispredict 5 ns
L2 cache **reference** 7 ns 14x L1 cache
Mutex lock/unlock 25 ns
Main memory **reference** 100 ns 20x L2 cache, 200x L1 cache
Compress 1K bytes with Zippy 10,000 ns 10 us
Send 1 KB bytes over 1 Gbps network 10,000 ns 10 us
Read 4 KB randomly from SSD* 150,000 ns 150 us ~1GB/sec SSD
Read 1 MB sequentially from memory 250,000 …Run Code Online (Sandbox Code Playgroud) 考虑以下证明错误共享存在的示例:
\n\nusing type = std::atomic<std::int64_t>;\n\nstruct alignas(128) shared_t\n{\n type a;\n type b;\n} sh;\n\nstruct not_shared_t\n{\n alignas(128) type a;\n alignas(128) type b;\n} not_sh;\n\nRun Code Online (Sandbox Code Playgroud)\n\n一个线程a以 1 为步长递增,另一个线程以 1 为步长递增b。增量编译为lock xaddMSVC,即使结果未使用。
a对于和分开的结构b,几秒钟内累积的值大约是 的not_shared_t十倍shared_t。
到目前为止的预期结果:单独的缓存行在 L1d 缓存中保持热状态,增加lock xadd吞吐量瓶颈,错误共享是缓存行乒乓球的性能灾难。(编者注:更高版本的 MSVClock inc在启用优化时使用。这可能会扩大竞争与非竞争之间的差距。)
现在我using type = std::atomic<std::int64_t>;用普通的替换std::int64_t
(非原子增量编译为inc QWORD PTR [rcx]。循环中的原子加载恰好阻止编译器将计数器保留在寄存器中,直到循环退出。)
达到的计数not_shared_t仍大于 的计数shared_t,但现在少于两倍。 …