了解神经网络的内存使用情况

cod*_*box 6 machine-learning neural-network conv-neural-network

我试图了解如何执行此处显示的convnet内存使用量计算(向下滚动到VGGNet详细信息部分).

计算输出以查看VGGNet网络使用的内存量:

TOTAL memory: 24M * 4 bytes ~= 93MB
Run Code Online (Sandbox Code Playgroud)

但是memory:,将列表中每个层的所有值相加只能得到大约15M*4个字节,而且我不确定此总数中的其余内存来自何处.

Meh*_*ban 0

您忘记为 FC 添加内存:

FC:[1x1x4096]内存:4096 权重:7*7*512*4096 = 102,760,448

FC:[1x1x4096] 内存:4096 权重:4096*4096 = 16,777,216

FC:[1x1x1000]内存:1000个权重:4096*1000 = 4,096,000

我认为这是你计算中丢失的 9M。