我正在尝试开发一种图像去噪模型。我一直在阅读如何计算神经网络的内存使用情况,标准方法似乎是:
params = depth_n x (kernel_width x kernel_height) x depth_n-1 + depth
Run Code Online (Sandbox Code Playgroud)
通过将网络中的所有参数加在一起,我最终得到1,038,097,大约是4.2MB。自Keras最终获得1,038,497个参数以来,我似乎在最后一层进行了一些错误的计算。不过,这是一个很小的差异。4.2MB只是参数,我看到某个地方应该乘以3以包含反向传播和其他所需的计算。则大约为13MB。
我大约有11 GB的GPU内存可以使用,但是此模型已经用尽。所有额外需要的内存从何而来?我想念什么?我知道此帖子可能被标记为重复,但其他帖子似乎都没有抓住我所询问的话题。
我的模特:
def network(self):
weights = RandomUniform(minval=-0.05, maxval=0.05, seed=None)
input_img = Input(shape=(self.img_rows, self.img_cols, self.channels))
conv1 = Conv2D(1024, (3,3), activation='tanh', kernel_initializer=weights,
padding='same', use_bias=True)(input_img)
conv2 = Conv2D(64, (3,3), activation='tanh', kernel_initializer=weights,
padding='same', use_bias=True)(conv1)
conv3 = Conv2D(64, (3,3), activation='tanh', kernel_initializer=weights,
padding='same', use_bias=True)(conv2)
conv4 = Conv2D(64, (3,3), activation='relu', kernel_initializer=weights,
padding='same', use_bias=True)(conv3)
conv5 = Conv2D(64, (7,7), activation='relu', kernel_initializer=weights,
padding='same', use_bias=True)(conv4)
conv6 = Conv2D(64, (5,5), …Run Code Online (Sandbox Code Playgroud)