你能解释一下带有 BatchNormalization 的神经网络中的 Keras get_weights() 函数吗？

Question

当我在 Keras 中运行神经网络（没有 BatchNormalization）时，我理解 get_weights() 函数如何提供神经网络的权重和偏差。但是使用 BatchNorm 它会产生 4 个额外的参数，我假设 Gamma、Beta、Mean 和 Std。

当我保存这些值时，我试图手动复制一个简单的 NN，但无法让它们产生正确的输出。有谁知道这些值是如何工作的？

无批次规范

带批规范

Answer 1

我将举一个例子来解释 get_weights() 在简单的多层感知器 (MLP) 和带批归一化 (BN) 的 MLP 的情况下。

示例：假设我们正在处理 MNIST 数据集，并使用 2 层 MLP 架构（即 2 个隐藏层）。隐藏层 1 中的神经元数量为 392，隐藏层 2 中的神经元数量为 196。因此我们的 MLP 的最终架构将是 784 x 512 x 196 x 10

这里 784 是输入图像维度，10 是输出层维度

案例 1：没有批量归一化的 MLP => 让我的模型名称是使用 ReLU 激活函数的model_relu。现在在训练model_relu 之后，我正在使用 get_weights()，这将返回大小为 6 的列表，如下面的屏幕截图所示。

get_weights() 带简单 MLP 且不带 Batch Norm列表值如下：

• (784, 392): 隐藏层 1 的权重

• (392,)：与隐藏层1的权重相关的偏差

• (392, 196): 隐藏层 2 的权重

• (196,)：与隐藏层2的权重相关的偏差

• (196, 10)：输出层的权重

• (10,)：与输出层权重相关的偏差

案例 2：带批标准化的 MLP => 让我的模型名称是model_batch，它也使用 ReLU 激活函数和批标准化。现在在训练model_batch 之后我使用 get_weights()，这将返回一个大小为 14 的列表，如下面的屏幕截图所示。

get_weights() 和 Batch Norm 列表值如下：

• (784, 392): 隐藏层 1 的权重
• (392,)：与隐藏层1的权重相关的偏差

• (392,) (392,) (392,) (392,)：这四个参数分别是gamma、beta、mean和std。大小为 392 的 dev 值，每个值都与隐藏层 1 的批量归一化相关。

• (392, 196)：隐藏层2的权重

• (196,)：与隐藏层2的权重相关的偏差

• (196,) (196,) (196,) (196,)：这四个参数分别是gamma、beta、running mean和std。dev 大小为 196，每个都与隐藏层 2 的批量归一化相关。

• (196, 10)：输出层的权重

• (10,)：与输出层权重相关的偏差

因此，在 case2 中，如果您想获得隐藏层 1、隐藏层 2 和输出层的权重，python 代码可以是这样的：

wrights = model_batch.get_weights()      
hidden_layer1_wt = wrights[0].flatten().reshape(-1,1)     
hidden_layer2_wt = wrights[6].flatten().reshape(-1,1)     
output_layer_wt = wrights[12].flatten().reshape(-1,1)

希望这可以帮助！

参考：keras-BatchNormalization