将模型从 keras h5 转换为 pytorch - 全连接层不匹配

Question

我已使用 mmdnn 将两个模型（vgg16 和 resnet50）从带有 TensorFlow 后端（来自 model.save 文件）的 Keras 转换为 PyTorch。这是通过以下方式完成的：

mmconvert -sf keras -iw vgg.h5 -df pytorch -om keras_to_torch.pt

A = imp.load_source('MainModel','/weights/keras_to_torch.py')
model = torch.load('/weights/keras_to_torch.pt')

对同一数据集的预测给了我一组不同的结果，因此我进一步调查。

我可以看到所有卷积层的权重都是相同的（转置后），但是最后全连接层的权重却不同。

这应该是有原因的吗？据我了解它们应该是等价的

Answer 1

问题一定出在您定义 keras 模型的方式上，因为我无法使用 MMdnn 包提供的 h5 文件来复制该问题。如果您想使用 resnet50 和 VGG19 模型，您可以获得正确的权重，如下所示：

• 按照文档 下载 resnet50 的 keras 模型中指定的方式启动 MMdnn 容器

mmdownload -f keras -n resnet50 -o ./

• 转换为pytorch模型

mmconvert -sf keras -iw ./imagenet_resnet50.h5 -df pytorch -om keras_to_torch.pt

然后从 docker 容器中 提取生成的 numpy 文件（keras_to_torch.pt并 进行比较）。keras_to_torch.py imagenet_resnet50.h5

在 Python 中加载 keras 模型

import keras
model = load_model('imagenet_resnet50.h5')

和使用的火炬模型

import imp
import torch
torch_weights = # path_to_the_numpy_weights
A = imp.load_source('MainModel','keras_to_torch.py')
weights_torch = A.load_weights(torch_weights)
model_torch = A.KitModel(torch_weights)

我还必须allow_pickle = True在文件load_weights(weight_file)开头的函数中进行设置keras_to_torch.py。不幸的是，该torch.load('/weights/keras_to_torch.pt')变体给我带来了错误。

打印最后一个密集连接层的权重

# keras model
model.layers[-1].weights

# Output:
#tensor([[-0.0149,  0.0113, -0.0507,  ..., -0.0218, -0.0776,  0.0102],
#        [-0.0029,  0.0032,  0.0195,  ...,  0.0362,  0.0035, -0.0332],
#        [-0.0175,  0.0081,  0.0085,  ..., -0.0302,  0.0549, -0.0251],
#        ...,
#        [ 0.0253,  0.0630,  0.0204,  ..., -0.0051, -0.0354, -0.0131],
#        [-0.0062, -0.0162, -0.0122,  ...,  0.0138,  0.0409, -0.0186],
#        [-0.0267,  0.0131, -0.0185,  ...,  0.0630,  0.0256, -0.0069]])

# torch model (make sure to transpose)
model_torch.fc1000.weight.data.T

# Output:
#[<tf.Variable 'fc1000/kernel:0' shape=(2048, 1000) dtype=float32, numpy=
# array([[-0.01490746,  0.0113374 , -0.05073728, ..., -0.02179668,
#         -0.07764222,  0.01018347],
#        [-0.00294467,  0.00319835,  0.01953556, ...,  0.03623696,
#          0.00350259, -0.03321117],
#        [-0.01751374,  0.00807406,  0.00851311, ..., -0.03024036,
#          0.05494978, -0.02511911],
#        ...,
#        [ 0.025289  ,  0.0630148 ,  0.02041481, ..., -0.00508354,
#         -0.03542514, -0.01306196],
#        [-0.00623157, -0.01624131, -0.01221174, ...,  0.01376359,
#          0.04087579, -0.0185826 ],
#        [-0.02668471,  0.0130982 , -0.01847764, ...,  0.06304929
#...

keras 和 torch 模型的权重根据需要一致（最多 4 位数字左右）。只要您不想在将 keras 中的 VGG 和 ResNet 权重转换为 Pytorch 之前更新它们，此解决方案就可以使用。

如果您确实需要在转换之前更新模型权重，您应该共享用于创建 Keras 模型的代码。您可以进一步检查imagenet_resnet50.h5使用mmdownload model 获得的结果与在 keras 中使用 model.save 保存的结果有何不同，并纠正任何差异。