如何微调预训练的 GAN？

Question

我想使用我自己的图像对在线提供的预训练 GAN 进行微调。例如，在 ImageNet 上训练的 BigGAN 可以生成逼真的图像。但是，我不想在 ImageNet 中生成图像类。我想生成我自己的图像集的人工图像。如何微调预训练模型？它与微调其他神经网络（如 CNN 图像分类模型）相同吗？仅替换/重新训练最后几层就足够了吗？如果我能在 Tensorflow/Keras 代码中看到一些示例，那就太好了。非常感谢！

BigGAN https://tfhub.dev/deepmind/biggan-deep-256/1

Answer 1

有几种方法可以做到这一点：

1. 冻结鉴别器的下层，
2. 改变嵌入。

参考：

1. Mo S，Cho M，Shin J。冻结鉴别器：用于微调甘斯的简单基线。arXiv 预印本 arXiv：2002.10964。2020 年 2 月 25 日。https: //arxiv.org/pdf/2002.10964.pdf 代码： https: //github.com/sangwoomo/FreezeD
2. Li Q、Mai L、Alcorn MA、Nguyen A。一种通过微调类嵌入来改进和重新利用大型预训练 GAN 的经济有效的方法。2020年亚洲计算机视觉会议论文集。https://anhnguyen.me/project/biggan-am/ 代码： https: //github.com/qilimk/biggan-am