标签: generative-adversarial-network

我试图找出如何使用Generative Adversarial Networks的数据集标签信息.我试图使用可在此处找到的条件GAN的以下实现.我的数据集包含两个不同的图像域(真实对象和草图),具有公共类信息(椅子,树,橙等).我选择了这种实现,它只将两个不同的域视为对应的不同"类"(列车样本X对应于真实图像,而目标样本y对应于草图图像).

有没有办法修改我的代码并考虑我整个架构中的类信息(椅子,树等)？我希望我的鉴别器能够预测我生成的图像来自生成器是否属于特定类,而不仅仅是它们是否真实.实际上,在当前架构中,系统学会在所有情况下创建类似的草图.

更新:鉴别器返回一个大小的张量1x7x7然后两者y_true并y_pred在计算损失之前通过展平层:

def discriminator_loss(y_true, y_pred):
     BATCH_SIZE=100
     return K.mean(K.binary_crossentropy(K.flatten(y_pred), K.concatenate([K.ones_like(K.flatten(y_pred[:BATCH_SIZE,:,:,:])),K.zeros_like(K.flatten(y_pred[:BATCH_SIZE,:,:,:])) ]) ), axis=-1)

以及鉴别器对发电机的损失功能:

def discriminator_on_generator_loss(y_true,y_pred):
     BATCH_SIZE=100
     return K.mean(K.binary_crossentropy(K.flatten(y_pred), K.ones_like(K.flatten(y_pred))), axis=-1)

此外,我对输出1层的鉴别器模型的修改:

model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
#model.add(Activation('sigmoid'))

现在鉴别器输出1层.如何相应修改上述损失函数？我应该有7而不是1,n_classes = 6用于预测真实和假对的+一类吗？

最近我读到一篇论文，他们提到了训练 GAN 时的这两个问题。我知道模式崩溃，即生成器产生有限种类的样本，但是我没有找到关于模式下降的很好的解释。

有人有好的答案吗？

论文内容如下：生成对抗网络评估指标的实证研究

我正在使用从此处（本文为纸）创建GAN的代码。我正在尝试将其应用于新领域，从其在MNIST上的应用切换到3D脑MRI图像。我的问题是GAN本身的定义。

例如，他们用于定义生成模型的代码（采用z_dim尺寸的噪声并从MNIST分布生成图像，因此为28x28）就是这样，我的评论基于我的看法：

def generate(self, z):
    # start with noise in compact space
    assert z.shape[1] == self.z_dim

    # Fully connected layer that for some reason expands to latent * 64
    output = tflib.ops.linear.Linear('Generator.Input', self.z_dim,
                                     self.latent_dim * 64, z)
    output = tf.nn.relu(output)
    # Reshape the latent dimension into 4x4 MNIST
    output = tf.reshape(output, [-1, self.latent_dim * 4, 4, 4])

    # Reduce the latent dimension to get 8x8 MNIST
    output = tflib.ops.deconv2d.Deconv2D('Generator.2', self.latent_dim * 4,
                                         self.latent_dim * 2, 5, …

我正在尝试保存 GAN 模型，以便稍后继续训练。

基本上，我在训练循环后分别保存鉴别器和生成器，使用以下命令：

discriminator.save("discriminatorTrained.h5")
generator.save("generatorTrained.h5")

然后，当我想继续训练时，我会像这样加载它们：

# Load Discriminator and Generator
discriminator = load_model('discriminatorTrained.h5')
generator = load_model('generatorTrained.h5')
discriminator.trainable = False

然后我用加载的鉴别器和生成器制作一个新的 GAN，如下所示：

#Make new GAN from trained discriminator and generator
gan_input = Input(shape=(noise_dim,))
fake_image = generator(gan_input)
gan_output = discriminator(fake_image)
gan = Model(gan_input, gan_output)
gan.compile(loss='binary_crossentropy', optimizer=optimizer)

然后运行与我从一开始就执行的相同的训练脚本。

我没有收到任何错误消息，而且它似乎可以工作，但是，如果比较结果（例如保存和加载并继续训练 10 次），生成器产生的结果似乎不如我只运行一个训练 10 个 epoch。

所以我怀疑，我可能在这里遗漏了一些东西，在这个过程中是否丢失了一些训练信息，也许是在 GAN 模型的重建过程中？

我正在尝试创建 GAN 模型。这是我的 discriminator.py

import torch.nn as nn
class D(nn.Module):
    feature_maps = 64
    kernel_size = 4
    stride = 2
    padding = 1
    bias = False
    inplace = True

    def __init__(self):
        super(D, self).__init__()
        self.main = nn.Sequential(
            nn.Conv2d(4, self.feature_maps, self.kernel_size, self.stride, self.padding, bias=self.bias),
            nn.LeakyReLU(0.2, inplace=self.inplace),
            nn.Conv2d(self.feature_maps, self.feature_maps * 2, self.kernel_size, self.stride, self.padding,
                      bias=self.bias),
            nn.BatchNorm2d(self.feature_maps * 2), nn.LeakyReLU(0.2, inplace=self.inplace),
            nn.Conv2d(self.feature_maps * 2, self.feature_maps * (2 * 2), self.kernel_size, self.stride, self.padding,
                      bias=self.bias),
            nn.BatchNorm2d(self.feature_maps * (2 * 2)), nn.LeakyReLU(0.2, inplace=self.inplace),
            nn.Conv2d(self.feature_maps * (2 * 2), …

我刚刚开始讨论这些主题。据我所知，风格迁移从一个图像中获取内容，从另一个图像中获取风格，以第二个的风格生成或重新创建第一个，而GAN基于训练集生成全新的图像。

但是我看到很多地方两者可以互换使用，比如这里的这篇博客和其他使用 GAN 实现风格迁移的地方，比如这里的这篇论文

GAN 和样式迁移是两种不同的东西，还是 GAN 是实现样式迁移的方法，还是它们都是做同一件事的不同东西？两者之间的界限究竟在哪里？

我目前正在用（大约）Wasserstein 损失在 keras 中训练 WGAN，如下所示：

def wasserstein_loss(y_true, y_pred):
    return K.mean(y_true * y_pred)

但是，这种损失显然可能是负数，这对我来说很奇怪。

我对 WGAN 进行了 200 个 epoch 的训练，得到了下面的评论家 Wasserstein 损失训练曲线。

上述损失计算为

d_loss_valid = critic.train_on_batch(real, np.ones((batch_size, 1)))
d_loss_fake = critic.train_on_batch(fake, -np.ones((batch_size, 1)))
d_loss, _ = 0.5*np.add(d_loss_valid, d_loss_fake)

结果生成的样本质量很好，所以我认为我正确地训练了 WGAN。但是我仍然无法理解为什么 Wasserstein 损失可能为负并且模型仍然有效。根据原始WGAN论文，Wasserstein loss可以作为GAN的性能指标，那么我们应该如何解释呢？我有什么误解吗？