CNN与keras,准确性没有提高

Question

我最近开始使用机器学习,我正在学习CNN,我计划在这个Keras博客和这个github repo的帮助下编写一个Car Damage严重性检测应用程序.

这是汽车数据集的样子:

F:\WORKSPACE\ML\CAR_DAMAGE_DETECTOR\DATASET\DATA3A
????training (979 Images for all 3 categories of training set)
?   ????01-minor
?   ????02-moderate
?   ????03-severe
????validation (171 Images for all 3 categories of validation set)
    ????01-minor
    ????02-moderate
    ????03-severe

以下代码只给我32%的准确性.

from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import backend as K


# dimensions of our images.
img_width, img_height = 150, 150

train_data_dir = 'dataset/data3a/training'
validation_data_dir = 'dataset/data3a/validation'
nb_train_samples = 979
nb_validation_samples = 171
epochs = 10
batch_size = 16

if K.image_data_format() == 'channels_first':
    input_shape = (3, img_width, img_height)
else:
    input_shape = (img_width, img_height, 3)

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

# this is the augmentation configuration we will use for training
train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True)

# this is the augmentation configuration we will use for testing:
# only rescaling
test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')

validation_generator = test_datagen.flow_from_directory(
    validation_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')
model.fit_generator(
    train_generator,
    steps_per_epoch=nb_train_samples // batch_size,
    epochs=epochs,
    validation_data=validation_generator,
    validation_steps=nb_validation_samples // batch_size)

model.save_weights('first_try.h5')

我试过了:

• 通过将时期增加到10,20,50.
• 通过增加数据集中的图像(所有验证图像添加到训练集).
• 通过更新Conv2D图层中的过滤器大小
• 尝试添加几个Conv2D层,MaxPooling层
• 还具有不同的优化,如试过adam,Sgd等
• 也尝试更新过滤器步幅(1,1) and (5,5)而不是(3,3)
• 还通过更新变更图像尺寸,以尝试(256, 256),(64, 64)从(150, 150)

但是没有运气,每次我的准确度达到32%或更低,但不会更高.知道我错过了什么.

正如我们在github repo中看到的那样,它为同一数据集提供了72%的准确率(Training -979,Validation -171).为什么它不适合我.

我在我的机器上的github链接上尝试了他的代码但是在训练数据集时它被挂起(我等了8个多小时),所以改变了方法,但到目前为止仍然没有运气.

下面是引擎收录我的训练时期的含输出.

Answer 1

问题是由输出类​​的数量(三)与您选择的最终层激活(sigmoid)和损失函数(二进制交叉熵)之间的不匹配引起的.

sigmoid函数将实数值"压缩"为[0,1]之间的值,但它仅针对二进制(两类)问题而设计.对于多个类,您需要使用softmax函数之类的东西.Softmax是sigmoid的一般化版本(当你有两个类时,这两个应该是等价的).

损失值也需要更新为可以处理多个类的损失值 - 在这种情况下,分类交叉熵将起作用.

在代码方面,如果您将模型定义和编译代码修改为下面的版本,它应该可以工作.

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

最后,您需要class_mode='categorical'在数据生成器中指定.这将确保输出目标被格式化为分类3列矩阵,其中列中的一个对应于正确的值并且在其他地方为零.categorical_cross_entropy损失函数需要这种响应格式.

Answer 2

小修正：

model.add(Dense(1))

应该：

model.add(Dense(3))

它必须符合输出中的类数。