Keras神经网络为每个输入输出相同的结果

Cha*_*uez 9 python machine-learning neural-network keras

我试图实现一个前馈神经网络.

这是结构:输入层:8个神经元,隐藏层:8个神经元和输出层:8个神经元.

输入数据是8位的矢量(输入层的每个神经元为1位).神经网络的输出也是8位的向量.所以总共数据集有256个例子.

示例:如果给定x = [0.0,1.0,0.0,0.0,1.0,1.0,0.0,1.0]

输出必须是y = [1.0,0.0,0.0,0.0,0.0,1.0,0.0,1.0]

这是实施:

from keras.models import Sequential
from keras.layers import Dense
import numpy as np
import random
from math import ceil

#Dimension of layers
dim = 8

#Generate dataset
X = []
for i in range(0,2**dim):
    n = [float(x) for x in bin(i)[2:]]
    X.append([0.]*(dim-len(n))+n)
y = X[:]
random.shuffle(y)
X = np.array(X)
y = np.array(y)

# create model
model = Sequential()
model.add(Dense(dim, input_dim=dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))

# Compile model
model.compile(loss='mse', optimizer='SGD', metrics=['accuracy'])
# Fit the model
model.fit(X, y, nb_epoch=1000, batch_size=50, verbose=0)
# evaluate the model
scores = model.evaluate(X, y)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
output = model.predict(X)

#Make the output binary
for i in range(0, output[:,0].size):
    for j in range(0, output[0].size):
        if output[i][j] > 0.5 or output[i][j] == 0.5:
            output[i][j] = 1
        else:
            output[i][j] = 0
print(output)
Run Code Online (Sandbox Code Playgroud)

这是我输出的内容:

acc: 50.39%
[[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
..., 
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]
[ 1.  0.  0. ...,  0.  1.  1.]]
Run Code Online (Sandbox Code Playgroud)

似乎所有输出都具有相同的值.所以我不知道配置有什么问题.我试过这个无法训练keras中的神经网络 - stackoverflow建议删除输出层的激活函数,但是当我运行它时,我得到具有此值的所有输出向量:

[0.1.1. ...,1.1.1.]

有关如何使其工作的任何见解?

小智 11

我遇到了同样的问题.

我建议你降低SGD的学习率.在我的情况下,我使用了Adam优化器,lr = 0.001,但是改为0.0001解决了这个问题.

SGD的默认参数:

keras.optimizers.SGD(lr = 0.01,动量= 0.0,衰减= 0.0,nesterov =假)


gin*_*nge 7

输出与多标签分类相似,所以我建议:

  1. 将损失函数更改为binary_crossentropy
  2. 将最后一个激活层保留为sigmoid并更改其他激活层 - relu可能是一个不错的选择.
  3. 为您的"适合"调用添加验证并增加详细程度 - 这将使您了解您的网络在整个时代中的变化情况,特别是当它超过/不足时
  4. 添加深度到网络,直到你适合
  5. 将正则化添加到您的网络,直到您不适合
  6. 重复4 + 5