Keras 模型提供测试准确度 1.0

Question

下面是预测第二天收盘上涨还是下跌的代码（上=1，下=0）

我所做的是创建一个数据框并仅使用 PriceChange（今天收盘 - 昨天收盘）来预测第二天价格上涨或下跌（第二天收盘 - 今天收盘）

所以数据框看起来像这样

df['PriceChange'] = (df['Close'] > df['Close'].shift(1)).astype(int)
df['Closeupnextday'] = (df['Close'].shift(-1) > df['Close']).astype(int)

        PriceChange  Closeupnextday
0             0               1
1             1               1
2             1               1
3             1               1
4             1               0
5             0               0
6             0               0
7             0               1

它不断给我 1.000 的准确度，公平地说，它应该只有 50+% 的准确度。我相信下面的代码有问题，但我找不到。

我应该补充一点，在 20/500 纪元之后，它不断给我 1.000 的准确度

任何建议请？

def load_data(stock, seq_len):
    amount_of_features = len(stock.columns)
    data = stock.as_matrix() #pd.DataFrame(stock)
    sequence_length = seq_len + 1
    result = []
    for index in range(len(data) - sequence_length):
        result.append(data[index: index + sequence_length])

    result = np.array(result)
    row = round(0.9 * result.shape[0])
    train = result[:int(row), :]
    x_train = train[:, :-1]
    y_train = train[:, -1][:,-1]
    x_test = result[int(row):, :-1]
    y_test = result[int(row):, -1][:,-1]

    x_train = np.reshape(x_train, (x_train.shape[0], x_train.shape[1], amount_of_features))
    x_test = np.reshape(x_test, (x_test.shape[0], x_test.shape[1], amount_of_features))  

    return [x_train, y_train, x_test, y_test]

def build_model(layers):
    model = Sequential()

    model.add(LSTM(
        input_dim=layers[0],
        output_dim=layers[1],
        return_sequences=True))
    model.add(Dropout(0.0))

    model.add(LSTM(
        layers[2],
        return_sequences=False))
    model.add(Dropout(0.0))

    model.add(Dense(
        output_dim=layers[2]))
    model.add(Activation("linear"))

    start = time.time()
    model.compile(loss="mse", optimizer="rmsprop",metrics=['accuracy'])
    print("Compilation Time : ", time.time() - start)
    return model

def build_model2(layers):
        d = 0.2
        model = Sequential()
        model.add(LSTM(128, input_shape=(layers[1], layers[0]), return_sequences=True))
        model.add(Dropout(d))
        model.add(LSTM(64, input_shape=(layers[1], layers[0]), return_sequences=False))
        model.add(Dropout(d))
        model.add(Dense(16, activation="relu", kernel_initializer="uniform"))        
        model.add(Dense(1, activation="relu", kernel_initializer="uniform"))
        model.compile(loss='mse',optimizer='adam',metrics=['accuracy'])
        return model


window = 5
X_train, y_train, X_test, y_test = load_data(df[::-1], window)
print("X_train", X_train.shape)
print("y_train", y_train.shape)
print("X_test", X_test.shape)
print("y_test", y_test.shape) 

# model = build_model([3,lag,1])
model = build_model2([len(df.columns),window,1]) #11 = Dataframe axis 1

model.fit(
    X_train,
    y_train,
    batch_size=512,
    epochs=500,
    validation_split=0.1,
    verbose=1)


trainScore = model.evaluate(X_train, y_train, verbose=0)
print('Train Score: %.2f MSE (%.2f RMSE)' % (trainScore[0], math.sqrt(trainScore[0])))

testScore = model.evaluate(X_test, y_test, verbose=0)
print('Test Score: %.2f MSE (%.2f RMSE)' % (testScore[0], math.sqrt(testScore[0])))


# print(X_test[-1])
diff=[]
ratio=[]
p = model.predict(X_test)
for u in range(len(y_test)):
    pr = p[u][0]
    ratio.append((y_test[u]/pr)-1)
    diff.append(abs(y_test[u]- pr))
    #print(u, y_test[u], pr, (y_test[u]/pr)-1, abs(y_test[u]- pr))


print (p)
print (y_test)

Answer 1

（由于您没有澄清，我假设您在这里谈论的是测试准确度 - 火车准确度确实可以为 1.0，具体取决于您的数据和模型的详细信息。）

好吧，当人们把问题、损失和指标弄得一团糟时，这样的问题很常见 -当在 Keras 中用作多类分类问题的损失时，请参阅我的这个答案以了解类似的混淆binary_crossentropy。

在尝试任何补救措施之前，尝试手动预测几个示例（即使用model.predict代替model.evaluate）；不能做到这一点，因为我自己，我没有你的数据，但我敢打赌，你会得到将结果不符合你的暗示的完美精度model.evaluate的效果。

为了您的问题的心脏：因为你有一个二元分类问题，您应该明确要求loss='binary_crossentropy'在模型中编译，而不是mse。

无法确定您从 中获得的 1.0 值究竟是多少model.evaluate，但正如我在上面链接的答案中所示，Keras 为编译的模型返回的评估指标metrics=['accuracy']高度依赖于 的相应条目loss；即使我最终能够弄清楚那个问题的问题是什么，我什至无法开始想象这里到底发生了什么，你请求accuracy（即分类度量）回归损失（mse）......