Keras：val_loss 和 val_accuracy 没有改变

Question

我正在尝试建立一个 LSTM 模型来预测股票第二天是上涨还是下跌。正如你所看到的，一个简单的分类任务让我陷入了困境几天。我仅选择 3 个功能来输入我的网络，下面我将展示我的预处理：

# pre-processing, last column has values of either 1 or zero
len(df.columns) # 32 columns
index_ = len(df.columns) - 1
x = df.iloc[:,:index_]
y = df.iloc[:,index_:].values.astype(int)

删除任何 nan 值：

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf, 'NaN', 'nan']).any(1)
    return df[indices_to_keep].astype(np.float64)

df = clean_dataset(df)

X然后我将选取 3 个选定的特征并显示和 的形状Y

selected_features = ['feature1', 'feature2', 'feature3']
x = x[selected_features].values.astype(float)
# s.shape (44930, 3)
# y.shape (44930, 1)

然后我将数据集分成 80/20

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20, random_state=98 )

我在这里重塑我的数据

x_train = x_train.reshape(x_train.shape[0], x_train.shape[1], 1) 
x_test = x_test.reshape(x_test.shape[0], x_test.shape[1], 1) 
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)

以下是每一个的新形状：

x_train.shape = (35944, 3, 1)
x_test.shape = (8986, 3, 1)
y_train.shape = (35944, 1)
y_test.shape = (8986, 1)

该组的第一个样本x_train在重塑之前

x_train[0] => array([8.05977145e-01, 4.92200000e+01, 1.23157152e+08])

x_train重塑后该组的第一个样本

x_train[0] => array([[8.05977145e-01],
                     [4.92200000e+01],
                     [1.23157152e+08]
                      ])

确保我的训练集中没有 nan 值x_train, and y_train：

for main_index, xx in enumerate(x_train):
  for i, y in enumerate(xx):
    if type(x_train[main_index][i][0]) !=  np.float64:
      print("Something wrong here:" ,main_index, i)
else:
  print("done") # one done, got nothing wrong

最后我在这里训练LSTM

def build_nn():
    model = Sequential()    
    model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) , 
    model.add(Dropout(0.20))
    model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
    model.add(Dropout(0.10))
    model.add(Dense(32, activation='relu'))
    model.add(Dropout(0.10))
    model.add(Dense(1, activation='sigmoid'))
    opt = Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.01)
    model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
    return model

filepath = "bilstmv1.h5"
chkp = ModelCheckpoint(monitor = 'val_accuracy', mode = 'auto', filepath=filepath, verbose = 1, save_best_only=True)


model = build_nn()
model.fit(x_train, y_train, epochs=15, batch_size=32, validation_split=0.1, callbacks=[chkp])

这是美国有线电视新闻网：

model.add(Conv1D(256, 3, input_shape = (x_train.shape[1], 1), activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Conv1D(128, 3, activation='relu', padding="same"))
model.add(BatchNormalization())
model.add(Dropout(0.15))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.15))
model.add(Dense(1))
model.add(Activation("sigmoid"))
# opt = Adam(lr=0.01, beta_1=0.9, beta_2=0.999, decay=0.01)
# opt = SGD(lr=0.01)
model.compile(loss='binary_crossentropy', optimizer='adamax', metrics=['accuracy'])

在我开始训练之前一切似乎都很好，训练时 val_loss 和 val_accuracy 都没有改变

Epoch 1/15
1011/1011 [==============================] - 18s 10ms/step - loss: 0.6803 - accuracy: 0.5849 - val_loss: 0.6800 - val_accuracy: 0.5803

Epoch 00001: val_accuracy improved from -inf to 0.58025, saving model to bilstmv1.h5
Epoch 2/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6782 - accuracy: 0.5877 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00002: val_accuracy did not improve from 0.58025
Epoch 3/15
1011/1011 [==============================] - 9s 8ms/step - loss: 0.6793 - accuracy: 0.5844 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00003: val_accuracy did not improve from 0.58025
Epoch 4/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6784 - accuracy: 0.5861 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00004: val_accuracy did not improve from 0.58025
Epoch 5/15
1011/1011 [==============================] - 9s 9ms/step - loss: 0.6796 - accuracy: 0.5841 - val_loss: 0.6799 - val_accuracy: 0.5803

Epoch 00005: val_accuracy did not improve from 0.58025
Epoch 6/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6792 - accuracy: 0.5842 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00006: val_accuracy did not improve from 0.58025
Epoch 7/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6779 - accuracy: 0.5883 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00007: val_accuracy did not improve from 0.58025
Epoch 8/15
1011/1011 [==============================] - 8s 8ms/step - loss: 0.6797 - accuracy: 0.5830 - val_loss: 0.6798 - val_accuracy: 0.5803

Epoch 00008: val_accuracy did not improve from 0.58025

我试图改变我在这里和那里看到的每一件事，但没有任何效果，我确信我的数据中没有 nan 值，因为我在预处理步骤中删除了它们。我尝试运行 CNN 来检查它是否与 LSTM 相关，并得到了相同的结果（这两件事都没有改变）。此外，在尝试不同的优化器之后，没有任何改变。非常感谢任何帮助。

这是完成所有预处理后的数据集的链接： https://drive.google.com/file/d/1punYl-f3dFbw1YWtw3M7hVwy5knhqU9Q/view ?usp=sharing

使用决策树我能够得到 85%

decesion_tree = DecisionTreeClassifier().fit(x_train, y_train)
dt_predictions = decesion_tree.predict(x_test)
score = metrics.accuracy_score(y_test, dt_predictions) # 85

注意：预测测试对于所有测试集 (x_test) 具有相同的值，这告诉我们为什么 val_accuracy 没有改变。

Answer 1

这里有多个问题，因此我将尝试逐步解决所有问题。

1. 首先，机器学习数据需要具有模型可以推断和预测的模式。股票预测是高度不规则的，几乎是随机的，我会将任何 50% 的准确度偏差归因于统计方差。

2. NN 可能很难训练，而且“天下没有免费的午餐”

import pandas as pd
import numpy as np

import tensorflow as tf

from tensorflow.keras import *
from tensorflow.keras.layers import *
from tensorflow.keras.optimizers import *

file = pd.read_csv('dummy_db.csv')

x_train = np.expand_dims(file[['feature1', 'feature2', 'feature3']].to_numpy(), axis=2)
y_train = file['Label'].to_numpy(np.bool)


model = Sequential()
model.add(Bidirectional(LSTM(32, return_sequences=True, input_shape = (x_train.shape[1], 1), name="one"))) #. input_shape = (None, *x_train.shape) ,
model.add(Dropout(0.20))
model.add(Bidirectional(LSTM(32, return_sequences=False, name="three")))
model.add(Dropout(0.10))
model.add(Dense(32, activation='relu'))
model.add(Dropout(0.10))
model.add(Dense(1, activation='sigmoid'))
opt = SGD(learning_rate = 0, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=1, batch_size=128, validation_split=0.1)

用于确定初始精度的零 LR 训练步骤。您将看到初始准确度为 41%（此准确度是命中还是未命中，稍后将对此进行解释）。

316/316 [==============================] - 10s 11ms/步 - 损失：0.7006 - 准确度：0.4321 - val_loss ：0.6997 - val_accuracy：0.41

我将 LR 保持较小，(1e-4)以便您可以看到准确性的变化

opt = SGD(learning_rate = 1e-4, momentum = 0.1)
model.compile(loss='binary_crossentropy', optimizer=opt, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=15,batch_size=128, validation_split=0.1)

Epoch 1/15 316/316 [================================] - 7s 9ms/步 - 损失：0.6982 - 准确度：0.4573 - val_loss：0.6969 - val_accuracy：0.41

Epoch 2/15 316/316 [================================] - 2s 5ms/步 - 损失：0.6964 - 准确度：0.4784 - val_loss：0.6954 - val_accuracy：0.41

Epoch 3/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6953 - 准确度：0.4841 - val_loss：0.6941 - val_accuracy：0.49

Epoch 4/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6940 - 准确度：0.4993 - val_loss：0.6929 - val_accuracy：0.51

Epoch 5/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6931 - 准确度：0.5089 - val_loss：0.6917 - val_accuracy：0.54

Epoch 6/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6918 - 准确度：0.5209 - val_loss：0.6907 - val_accuracy：0.56

Epoch 7/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6907 - 准确度：0.5337 - val_loss：0.6897 - val_accuracy：0.58

Epoch 8/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6905 - 准确度：0.5347 - val_loss：0.6886 - val_accuracy：0.58

Epoch 9/15 316/316 [================================] - 2s 6ms/步 - 损失：0.6885 - 准确度：0.5518 - val_loss：0.6853 - val_accuracy：0.58

** 为了简洁起见，省略了其余的运行 **

如果重新运行训练，您可能会发现模型最初的准确度为 58%，并且永远不会提高。这是因为除了看似 58% 的最小值（我在实际案例中不信任该最小值）之外，它没有任何需要实际学习的功能。

让我为此添加更多证据

import pandas as pd

file = pd.read_csv('dummy_db.csv')
sum(file['Label'])/len(file)

0.4176496772757623

这就是 True 的数量，同时还有 58% 的 false。因此，您的模型正在学习对所有情况进行错误预测，并获得 58% 的次优准确度。我们可以证明这个说法

sum(model.predict(x_train) < 0.5)

数组([44930])

这就是你经常出现 58% 的真正原因，我认为它不会做得更好。

3. 您似乎没有正确使用 LSTM。LSTM 输入的格式为 [batch, timesteps, feature]，我不认为您的输入实际上是时间步长。你可以在这里阅读更多内容，这个问题很好地解释了为什么 LSTM 对于你的数据来说是一个糟糕的选择。有更好的 ML 分类器（无论是深度学习还是非深度学习）都比使用 LSTM 更擅长。编辑： https://datascience.stackexchange.com/questions/38328/when-does-decision-tree-perform-b ​​etter-than-the-neural-network更好地解释了这一点。

那么现在该怎么办呢？

1. 获得更好的数据。
2. 阅读有人进行股票预测的文献，看看他们到底做了什么。