神经网络能否具有完美的列车精度？

Question

标题说明了一切:神经网络能否具有完美的列车精度？我的准确度达到了约0.9,我想知道这是否表明我的网络或训练数据存在问题.

训练实例:约4500个序列,平均长度为10个元素.网络:双向香草RNN,顶部有softmax层.

Answer 1

训练数据的完美准确性通常是一种称为过度拟合的现象的标志(https://en.wikipedia.org/wiki/Overfitting),并且该模型可能很难概括为看不见的数据.所以,不,可能只有这一点并不表示存在问题(你可能仍然过度拟合,但无法从你问题中的信息中得知).

您应该检查验证集上的NN的准确性(您的网络在培训期间没有看到的数据)并判断其普遍性.通常,这是一个迭代过程,您可以并行训练许多具有不同配置的网络,并查看哪一个在验证集上表现最佳.另见交叉验证(https://en.wikipedia.org/wiki/Cross-validation_(statistics))

如果测量噪声较低,模型可能仍然无法获得零训练误差.这可能有很多原因,包括模型不够灵活,无法捕捉真正的基础功能(可能是复杂的,高维的,非线性的功能).您可以尝试增加隐藏层和节点的数量,但是您必须注意过度拟合等相同的事情,并且只能通过交叉验证来评估.

通过增加模型复杂性,您可以在训练数据集上获得100%的准确率,但我会对此保持警惕.