为什么神经网络倾向于输出“平均值”？

Question

我正在使用 keras 为回归任务构建一个简单的神经网络。但输出总是趋向于真实 y 数据的“平均值”。看第一张图，蓝色是ground truth，红色是预测值（非常接近ground truth的常数均值）。

即使我设置了一个学习时期=100，模型也会很早就停止学习。

任何人都知道在什么样的条件下神经网络会提前停止学习以及为什么回归输出趋于“均值”？

谢谢！

Answer 1

可能是因为数据是不可预测的......？您确定数据集具有某种 N 阶可预测性吗？

只是观察您的数据集，它缺乏周期性，缺乏同方差性，没有任何斜率或偏斜或趋势或模式……我真的无法判断您的“网络”是否有任何问题。在没有任何模式的情况下，均值始终是最好的预测……而且神经网络完全有可能（尽管不确定）正在发挥作用。

我建议你找一个更简单的数据集，看看你能不能先解决这个问题。