我正在尝试使用机器学习来预测数据集。这是一个具有 180 个输入特征和 1 个连续值输出的回归问题。我尝试比较深度神经网络、随机森林回归和线性回归。
正如我所料，3 隐藏层深度神经网络的均方根误差 (RMSE) 为 0.1，优于其他两种方法。然而，我意外地看到随机森林的性能甚至比线性回归还差（RMSE 0.29 vs. 0.27）。在我的期望中，随机森林可以发现特征之间更复杂的依赖关系以减少错误。我试图调整随机森林的参数（树的数量、最大特征、max_depth 等）。我也尝试过不同的K-cross验证，但性能仍然不及线性回归。
我在网上搜索，一个答案说如果特征对协变量具有平滑的、近乎线性的依赖性，线性回归可能会表现得更好。我不完全明白这一点，因为如果是这样的话，深度神经网络不应该带来很大的性能提升吗？
我正在努力做出解释。在什么情况下，随机森林比线性回归差，但深度神经网络可以表现得更好？
machine-learning linear-regression random-forest deep-learning