为什么只有一个隐藏节点的IRIS数据集具有良好的准确性？

Question

我有一个带有反向传播训练器的神经网络的最小示例，可以在IRIS数据集上对其进行测试。我从7个隐藏节点开始，它运作良好。

我将隐藏层中的节点数减少到1（预计会失败），但是惊讶地发现精度提高了。

我在azure ml中设置了实验，只是为了验证这不是我的代码。那里同样，单个隐藏节点的准确性为98.3333％。

谁能向我解释这里发生了什么？

Answer 1

首先，已经公认的是，各种分类模型对Iris都能产生令人难以置信的良好结果（Iris非常可预测）；例如，请参见此处。

其次，我们可以观察到虹膜数据集中的特征相对较少。此外，如果查看数据集描述，您会发现其中两个功能与类结果高度相关。

这些相关值是线性的，单特征的相关性，这表明人们最有可能应用线性模型并观察到良好的结果。神经网络是高度非线性的。随着隐藏节点和隐藏层数量的增加，它们变得越来越复杂，并捕获越来越多的非线性特征组合。

考虑到这些事实，（a）开头的特征很少，（b）与类别的线性相关性很高，所有这些都表明较不复杂的线性函数是适当的预测模型-通过使用一个单独的隐藏节点，您几乎就要使用线性模型。

还应注意，在没有任何隐藏层（即仅输入和输出节点）的情况下，并且当使用逻辑传递函数时，这等效于逻辑回归。