神经网络设置,用于快速培训

Question

我正在创建一个工具,用于根据过去的数据预测软件项目的时间和成本.该工具使用神经网络来做到这一点,到目前为止,结果是有希望的,但我想我可以通过改变网络的属性做更多的优化.在这些设置方面,似乎没有任何规则甚至许多最佳实践,所以如果有经验的人可以帮助我,我会非常感激.

输入数据由一系列整数组成,这些整数可能会达到用户想要的最高值,但大多数将低于我想象的100,000.有些将低至1.它们是项目中人员数量和项目成本等详细信息,以及有关数据库实体和用例的详细信息.

共有10个输入,2个输出(时间和成本).我正在使用Resilient Propagation来训练网络.目前它有:10个输入节点,1个隐藏层,5个节点和2个输出节点.我正在训练误差率低于5%.

该算法必须在网络服务器上运行,因此我已经采取措施在看起来不会去任何地方时停止训练.这被设置为10,000次训练迭代.

目前,当我尝试使用一些有点变化的数据进行训练时,但是在我们期望用户投入的数据范围内,需要很长时间训练,一遍又一遍地达到10,000次迭代限制.

这是我第一次使用神经网络而且我真的不知道会发生什么.如果你能给我一些关于我应该为网络使用什么样的设置以及迭代限制的提示,我将非常感激.

谢谢!

Answer 1

首先,感谢您提供有关您的网络的大量信息!这里有一些指示可以给你一个更清晰的画面.

• 您需要规范化输入.如果一个节点的平均值为100,000而另一个节点只有0.5,那么您将看不到两个输入的相同影响.这就是为什么你需要将它们标准化的原因.
• 10个输入节点只有5个隐藏神经元？我记得在某个地方读到你需要至少两倍的输入数量; 尝试20多个隐藏的神经元.这将为您的神经网络模型提供开发更复杂模型的能力.但是,太多的神经元和您的网络只会记住训练数据集.
• 弹性反向传播很好.请记住,还有其他训练算法,如Levenberg-Marquardt.
• 你有多少套训练？神经网络通常需要大型数据集才能做出有用的预测.
• 考虑为你的体重训练算法增加一个动量因子,如果你还没有这样做的话,可以加快速度.
• 在线培训往往比批量培训更好地进行广义预测.前者通过网络运行每个训练集后更新权重,而后者在传递每个数据集后更新网络.这是你的电话.
• 您的数据是离散的还是连续的？神经网络倾向于使用0s和1s比连续函数做得更好.如果是前者,我建议使用sigmoid激活功能.隐藏和输出层的组合tanh和linear激活功能往往可以很好地处理连续变化的数据.
• 你需要另一个隐藏层吗？如果您的网络正在处理复杂的输入 - 输出表面映射,这可能会有所帮助.