用神经网络逼近z = y ^ 2 + x ^ 2

Question

期望神经网络多快近似z = y ^ 2 + x ^ 2函数？当我也将输入设为负数并且所有权重变得非常小时（如果使用2x40x1，* 10 ^ -16！）或全部变为相同的数字（例如，使用2x20x1时，-0.16和0.16）时，我的问题似乎会很难解决。我每个时代使用2000个输入示例。

但是，如果所有输入都为正，则似乎可以学习。这意味着什么？

您认为每个时期，架构和时期数应使用多少对输入，您认为呢？

我使用的是反向传播神经网络，没有带有1个隐藏层的偏置（我的输入都在-1和+1之间，并且期望的输出[0，1]）。

谢谢，

Answer 1

对于正输入，该函数是单调的。一旦你跨越了原点，情况就不再是这样了。

我认为您可能需要允许非零偏差才能开发具有非单调输出的神经网络。

另外，请确保您的实现没有进行有界优化，许多优化算法都包含非负假设。