Sun*_*y88 9 machine-learning neural-network
通用逼近定理的形式陈述表明,具有单个隐藏层的神经网络可以逼近在m维单位超立方体上连续的任何函数.但是,关于它们是否可以总是被神经网络近似的任何已知事物如何？
例如,采用计算数字pi的第n位的函数.如果我在这个数据上训练一些隐藏层神经网络:( n,pi的第n个数字),它最终是否能够为看不见的n返回正确的值？多个隐藏层神经网怎么样？
Don*_*eba 12
通用逼近定理的形式陈述表明,具有单个隐藏层的神经网络可以逼近在m维单位超立方体上连续的任何函数.但是,关于它们是否可以总是被神经网络近似的任何已知事物如何？
是的,大多数非连续函数可以通过神经网络来近似.实际上,该函数只需要是可测量的,因为根据Lusin定理,任何可测量函数在几乎所有领域都是连续的.这对于通用逼近定理来说已经足够了.
但请注意,该定理仅表示函数可以由神经网络表示.它没有说明这种表述是否可以学习或是否有效.事实上,对于接近高度变化函数的单层网络,大小随着函数的复杂性呈指数增长.
例如,采用计算数字pi的第n位的函数.如果我在这个数据上训练一些隐藏层神经网络:( n,pi的第n个数字),它最终是否能够为看不见的n返回正确的值？多个隐藏层神经网怎么样？
没有.有无数个函数返回π的任何数字子序列.网络永远不会知道你想要它学习哪一个.神经网络通过利用函数平滑性来概括,但是你想要它学习的序列根本不是平滑的.
换句话说,您需要一个精确的表示.近似对于预测π的数字没有用.通用逼近定理仅保证存在近似.