连续与离散人工神经网络

Question

我意识到这可能是一个非常小众的问题,但有没有人有使用连续神经网络的经验？我特别感兴趣的是连续神经网络可能对你通常使用离散神经网络的东西有用.

为了清楚起见,我将清楚我的意思是连续神经网络,因为我认为它可以解释为不同的东西.我并不是说激活功能是连续的.相反,我提到了将隐藏层中的神经元数量增加到无限量的想法.

因此,为了清楚起见,这是您典型的谨慎NN的架构: 的x是输入,则g是隐藏层的激活时,v是隐层的权重,则w是输出层的权重,则b是偏置,显然在输出层具有线性活化(即无).

此图描绘了离散NN和连续NN之间的差异: 那就是你让隐藏神经元的数量变得无限,这样你的最终输出就是一个整体.实际上,这意味着不是计算确定性和,而是必须用正交逼近相应的积分.

显然,它是神经网络的一个常见误解,太多隐藏的神经元会产生过度拟合.

我的问题是具体的,鉴于离散和连续神经网络的这个定义,我想知道是否有人有使用后者的经验以及他们使用它们的类型.

有关该主题的进一步说明,请访问:http: //www.iro.umontreal.ca/~lisa/seminaires/18-04-2006.pdf

Answer 1

过去，我使用连续神经网络进行了一些研究项目。激活是使用双极双曲正切完成的，网络采用数百个浮点输入并输出大约一百个浮点值。

在这种特殊情况下，网络的目标是学习矿物列车的动态方程。该网络获得了列车的当前状态，并预测了未来 50 秒的速度、车厢间的动态以及其他列车行为。

这个特定项目的基本原理主要是关于性能。这是针对嵌入式设备的，评估神经网络比求解传统的 ODE（常微分方程）系统更加性能友好。

一般来说，连续神经网络应该能够学习任何类型的函数。当使用确定性方法不可能/极其困难地求解系统时，这特别有用。与通常用于模式识别/分类目的的二元网络相反。

鉴于其不确定性，任何类型的神经网络都是敏感的野兽，选择正确类型的输入/网络架构可能有点像黑魔法。