小编kwc*_*kwc的帖子

Keras:指定始终保留某些特征的输入丢失层

我正在 Python 中使用 Keras 训练一个神经网络来处理时间序列气候数据(预测时间 t=T 时的值 X),并尝试在输入上添加一个 (20%) 的 dropout 层,这似乎限制了过度拟合并导致性能略有提高。然而,在我添加了一个新的且特别有用的功能(预测 t=0 时响应变量的值)后,我发现通过删除 dropout 层可以大幅提高性能。这对我来说很有意义,因为我可以想象神经网络如何“学习”该一个特征的重要性,并围绕调整该值进行其余的训练(即“这些其他特征如何影响在 t 时的响应”) =0 随时间 t=T 变化”)。

此外,我认为还有一些其他特征应该适用于所有时代。也就是说,我仍然希望 dropout 层能够提高模型性能——它只需要不丢弃某些特征,例如 t_0 处的 X:我需要一个仅丢弃某些特征的 dropout 层。

我已经搜索了这样做的示例,并阅读了 Keras 文档here,但似乎找不到一种方法来做到这一点。我可能会遗漏一些明显的东西,因为我仍然不熟悉如何手动编辑图层。任何帮助,将不胜感激。谢谢!

编辑:对于任何不明确之处表示歉意。这是我定义模型的代码(p 是特征数量):

def create_model(p):
   model = Sequential()
   model.add(Dropout(0.2, input_shape=(p,))) # % of features dropped
   model.add(Dense(1000, input_dim=p, kernel_initializer='normal'
                , activation='sigmoid'))
   model.add(Dense(30, kernel_initializer='normal', activation='relu'))
   model.add(Dense(1, kernel_initializer='normal',activation='linear'))
   model.compile(loss=cost_fn, optimizer='adam')
return model
Run Code Online (Sandbox Code Playgroud)

python neural-network pandas deep-learning keras

5
推荐指数
1
解决办法
4484
查看次数

标签 统计

deep-learning ×1

keras ×1

neural-network ×1

pandas ×1

python ×1