小编den*_*ong的帖子

我试图找到一种在 Keras 序列模型中添加注意力层的简单方法。但是，我在实现这一目标时遇到了很多问题。

我是深度学习的新手，所以我选择 Keras 作为我的开始。我的任务是构建一个带有注意力模型的 Bi-LSTM。在 IMDB 数据集上，我建立了一个 Bi-LSTM 模型。我找到了一个名为“keras-self-attention”的包？https://pypi.org/project/keras-self-attention/？? 但是在 keras Sequential 模型中添加注意力层时遇到了一些问题。

from keras.datasets import imdb
from keras.preprocessing import sequence
from keras_self_attention import SeqSelfAttention

max_features = 10000
maxlen = 500
batch_size = 32

# data
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)
x_train = sequence.pad_sequences(x_train, maxlen= maxlen)
x_test = sequence.pad_sequences(x_test, maxlen=maxlen)

# model 
from keras import models
from keras import layers
from keras.layers import Dense, Embedding, LSTM


model = models.Sequential()
model.add( Embedding(max_features, 32) )
model.add( Bidirectional( …