如何使用Keras构建词性标注器？

Question

我正试图在Keras的帮助下使用神经网络实现词性标注器.

我正在使用序列模型,并从NLTK的Penn Treebank语料库(即来自nltk.corpus导入树库)训练数据.根据我的理解,与Keras形成神经网络包括以下步骤:

• 加载数据
• 定义 - >编译 - >拟合模型
• 评估模型

具体来说,我不确定如何预处理标记的训练数据以便在我的模型中使用它？这些标记数据来自nltk的语料库,它们是键值对,键是英语单词,值是相应的POS标记.

确切地说,我不知道如何在以下代码中的"数据"和"标签"变量中排列数据:

model.fit(data, labels, nb_epoch=50, batch_size=32)

有人可以给我一些提示吗？非常感谢您的时间,我非常感谢您的帮助!

Answer 1

如何执行此操作有很多变化,它们取决于您拥有的数据量以及您希望投入的时间.我会尝试给你一条主流路径,你可以在引用一些替代方案的同时改进自己.我不会假设有深度学习的文本建模的先验知识.

一种方法是将问题建模为多类分类,其中类/标签类型都是可能的POS标签.使用深度学习模型有两种最常见的方法:一种是窗口模型.另一种是使用循环单元的序列标记器.

让我们假设两者中最简单的,即窗口模型.然后,您可以执行以下操作:

构建数据

1. 将您的语料库切换成W单词窗口(例如3个单词),其中中心单词是您要分类的单词,其他单词是上下文.我们称这部分数据X.
2. 对于每个窗口,获取中心字的POS标记.我们称这部分数据y

编码数据

将X编码为矢量

现在神经网络需要X编码为一系列向量.常见的选择是将每个单词编码为单词嵌入.

首先,您需要对文本进行标记,并将每个单词编码为整数单词id(例如,"cat"的每个出现次数为7).如果您没有自己的标记器,可以使用与Keras捆绑的标记器.这将获取文本并返回整数/单词id的序列.

其次,您可能需要填充和截断每个单词ID序列,以便每个实例具有相同的长度(注意:还有其他处理方法).imdb_lstm.py的一个例子是

(X_train, y_train), (X_test, y_test) = imdb.load_data(nb_words=max_features)
print(len(X_train), 'train sequences')
print(len(X_test), 'test sequences')
print('Pad sequences (samples x time)')
X_train = sequence.pad_sequences(X_train, maxlen=maxlen)
X_test = sequence.pad_sequences(X_test, maxlen=maxlen)
print('X_train shape:', X_train.shape)
print('X_test shape:', X_test.shape)

然后,您可以使用嵌入层将填充/截断的单词ID序列转换为单词嵌入序列.imdb_lstm.py中的示例:

model = Sequential()
model.add(Embedding(max_features, 128, dropout=0.2))
model.add(LSTM(128, dropout_W=0.2, dropout_U=0.2))  # try using a GRU instead, for fun

这里嵌入的输出被用于馈送到LSTM.我最后列出了其他型号选项.

编码y

要使用Keras进行多类分类,通常使用categorical_crossentropy,它希望标签是一个热的向量,只要可能类别的数量(在您的情况下可能的POS标签的数量).你可以使用keras'to_categorical.请注意,它需要一个整数向量,其中每个整数表示一个类(例如,NNP可以是0,VBD可以是1,依此类推):

def to_categorical(y, nb_classes=None):
    '''Convert class vector (integers from 0 to nb_classes) to binary class matrix, for use with categorical_crossentropy.
    # Arguments
        y: class vector to be converted into a matrix
        nb_classes: total number of classes
    # Returns
        A binary matrix representation of the input.
    '''

型号选项

因为在这一系列的解决方案中你基本上可以做多类分类,你基本上可以把它作为imdb_遵循keras示例中的任何示例.这些实际上是二进制文本分类示例.要使它们成为多类,您需要使用softmax而不是sigmoid作为最终激活函数而使用categorical_crossentropy而不是像mnist_ examples中的binary_crossentropy:

model.add(Flatten())
model.add(Dense(128))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer='adadelta',
              metrics=['accuracy'])