用于POS标记和Lemmatizer的多语言NLTK

Question

最近我接触了NLP,我尝试使用NLTK和TextBlob来分析文本.我想开发一个分析旅行者评论的应用程序,因此我必须管理很多用不同语言编写的文本.我需要做两个主要操作:POS标记和词形还原.我已经看到在NLTK中有可能为这样的句子标记化选择正确的语言:

tokenizer = nltk.data.load('tokenizers/punkt/PY3/italian.pickle')

我还没有找到用不同语言设置POS Tagging和Lemmatizer语言的正确方法.如何为非英语文本(如意大利语,法语,西班牙语或德语)设置正确的语料库/词典？我也看到有可能导入"TreeBank"或"WordNet"模块,但我不明白我如何使用它们.否则,我在哪里可以找到各自的语料库？

你能给我一些建议或参考吗？请注意我不是NLTK的专家.

非常感谢.

Answer 1

没有选项可以传递给NLTK的POS标记和lematizing函数,这将使它们处理其他语言.

一种解决方案是获得每种语言的训练语料库并使用NLTK训练您自己的POS标签,然后为每种语言找出一种基于dictonary的词形解决方案.

这可能有点过头了,因为已经有一个单一的停止解决方案,用于意大利语,法语,西班牙语和德语(以及许多其他语言):TreeTagger.它不像英语中的POS标签和词形变换器那样具有最先进性,但它仍然做得很好.

你想要的是在你的系统上安装TreeTagger并能够从Python调用它.这是miotto的GitHub回购,可以让你做到这一点.

以下代码段显示了如何测试您是否正确设置了所有内容.正如您所看到的,我能够在一个函数调用中进行POS标记和词形变换,而且我可以用英语和法语轻松完成.

>>> import os
>>> os.environ['TREETAGGER'] = "/opt/treetagger/cmd" # Or wherever you installed TreeTagger
>>> from treetagger import TreeTagger
>>> tt_en = TreeTagger(encoding='utf-8', language='english')
>>> tt_en.tag('Does this thing even work?')
[[u'Does', u'VBZ', u'do'], [u'this', u'DT', u'this'], [u'thing', u'NN', u'thing'], [u'even', u'RB', u'even'], [u'work', u'VB', u'work'], [u'?', u'SENT', u'?']]
>>> tt_fr = TreeTagger(encoding='utf-8', language='french')
>>> tt_fr.tag(u'Mon Dieu, faites que ça marche!')
[[u'Mon', u'DET:POS', u'mon'], [u'Dieu', u'NOM', u'Dieu'], [u',', u'PUN', u','], [u'faites', u'VER:pres', u'faire'], [u'que', u'KON', u'que'], [u'\xe7a', u'PRO:DEM', u'cela'], [u'marche', u'NOM', u'marche'], [u'!', u'SENT', u'!']]

由于这个问题被问了很多(因为安装过程不是超级直接的,IMO),我会写一篇关于此事的博客文章,并在完成后立即更新这个答案.

编辑: 这是上面提到的博文.

Answer 2

如果您正在寻找另一种多语言POS标签,您可能需要尝试使用RDRPOSTagger:一种功能强大,易于使用且与语言无关的POS和形态标记工具包.见实验结果包括性能速度和标签上的13种语言的准确性本文.RDRPOSTagger现在支持预先训练的POS和形态标记模型,用于保加利亚语,捷克语,荷兰语,英语,法语,德语,印地语,意大利语,葡萄牙语,西班牙语,瑞典语,泰语和越南语.RDRPOSTagger还支持40种语言的预训练通用POS标记模型.

在Python中,您可以使用预先训练的模型将原始未标记文本语料库标记为:

python RDRPOSTagger.py tag PATH-TO-PRETRAINED-MODEL PATH-TO-LEXICON PATH-TO-RAW-TEXT-CORPUS

例: python RDRPOSTagger.py tag ../Models/POS/German.RDR ../Models/POS/German.DICT ../data/GermanRawTest

如果您想使用RDRPOSTagger编程,请按照RDRPOSTagger.py模块pSCRDRTagger包中的代码行92-98进行操作.这是一个例子:

r = RDRPOSTagger()
r.constructSCRDRtreeFromRDRfile("../Models/POS/German.RDR") #Load POS tagging model for German
DICT = readDictionary("../Models/POS/German.DICT") #Load a German lexicon 
r.tagRawSentence(DICT, "Die Reaktion des deutschen Außenministers zeige , daß dieser die außerordentlich wichtige Rolle Irans in der islamischen Welt erkenne .")

r = RDRPOSTagger()
r.constructSCRDRtreeFromRDRfile("../Models/POS/French.RDR") # Load POS tagging model for French
DICT = readDictionary("../Models/POS/French.DICT") # Load a French lexicon
r.tagRawSentence(DICT, "Cette annonce a fait l' effet d' une véritable bombe . ")