如何在NLTK中使用stanford word tokenizer?

Luc*_*ky 2 python tokenize nltk stanford-nlp

我正在寻找在nltk中使用stanford字标记器的方法,我想使用,因为当我比较stanford和nltk字标记器的结果时,它们都是不同的.我知道可能有办法使用stanford tokenizer,就像我们可以在NLTK中支持POS Tagger和NER一样.

是否可以在不运行服务器的情况下使用stanford tokenizer?

谢谢

alv*_*vas 10

注意:此解决方案仅适用于:

  • NLTK v3.2.5(v3.2.6将具有更简单的界面)

  • Stanford CoreNLP(版本> = 2016-10-31)

首先,您必须首先正确安装Java 8,如果Stanford CoreNLP在命令行上运行,NLTK v3.2.5中的Stanford CoreNLP API如下所示.

注意:您必须在终端中使用NLTK中的新CoreNLP API启动CoreNLP服务器.

在终端上:

wget http://nlp.stanford.edu/software/stanford-corenlp-full-2016-10-31.zip
unzip stanford-corenlp-full-2016-10-31.zip && cd stanford-corenlp-full-2016-10-31

java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer \
-preload tokenize,ssplit,pos,lemma,parse,depparse \
-status_port 9000 -port 9000 -timeout 15000
Run Code Online (Sandbox Code Playgroud)

在Python中:

>>> from nltk.parse.corenlp import CoreNLPParser
>>> st = CoreNLPParser()
>>> tokenized_sent = list(st.tokenize('What is the airspeed of an unladen swallow ?'))
>>> tokenized_sent
['What', 'is', 'the', 'airspeed', 'of', 'an', 'unladen', 'swallow', '?']
Run Code Online (Sandbox Code Playgroud)