Luc*_*ky 2 python tokenize nltk stanford-nlp
我正在寻找在nltk中使用stanford字标记器的方法,我想使用,因为当我比较stanford和nltk字标记器的结果时,它们都是不同的.我知道可能有办法使用stanford tokenizer,就像我们可以在NLTK中支持POS Tagger和NER一样.
是否可以在不运行服务器的情况下使用stanford tokenizer?
谢谢
alv*_*vas 10
注意:此解决方案仅适用于:
NLTK v3.2.5(v3.2.6将具有更简单的界面)
Stanford CoreNLP(版本> = 2016-10-31)
首先,您必须首先正确安装Java 8,如果Stanford CoreNLP在命令行上运行,NLTK v3.2.5中的Stanford CoreNLP API如下所示.
注意:您必须在终端中使用NLTK中的新CoreNLP API启动CoreNLP服务器.
在终端上:
wget http://nlp.stanford.edu/software/stanford-corenlp-full-2016-10-31.zip
unzip stanford-corenlp-full-2016-10-31.zip && cd stanford-corenlp-full-2016-10-31
java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer \
-preload tokenize,ssplit,pos,lemma,parse,depparse \
-status_port 9000 -port 9000 -timeout 15000
Run Code Online (Sandbox Code Playgroud)
在Python中:
>>> from nltk.parse.corenlp import CoreNLPParser
>>> st = CoreNLPParser()
>>> tokenized_sent = list(st.tokenize('What is the airspeed of an unladen swallow ?'))
>>> tokenized_sent
['What', 'is', 'the', 'airspeed', 'of', 'an', 'unladen', 'swallow', '?']
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
5434 次 |
| 最近记录: |