斯坦福在 python 中使用 coreNLP 键入依赖项

Question

在斯坦福依赖手册中，他们提到了“斯坦福类型依赖”，特别是“neg”类型 - 否定修饰符。当使用网站使用斯坦福增强++解析器时，它也可用。例如，句子：

“巴拉克奥巴马不是出生在夏威夷”

解析器确实找到了 neg(born,not)

但是当我使用stanfordnlppython 库时，我能得到的唯一依赖解析器将解析句子如下：

('Barack', '5', 'nsubj:pass')

('Obama', '1', 'flat')

('was', '5', 'aux:pass')

('not', '5', 'advmod')

('born', '0', 'root')

('in', '7', 'case')

('Hawaii', '5', 'obl')

以及生成它的代码：

import stanfordnlp
stanfordnlp.download('en')  
nlp = stanfordnlp.Pipeline()
doc = nlp("Barack Obama was not born in Hawaii")
a  = doc.sentences[0]
a.print_dependencies()

有没有办法获得与增强型依赖解析器或任何其他导致类型化依赖的斯坦福解析器类似的结果，这会给我否定修饰符？

Answer 1

需要注意的是 python 库 stanfordnlp 不仅仅是 StanfordCoreNLP 的 python 包装器。

1. 区别 StanfordNLP / CoreNLP

正如stanfordnlp Github repo上所说：

斯坦福 NLP 组的官方 Python NLP 库。它包含用于从 CoNLL 2018 共享任务运行我们最新的全神经管道以及用于访问 Java Stanford CoreNLP 服务器的包。

Stanfordnlp 包含一组新的神经网络模型，在 CONLL 2018 共享任务上进行训练。在线解析器基于 CoreNLP 3.9.2 java 库。这是两个不同的管道和集的模型，解释在这里。

您的代码仅访问他们在 CONLL 2018 数据上训练的神经管道。这解释了您看到的与在线版本相比的差异。这基本上是两种不同的模型。

我认为更令人困惑的是，两个存储库都属于名为 stanfordnlp 的用户（这是团队名称）。不要在 java stanfordnlp/CoreNLP 和 python stanfordnlp/stanfordnlp 之间被愚弄。

关于您的“否定”问题，似乎在 python libabry stanfordnlp 中，他们决定完全考虑使用“advmod”注释进行否定。至少这是我遇到的几个例句。

2. 通过 stanfordnlp 包使用 CoreNLP

但是，您仍然可以通过 stanfordnlp 包访问 CoreNLP。但是，它需要更多步骤。引用 Github 仓库，

有几个初始设置步骤。

• 下载斯坦福 CoreNLP 和您希望使用的语言的模型。（你可以在这里下载 CoreNLP 和语言模型）
• 将模型罐放在分发文件夹中
• 告诉python代码Stanford CoreNLP所在的位置：export CORENLP_HOME=/path/to/stanford-corenlp-full-2018-10-05

完成后，您可以启动一个客户端，代码可以在演示中找到 ：

from stanfordnlp.server import CoreNLPClient 

with CoreNLPClient(annotators=['tokenize','ssplit','pos','depparse'], timeout=60000, memory='16G') as client:
    # submit the request to the server
    ann = client.annotate(text)

    # get the first sentence
    sentence = ann.sentence[0]

    # get the dependency parse of the first sentence
    print('---')
    print('dependency parse of first sentence')
    dependency_parse = sentence.basicDependencies
    print(dependency_parse)

    #get the tokens of the first sentence
    #note that 1 token is 1 node in the parse tree, nodes start at 1
    print('---')
    print('Tokens of first sentence')
    for token in sentence.token :
        print(token)

因此，如果您指定了“depparse”注释器（以及先决注释器 tokenize、ssplit 和 pos），那么您的句子将被解析。看了demo，感觉只能访问basicDependencies。我还没有设法通过 stanfordnlp 使 Enhanced++ 依赖项起作用。

但是如果您使用 basicDependencies ，否定仍然会出现！

这是我使用 stanfordnlp 和您的例句获得的输出。它是一个 DependencyGraph 对象，并不漂亮，但不幸的是，当我们使用非常深的 CoreNLP 工具时，情况总是如此。您将看到在节点 4 和 5（'not' 和 'born'）之间，有边缘 'neg'。

node {
  sentenceIndex: 0
  index: 1
}
node {
  sentenceIndex: 0
  index: 2
}
node {
  sentenceIndex: 0
  index: 3
}
node {
  sentenceIndex: 0
  index: 4
}
node {
  sentenceIndex: 0
  index: 5
}
node {
  sentenceIndex: 0
  index: 6
}
node {
  sentenceIndex: 0
  index: 7
}
node {
  sentenceIndex: 0
  index: 8
}
edge {
  source: 2
  target: 1
  dep: "compound"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 5
  target: 2
  dep: "nsubjpass"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 5
  target: 3
  dep: "auxpass"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 5
  target: 4
  dep: "neg"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 5
  target: 7
  dep: "nmod"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 5
  target: 8
  dep: "punct"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
edge {
  source: 7
  target: 6
  dep: "case"
  isExtra: false
  sourceCopy: 0
  targetCopy: 0
  language: UniversalEnglish
}
root: 5

---
Tokens of first sentence
word: "Barack"
pos: "NNP"
value: "Barack"
before: ""
after: " "
originalText: "Barack"
beginChar: 0
endChar: 6
tokenBeginIndex: 0
tokenEndIndex: 1
hasXmlContext: false
isNewline: false

word: "Obama"
pos: "NNP"
value: "Obama"
before: " "
after: " "
originalText: "Obama"
beginChar: 7
endChar: 12
tokenBeginIndex: 1
tokenEndIndex: 2
hasXmlContext: false
isNewline: false

word: "was"
pos: "VBD"
value: "was"
before: " "
after: " "
originalText: "was"
beginChar: 13
endChar: 16
tokenBeginIndex: 2
tokenEndIndex: 3
hasXmlContext: false
isNewline: false

word: "not"
pos: "RB"
value: "not"
before: " "
after: " "
originalText: "not"
beginChar: 17
endChar: 20
tokenBeginIndex: 3
tokenEndIndex: 4
hasXmlContext: false
isNewline: false

word: "born"
pos: "VBN"
value: "born"
before: " "
after: " "
originalText: "born"
beginChar: 21
endChar: 25
tokenBeginIndex: 4
tokenEndIndex: 5
hasXmlContext: false
isNewline: false

word: "in"
pos: "IN"
value: "in"
before: " "
after: " "
originalText: "in"
beginChar: 26
endChar: 28
tokenBeginIndex: 5
tokenEndIndex: 6
hasXmlContext: false
isNewline: false

word: "Hawaii"
pos: "NNP"
value: "Hawaii"
before: " "
after: ""
originalText: "Hawaii"
beginChar: 29
endChar: 35
tokenBeginIndex: 6
tokenEndIndex: 7
hasXmlContext: false
isNewline: false

word: "."
pos: "."
value: "."
before: ""
after: ""
originalText: "."
beginChar: 35
endChar: 36
tokenBeginIndex: 7
tokenEndIndex: 8
hasXmlContext: false
isNewline: false

2. 通过 NLTK 包使用 CoreNLP

我不会详细介绍这个，但是如果其他方法都失败了，还有一个解决方案可以通过 NLTK 库访问 CoreNLP 服务器。它确实输出否定，但需要更多的工作来启动服务器。此页面上的详细信息

编辑

我想我还可以与您分享代码，以将 DependencyGraph 放入一个很好的“dependency、argument1、argument2”列表中，其形状类似于 stanfordnlp 的输出。

from stanfordnlp.server import CoreNLPClient

text = "Barack Obama was not born in Hawaii."

# set up the client
with CoreNLPClient(annotators=['tokenize','ssplit','pos','depparse'], timeout=60000, memory='16G') as client:
    # submit the request to the server
    ann = client.annotate(text)

    # get the first sentence
    sentence = ann.sentence[0]

    # get the dependency parse of the first sentence
    dependency_parse = sentence.basicDependencies

    #print(dir(sentence.token[0])) #to find all the attributes and methods of a Token object
    #print(dir(dependency_parse)) #to find all the attributes and methods of a DependencyGraph object
    #print(dir(dependency_parse.edge))

    #get a dictionary associating each token/node with its label
    token_dict = {}
    for i in range(0, len(sentence.token)) :
        token_dict[sentence.token[i].tokenEndIndex] = sentence.token[i].word

    #get a list of the dependencies with the words they connect
    list_dep=[]
    for i in range(0, len(dependency_parse.edge)):

        source_node = dependency_parse.edge[i].source
        source_name = token_dict[source_node]

        target_node = dependency_parse.edge[i].target
        target_name = token_dict[target_node]

        dep = dependency_parse.edge[i].dep

        list_dep.append((dep, 
            str(source_node)+'-'+source_name, 
            str(target_node)+'-'+target_name))
    print(list_dep)

它输出以下内容

[('compound', '2-Obama', '1-Barack'), ('nsubjpass', '5-born', '2-Obama'), ('auxpass', '5-born', '3-was'), ('neg', '5-born', '4-not'), ('nmod', '5-born', '7-Hawaii'), ('punct', '5-born', '8-.'), ('case', '7-Hawaii', '6-in')]