在 NLTK 中使用 get 与 get() 对 FreqDist 进行排序

Question

我正在使用 NLTK 和模块 freqDist

import nltk
from nltk.corpus import gutenberg
print(gutenberg.fileids())
from nltk import FreqDist
fd = FreqDist()

for word in gutenberg.words('austen-persuasion.txt'):
    fd[word] += 1

newfd = sorted(fd, key=fd.get, reverse=True)[:10]

所以我正在使用 NLTK，并且有一个关于排序部分的问题。当我运行这样的代码时，它会正确对 freqDist 对象进行排序。但是，当我使用 get() 而不是 get 运行它时，我遇到了错误

Traceback (most recent call last):
  File "C:\Python34\NLP\NLP.py", line 21, in <module>
newfd = sorted(fd, key=fd.get(), reverse=True)[:10]
TypeError: get expected at least 1 arguments, got 0

为什么 get 是对的而 get() 是错的。我的印象是 get() 应该是正确的，但我想事实并非如此。

Answer 1

本质上，FreqDist中的对象NLTK是本机 Python 的子类collections.Counter，所以让我们看看如何Counter工作：

ACounter是一个字典，它将列表中的元素存储为键，将元素的计数存储为值：

>>> from collections import Counter
>>> Counter(['a','a','b','c','c','c','d'])
Counter({'c': 3, 'a': 2, 'b': 1, 'd': 1})
>>> c = Counter(['a','a','b','c','c','c','d'])

要获取按频率排序的元素列表，您可以使用.most_common()函数，它将返回元素的元组及其按计数排序的计数。

>>> c.most_common()
[('c', 3), ('a', 2), ('b', 1), ('d', 1)]

反过来：

>>> list(reversed(c.most_common()))
[('d', 1), ('b', 1), ('a', 2), ('c', 3)]

就像字典一样，您可以迭代 Counter 对象，它将返回键：

>>> [key for key in c]
['a', 'c', 'b', 'd']
>>> c.keys()
['a', 'c', 'b', 'd']

您还可以使用该.items()函数来获取键及其值的元组：

>>> c.items()
[('a', 2), ('c', 3), ('b', 1), ('d', 1)]

或者，如果您只需要按计数排序的键，请参阅转置/解压缩函数（zip 的逆函数）？：

>>> k, v = zip(*c.most_common())
>>> k
('c', 'a', 'b', 'd')

回到.getvs的问题.get()，前者是函数本身，而后者是函数的实例，需要字典的 key 作为参数：

>>> c = Counter(['a','a','b','c','c','c','d'])
>>> c
Counter({'c': 3, 'a': 2, 'b': 1, 'd': 1})
>>> c.get
<built-in method get of Counter object at 0x7f5f95534868>
>>> c.get()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: get expected at least 1 arguments, got 0
>>> c.get('a')
2

调用 时sorted()，函数key=...内的参数不是您要排序的列表/字典的键，而是应该用于排序的键。sortedsorted

所以它们是相同的，但它们只返回键的值：

>>> [c.get(key) for key in c]
[2, 3, 1, 1]
>>> [c[key] for key in c]
[2, 3, 1, 1]

并且在排序时，将值用作排序的标准，因此这些实现了相同的输出：

>>> sorted(c, key=c.get)
['b', 'd', 'a', 'c']
>>> v, k = zip(*sorted((c.get(key), key) for key in c))
>>> list(k)
['b', 'd', 'a', 'c']
>>> sorted(c, key=c.get, reverse=True) # Highest to lowest
['c', 'a', 'b', 'd']
>>> v, k = zip(*reversed(sorted((c.get(key), key) for key in c)))
>>> k
('c', 'a', 'd', 'b')