使用平滑生成 n-gram 语言模型的包?(NLTK 的替代品)

Ala*_* H. 5 nlp nltk n-gram

我想找到某种类型的包或模块(最好是 Python 或 Perl,但其他人会这样做)从输入文本自动生成 n-gram 概率,并且还可以自动应用一种或多种平滑算法。

也就是说,我正在寻找类似 NLTKNgramModel类的东西。我不能将它用于我的目的,因为平滑函数存在一些错误,当您询问它以前从未见过的单词的概率时,它会使其窒息。

我已经阅读了 NLTK 的开发论坛,到目前为止似乎没有任何进展。

有什么替代品吗?

Ala*_* H. 5

看起来我回答了我自己的问题,所以我会提到我在这里找到的内容,以防其他人正在寻找它。

我发现了两个工具包:

它们似乎具有非常相似的功能。两者都包括各种平滑功能。