我想找到某种类型的包或模块(最好是 Python 或 Perl,但其他人会这样做)从输入文本自动生成 n-gram 概率,并且还可以自动应用一种或多种平滑算法。
也就是说,我正在寻找类似 NLTKNgramModel类的东西。我不能将它用于我的目的,因为平滑函数存在一些错误,当您询问它以前从未见过的单词的概率时,它会使其窒息。
我已经阅读了 NLTK 的开发论坛,到目前为止似乎没有任何进展。
有什么替代品吗?
看起来我回答了我自己的问题,所以我会提到我在这里找到的内容,以防其他人正在寻找它。
我发现了两个工具包:
它们似乎具有非常相似的功能。两者都包括各种平滑功能。