Python NTL - 识别文本兴趣/主题

Question

我正在尝试构建一个模型,该模型将尝试识别所提供文本的兴趣类别/主题.例如:

"早些时候喜欢玩足球比赛."

将解析为顶级类别,如:

"运动".

我不确定我在这里尝试实现的正确术语是什么,因此谷歌没有找到任何可能提供帮助的库.考虑到这一点,我的方法将是这样的:

1. 从文本中提取要素.使用标记来对每个特征/标识名称/位置进行分类.可能会使用NTLK或Topia.
2. 为每个兴趣类别("体育","视频游戏","政治"等)运行朴素贝叶斯分类器,并获得每个类别的相关性百分比.
3. 确定哪个类别的准确率最高,并对文本进行分类.

我的方法可能涉及为每个兴趣类别设置单独的语料库,我确信准确性会相当悲惨 - 我知道它永远不会那么准确.

一般都在寻找一些关于我想要实现的可行性的建议,但问题的关键在于:a)我的方法是正确的吗？b)是否有任何图书馆/资源可能有所帮助？

Answer 1

你似乎知道很多正确的术语.尝试搜索"文档分类".这是您要解决的一般问题.在代表语料库上训练的分类器将比您想象的更准确.

• (a)没有一种正确的做法.但是,您概述的方法将起作用.
• (b)Scikit Learn 是这类工作的绝佳图书馆.

有很多其他信息,包括教程,在线有关此主题:

• 这个在github上的朴素贝叶斯分类器可能已经完成了你想要完成的大部分工作.
• 这篇NLTK教程深入解释了这个主题.
• 如果你真的想进入它,我相信Google学术搜索会在计算机科学和语言学方面发表数千篇关于这个主题的学术文章.