mis*_*off 6 algorithm nlp text-segmentation
我想解决单词分裂问题(从没有空格的长字符串解析单词).对于examle我们要从中提取的话somelongword来[some, long, word].
我们可以通过使用字典的一些动态方法来实现这一点,但我们遇到的另一个问题是解析模糊性.即orcore=> or core或orc ore(我们不考虑短语含义或词性).所以我考虑使用一些统计或ML方法.
我发现Naive Bayes和带有火车组的Viterbi算法可以用来解决这个问题.你能指点一些关于这些算法应用于分词问题的信息吗？
UPD:我使用Peter Norvig的代码中的一些建议在Clojure上实现了这个方法