我正在寻找一种方法来自动确定网站页面使用的自然语言,并给出其URL.
在Python中,函数如下:
def LanguageUsed (url):
#stuff
返回语言说明符(例如,英语为'en',日语为'jp'等)
结果摘要:我有一个合理的解决方案,使用PyPi for oice.langdet中的代码在Python中工作.它在区分英语和非英语方面做得不错,这是我目前所需要的.请注意,您必须使用Python urllib获取html.另外,oice.langdet是GPL许可证.
有关使用Python中的Trigrams的更一般的解决方案,请参阅其他人建议的,请参阅ActiveState的此Python Cookbook配方.
Google自然语言检测API运行良好(如果不是我见过的最好的).但是,它是Javascript和他们的TOS禁止自动使用它.