使用动态技术的单词之间的语义相似性(使用维基百科)

Question

我在python中编写了一个程序,用word net来查找单词之间的语义相似性.但我觉得它是静态的.我想给它一个动态的方法.我想从维基百科访问每个单词的定义.如何访问这样的单词的定义？当我用Google搜索时,我发现通过解析维基百科转储文件,我们可以获得定义.但我不知道如何解析.是否有人可以实现解析器来从转储文件中获取单词的定义.这是唯一的方法吗？方法是真的.

Answer 1

你不需要重新发明轮子.怀卡托大学的研究人员建立了一个非常好的维基百科数据挖掘服务,名为WikipediaMiner.

该软件包将常规Wikipedia转储转换为MySql数据库格式,并提供对Wikipedia部分内容的面向对象访问,如文章,消歧页面和超链接.Wikipedia Miner还实现了一种算法,用于计算Maui用于消除文档与维基百科文章的歧义以及计算语义特征的文章之间的语义相关性.

他们还暴露了各种API.例如,如果你想获得的定义的Logistic Regression,只要使用他们的exploreArticleAPI:

http://wikipedia-miner.cms.waikato.ac.nz/services/exploreArticle?title=logistic%20regression&definition=true

响应xml如下所示:

<message service="/services/exploreArticle" id="226631" title="Logistic regression">
<request>
  <param name="title">logistic regression</param>
  <param name="definition">true</param>
</request>
<definition><![CDATA[In <a href="http://www.en.wikipedia.org/wiki/Statistics">statistics</a>, <b>logistic regression</b> (sometimes called the <b>logistic model</b> or <b><a href="http://www.en.wikipedia.org/wiki/Logit">logit</a> model</b>) is used for prediction of the <a href="http://www.en.wikipedia.org/wiki/Probability">probability</a> of occurrence of an event by fitting data to a logit function <a href="http://www.en.wikipedia.org/wiki/Logistic function">logistic curve</a>.]]>
</definition>
</message>

要比较单词之间的语义相似性,您可以尝试他们的compareAPI.

例如,kiwi与之比较takahe,您使用以下API调用:

http://wikipedia-miner.cms.waikato.ac.nz/services/compare?term1=kiwi&term2=takahe&disambiguationDetails&connections&snippets

以下是有关其用于相关性度量的算法的更多详细信息.

您还可以托管自己的wikipediaMiner服务(详情请参见此处).在此处了解有关如何使用其服务的更多信息.他们的相关出版物在这里.