Google图书的热门文章功能是如何开发的?

dde*_*dde 1 text-processing pattern-recognition corpus n-gram plagiarism-detection

我很好奇,如果有人理解,知道或可以指向我关于谷歌如何创建他们的流行通道块功能的综合文献或源代码.但是,如果您知道任何其他可以执行相同操作的应用程序,请发布您的答案.

如果您不知道我在写什么,这里有一个热门通道示例链接.当您查看" 信息技术应用程序的法律决策过程建模 "一书的概述时......通过Georgios N. Yannopoulos,您可以看到如下内容:

热门段落

......方向,不确定.我们还没有解决,因为我们没有预料到,这个问题会在未经审理的案件发生时提出; 公园的某种程度的和平是否应该牺牲或捍卫那些使用这些东西的乐趣或兴趣的孩子.当出现未经审查的案件时,我们就会面临利害攸关的问题,然后通过在最能满足我们的方式中选择竞争利益来解决问题.在做什么...... 第86页

出现在1968年至2003年的15本书中

这将是适合"机械"法理学的世界.显然,这个世界不是我们的世界; 人类立法者无法了解未来可能带来的所有可能的情况组合.这种无法预测会带来相对不确定性的目标.当我们大胆地进行框架的一些通用规则(例如,没有车辆可能是考虑到公园的规则),在这种情况下所使用的语言修复任何事物必须满足必要的条件... 第86页

出现在1968年至2000年的8本书中

更多

它必须是密集的模式匹配过程.我只能想到n-gram模型,文本语料库,自动plagisrism检测.但是,有时n-gram是用于预测序列中的下一个项目的概率模型,并且手动创建文本语料库(据我所知).而且,在这个特殊情况下,流行的段落,可能会有很多单词.

我真的迷路了.如果我想创建这样的功能,我应该如何或在哪里开始?另外,在你的回复中包含哪些编程语言最适合这些东西:F#或任何其他功能性语言,PERL,Python,Java ......(我自己也成为了F#粉丝)

PS:有人可以包含标签自动抄袭检测,因为我不能

tho*_*asd 6

阅读开发Popular Passages的Google研究人员Kolak和Schilit撰写的这篇ACM论文.德克萨斯大学奥斯汀分校的Baldridge和Lease教授的MapReduce课程也有一些相关的幻灯片.