以编程方式搜索谷歌(或其他)搜索结果的数量

Question

我正在制作一个小小的个人项目.理想情况下,我希望能够以编程方式进行谷歌搜索,并计算结果.(我的目标是比较不同短语(100000+)之间的结果数).

有没有一种免费的方式来进行网络搜索并比较popularity不同的文本,使用谷歌Bing或其他(来源不是很重要).

我试过谷歌,但似乎自由我每天只能做10个请求.Bing更宽松(每月5000个免费请求).

是否有其他工具或方法可以自由计算特定句子的结果数？提前致谢.

Answer 1

如果您想创建一个简单的搜索引擎，则需要一些东西。

首先，您应该阅读并理解信息检索领域从G. Salton 的论文开始的地方，或者至少阅读有关向量空间模型的 wiki 页面。它将要求您至少学习一些本科线性代数。我建议使用 Gilbert Strang 的 MIT 视频讲座。

然后，您可以转到 Brin/Page Pagerank 论文，该论文阐述了超链接矩阵背后的原始概念，并快速计算用于排名的特征向量或阅读wiki 页面。

您可能还有兴趣查看Apache Lucene的代码

要了解当代搜索算法技术，您需要微积分和回归分析来学习机器学习和深度学习，因为当前的谷歌搜索已经脱离了 PageRank 并利用了这些。这部分是由于链接农业使人们能够人为地设计搜索结果以及现代浏览器和网络服务器允许收集的大量元数据。

编辑：

对于仅网络爬虫部分，我推荐WebSPHINX。我在大学的高级研究中结合 Lucene 使用了它。