允许搜索结果的搜索引擎？

Ama*_*man 9 screen-scraping search-engine

由于网站搜索谷歌,Bing等是违反他们的服务条款我想知道是否有任何搜索引擎允许结果被删除？

为什么要刮？为什么不使用支持的 API？

http://code.google.com/apis/customsearch/v1/overview.html

http://www.bing.com/developers

http://developer.yahoo.com/everything.html

Google 每天只允许 100 个查询，因此完全没有意义。雅虎 API 也受到限制。我必须查看 Bing，但我刚刚阅读了 Yahoo TOS，他们似乎并不禁止抓取，因此它们可能是可行的方法（尽管它们由 Bing 提供支持，所以 IDK）。任何其他建议将受到欢迎。 (8认同)

归档时间：	14 年，8 月前
查看次数：	3768 次
最近记录：	7 年，5 月前

从具有大量Javascript的网页进行屏幕抓取 17

Node.js scraper中的内存泄漏 10

动态内容的站点地图？ 9

ASP.NET搜索引擎 6

如何设计定制的搜索引擎？ 5

期待刮一个网站 3

以编程方式登录网站以筛选屏幕的最佳方法是什么？(最好是在Python中) 2

数据收集Urllib2 + bs4 vs Scrapy 2

c#httpwebrequest凭证问题 1

Scrapy-splash 不渲染来自某个反应驱动站点的动态内容 1

使用Git将特定文件重置或还原到特定版本？ 4255

如何删除子模块？ 3366

使用Git将我的最后一次X提交压缩在一起 3294

什么是__init__.py？ 2074

为什么Python 3中的"1000000000000000在范围内(1000000000000001)"如此之快？ 1890

如何以MS Word保留格式和语法高亮显示代码片段？ 1877

如何从git repo中删除文件？ 1795

使用jQuery将表单数据转换为JavaScript对象 1580

git:撤消所有工作目录更改,包括新文件 1108

如何在Vim中有效地处理多个文件？ 1074