相关疑难解决方法(0)

抓取和网络抓取之间有区别吗？

如果存在差异,那么为了收集一些网络数据以供以后在定制搜索引擎中使用的数据库,最好的方法是什么？

您在Ruby中编写Web爬虫的建议是什么？任何lib比机械化更好？

我刚刚开始考虑创建/自定义网络爬虫,并且对网络爬虫/机器人礼仪知之甚少.我发现大多数关于礼仪的着作看起来都很古老而且很尴尬,所以我想从网络开发者社区获得一些当前(和实际)的见解.

我想使用爬虫来超越"网络"以达到一个超级简单的目的 - "站点XYZ的标记是否满足条件ABC？".

这为我提出了很多问题,但我认为首先要解决的两个主要问题是:

• 从一开始就感觉有点"不确定" - 这种事情是否可以接受？
• 爬虫需要采取哪些具体考虑因素才能让人不安？