我刚刚开始考虑创建/自定义网络爬虫,并且对网络爬虫/机器人礼仪知之甚少.我发现大多数关于礼仪的着作看起来都很古老而且很尴尬,所以我想从网络开发者社区获得一些当前(和实际)的见解.
我想使用爬虫来超越"网络"以达到一个超级简单的目的 - "站点XYZ的标记是否满足条件ABC？".
这为我提出了很多问题,但我认为首先要解决的两个主要问题是:
| 归档时间： |
|
| 查看次数： |
3014 次 |
| 最近记录： |