Mat*_* B. 5 ip web-crawler
我在哪里可以找到 Crawler 或 Spider IP 地址的完整列表。我需要来自 google yahoo microsoft 和其他经常抓取我网站的搜索引擎的 IP。
我不想禁用它们，因此将 robots.txt 文件排除在答案之外。该列表用于对每个页面上的活动进行统计报告的过滤器。
请张贴可以使用的好资源的链接。付费或免费。
Jon*_*Jon 4
您的网络服务器日志。我相信他们是自由的。
归档时间：
14 年，9 月 前
查看次数：
7793 次
最近记录：
9 年，9 月 前