Mon*_*edi 7 facebook bots web-crawler
Facebook刚刚实现了一些网络爬虫吗？我的网站在过去几天里已经崩溃了几次,严重超载了我追溯到Facebook的IP.
我试过谷歌搜索但无法找到任何关于通过robots.txt控制Facebook的爬虫机器人的权威资源.有关添加以下内容的参考:
用户代理:facebookexternalhit/1.1抓取延迟:5
用户代理:facebookexternalhit/1.0抓取延迟:5
用户代理:facebookexternalhit/*抓取延迟:5
但我找不到任何关于Facebook机器人是否尊重robots.txt的具体参考.根据较老的消息来源,Facebook"不会抓取您的网站".但这肯定是假的,因为我的服务器日志显示他们以每秒多页的速率从69.171.237.0/24和69.171.229.115/24范围内的十几个IP中爬行我的站点.
我找不到任何关于此的文献.我怀疑这是FB刚刚在过去几天实施的新功能,因为我的服务器从未崩溃过.
有人可以请教吗？
无论 facebook 发明了什么，你肯定需要修复你的服务器，因为外部请求可能会导致服务器崩溃。
另外，只是在谷歌上第一次点击facebookexternalhit： http: //www.facebook.com/externalhit_uatext.php
| 归档时间： |
|
| 查看次数： |
5600 次 |
| 最近记录： |