相关疑难解决方法(0)

为了在我们的预览环境中测试Open Graph API,我们需要在防火墙中挖一个洞以允许Facebook刮取我们的对象页面.我们应该允许哪些IP范围？

有谁知道如何告诉'facebookexternalhit'机器人传播其流量？

我们的网站每隔45-60分钟就会受到重创.每秒400个请求,来自facebook netblocks的20到30个不同的IP地址.在尖峰之间,交通不会消失,但负荷是可以接受的.当然我们不想阻止机器人,但这些高峰是有风险的.我们更愿意看到机器人随着时间的推移平均分配负载.并且看到它的行为就像Googlebot和朋友一样.

我已经看过相关的错误报告(第一个错误,第二个错误和第三个错误(#385275384858817)),但是找不到任何有关如何管理负载的建议.

Facebook刚刚实现了一些网络爬虫吗？我的网站在过去几天里已经崩溃了几次,严重超载了我追溯到Facebook的IP.

我试过谷歌搜索但无法找到任何关于通过robots.txt控制Facebook的爬虫机器人的权威资源.有关添加以下内容的参考:

用户代理:facebookexternalhit/1.1抓取延迟:5

用户代理:facebookexternalhit/1.0抓取延迟:5

用户代理:facebookexternalhit/*抓取延迟:5

但我找不到任何关于Facebook机器人是否尊重robots.txt的具体参考.根据较老的消息来源,Facebook"不会抓取您的网站".但这肯定是假的,因为我的服务器日志显示他们以每秒多页的速率从69.171.237.0/24和69.171.229.115/24范围内的十几个IP中爬行我的站点.

我找不到任何关于此的文献.我怀疑这是FB刚刚在过去几天实施的新功能,因为我的服务器从未崩溃过.

有人可以请教吗？