有谁知道如何告诉'facebookexternalhit'机器人传播其流量？
我们的网站每隔45-60分钟就会受到重创.每秒400个请求,来自facebook netblocks的20到30个不同的IP地址.在尖峰之间,交通不会消失,但负荷是可以接受的.当然我们不想阻止机器人,但这些高峰是有风险的.我们更愿意看到机器人随着时间的推移平均分配负载.并且看到它的行为就像Googlebot和朋友一样.
我已经看过相关的错误报告(第一个错误,第二个错误和第三个错误(#385275384858817)),但是找不到任何有关如何管理负载的建议.