lo_*_*fye 10 performance googlebot
我在一个中间的专用服务器上运行一个内容很多,但流量很小的网站.
有时,Googlebot会踩踏我们,导致Apache最大化其内存,并导致服务器崩溃.
我怎么能避免这个？
您可以使用Google的网站管理员工具设置网站的抓取方式.具体来看看此页面:更改Google的抓取速度
您还可以使用robots.txt文件限制google bot搜索的页面.有一个可用的设置crawl-delay,但它似乎没有被谷歌尊重.
| 归档时间： |
|
| 查看次数： |
8190 次 |
| 最近记录： |