由于机器人淹没我的网站,我的CPU使用率突然超过400%,我创建了一个robots.txt,如下所示,并将文件放在我的根目录中,例如"www.example.com/":
User-agent: *
Disallow: /
现在谷歌尊重这个文件,我的日志文件中没有更多的出现.然而,BingBot和BaiduSpider仍会显示在我的日志中(并且非常丰富).
由于我的CPU使用量大幅增加而且带宽和我的托管服务提供商即将暂停我的帐户,我首先删除了所有页面(如果有一个讨厌的脚本),上传的干净页面,通过IP地址阻止所有机器人.htaccess然后创建了robots.txt文件.
我到处搜索确认我做了正确的步骤(还没有尝试过.htaccess中的"ReWrite"选项).
任何人都可以确认我所做的应该做的工作吗？(自从我开始这项冒险以来,我的CPU使用率在6天内降至120%,但至少阻止IP地址应该会将CPU使用率降低到通常的5-10%).