小编San*_*mar的帖子

我怎样才能抵制那些糟糕的身份不明的机器人抓取我的网站？一些名字在Apache的cPanel中不存在的坏机器人正在严重访问我的网站带宽.

我曾在batgap.com/robots.txt上尝试过robots.txt,并且还使用.htaccess阻止了,但带宽使用情况没有改善.我不知道那些机器人的IP因此无法通过IP地址阻止它们.这些机器人消耗了太多的站点带宽,因此我需要从服务器增加它.