我可以用什么方法来检测机器人？

Question

仅仅因为软件是自动化的并不意味着它会遵守你的robots.txt.有哪些方法可用于检测何时有人抓取您的网站？假设您的网站有100个页面,并且值得抓取或DDOS.

这是一个愚蠢的想法,我可能不起作用:给每个用户一个具有唯一值的cookie,并使用cookie知道有人在做第二个/第三个/等等请求.这可能不起作用,因为爬虫可能不接受cookie,因此在这个方案中,机器人看起来像每个请求的新用户.

有没有人有更好的想法？

Answer 1

您可以在页面中放置最终用户不可见或不可点击的链接。许多机器人只是跟踪所有链接。一旦有人请求其中一个链接，您几乎肯定有一个爬虫/机器人。