如何知道HTTP请求是否是BOT

Question

我正在寻找BOTS用户代理的完整列表(爬虫,蜘蛛,推特机器人等).

你知道吗？

谢谢

Answer 1

长话短说：你不能，没有灵丹妙药。任何机器人都可以将其user-agent字符串设置为从“googlebot”到“spamalot”的任何内容。

您可以自己查看，您所需要做的就是转到 Shinnok 指向的第一个站点，然后开始计算Googlebot/2.X其中列出的所有机器人。你阻止他们，他们将机器人的名称更改为随机乱码等等。最后，您将得到一个 10k 机器人列表，当您尝试验证用户是否是机器人时，该列表将减少用户的加载时间。