网站如何检测代理或公司网络背后的机器人

use*_*054 12 web-crawler

大型网站(例如维基百科)如何处理隐藏在其他 IP 掩码程序后面的机器人?例如,在我的大学里,每个人都在搜索维基百科,这给它带来了很大的负担。但是,据我所知,维基百科只能知道大学路由器的 IP,所以如果我设置了一个“释放”的机器人(请求之间只有很小的延迟),维基百科可以在不禁止整个组织的情况下禁止我的机器人吗?一个网站真的可以禁止组织网络背后的 IP 吗?

Zyp*_*her 21

不,他们会禁止公共 IP,并且所有通过 NAT 访问该 IP 的人也将被禁止。

尽管至少在堆栈中,如果我们认为我们要禁止一所大学或类似的事情,我们会联系他们的虐待联系人,让他们追踪罪犯并阻止问题。

  • Zypher 所说的话。作为曾经追踪发送到abuse@unnamedacademicinstitution.edu的投诉的人,我们通常非常渴望找到负责人,以便他们解锁公共IP。(大学生*喜欢*点对点分享音乐。RIAA喜欢联系abuse@whatever.edu了解它。) (2认同)