Has*_*anG 5 bots bandwidth download
我有一个asp.net下载页面,它发送文件到客户端,但我想拒绝机器人下载此文件,因为文件很大,我可以从记录中看到机器人下载此文件大约20次.这会降低服务器速度并导致带宽消耗.
我将此页面编码为计算下载并检测客户端的.net框架,以便我可以发布包含.net框架的安装文件.
我需要以某种方式拒绝Google和其他机器人访问此页面.
我的下载链接就像是download.aspx？pack = msp
Mar*_*man 8
是的,将robots.txt文件添加到您的网站.它应该包含一系列规则(真的建议)蜘蛛应该如何表现.
查看此文章了解更多信息.此外,对于踢,这是Google使用的robot.txt文件.
归档时间：
15 年，5 月 前
查看次数：
374 次
最近记录：
9 年，10 月 前