Ubuntu 存储库/服务器是否执行日志分析以识别和阻止检索程序？

Question

许多服务器管理员希望他们的服务器仅供人类使用，而不是由诸如wget. 阻止此类程序的一种方法是使用日志分析。日志分析通过寻找请求之间具有统计意义的相似性来识别检索程序，通常是通过计时。

每当我尝试使用 wget通过 shell 脚本（类似于 由 创建的那些synaptic，大部分实际上是由 创建的synaptic）下载包时，只有少数包被下载，并且大多数包由于连接拒绝而无法下载。

所以我强烈认为连接被拒绝的最可能原因是 Ubuntu 服务器使用日志分析来阻止程序。

Ubuntu 服务器是否使用日志分析来阻止（包检索）程序？

编辑：
我执行了一些包含小尺寸包的脚本（即，它们会在更短的时间内下载）。此类脚本按预期正常工作。错误出现在尺寸较大的包中（因此它们需要更多时间）。

Answer 1

wget有一个选项 ，--random-wait旨在避免日志分析阻塞。来自文档：

--random-wait

一些网站可以执行日志分析，以通过查找请求之间的时间之间的统计上显着的相似性来识别诸如Wget之类的检索程序。此选项导致请求之间的时间在 0.5 到 1.5 * wait 秒之间变化，其中 wait 是使用该--wait选项指定的，以便在此类分析中屏蔽 Wget 的存在。

2001 年，一份专门讨论流行消费者平台开发的出版物中的一篇文章提供了动态执行此分析的代码。其作者建议在 C 类地址级别进行阻止，以确保即使更改 DHCP 提供的地址，也会阻止自动检索程序。

该--random-wait选项的灵感来自于这一不明智的建议，即由于一个人的行为而阻止许多不相关的用户访问某个网站。

因此，如果服务器接受您--random-wait打开该选项但并非没有打开该选项，则它正在使用日志分析。