使 wget 不下载大于 X 大小的文件

Question

好吧，我放弃了。我如何限制下载的文件的大小，比如我不想要任何大于 2 MB 的文件？

Answer 1

我知道wget支持的唯一限制选项是-Q配额开关。但这不是您想要的，因为它会在您下载的所有文件的组合限制后停止，而不是单独限制。-Q正如手册页中所解释的那样，将每个链接与开关分开连接也不起作用。

不知道你用的是什么环境，爬虫支持文件大小限制，有max-length-bytes，运行在Java平台。

从他们的用户手册：

• 最大长度字节

每个文档下载的最大字节数。一旦达到此限制，将截断文件。

默认情况下，这个值被设置为一个非常大的值（在艾字节范围内），在实践中永远不会达到。