限制大小wget可以下载

Question

是否可以限制或限制wget从网站下载的数据量？通过服务器设置还是wget设置？

例如,一个页面是1GB大小,我希望wget停止下载100MB.

Answer 1

利用系统通过ulimit命令限制进程资源消耗的能力应该正常工作.假设你使用bash:

(ulimit -f 102400; wget $url)

这里的大小是1024字节块.请注意,如果您使用不同的仍然符合标准的shell,或者bash在POSIX模式下使用,则块大小为512字节,因此命令应为:

(ulimit -f 204800; wget $url)

Answer 2

请参阅中的-Q或--quota选项man wget.

指定自动检索的下载配额.该值可以以字节(默认),千字节(带有k后缀)或兆字节(带有m后缀)指定.

请注意,配额永远不会影响下载单个文件.因此,如果您指定wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz,则将下载所有ls-lR.gz.即使在命令行中指定了多个URL,情况也是如此.但是,在递归检索或从输入文件检索时,会遵守配额.因此,您可以安全地键入wget -Q2m -i sites ---下载将在超出配额时中止.

不幸的是,正如文中所解释的,这可能对您没有用处:如果您尝试下载特定页面或文件,则此限制将不适用.配额仅在递归下载时才适用.

另一种选择是在后台运行下载,监视文件大小并wget在文件大于限制时终止.