如何分块下载大文件

Question

我正在尝试下载一个 40GB 的文件并将其直接保存到我的 USB 闪存驱动器中，因为我的本地硬盘驱动器上没有足够的空间来存储该文件。

我的互联网连接每天只能下载 10GB，而且我的 USB 是 FAT32 格式的，因此它无法处理大于 4GB 的文件。

有没有办法每天下载这个文件的几个 4GB 块，然后在它们全部下载后将它们拼接在一起？

我正在使用 Windows 10 并且还有一个 Kali Linux live USB 密钥。

Answer 1

如果您下载的站点支持恢复下载，您可以使用curl与--continue-at选项一起使用 或wget与--start-pos选项一起使用。

虽然有 的--max-filesize选项curl，但它只是拒绝下载文件。

因此，您可以在文件足够大时中断下载，或者使用其他程序pv（您可能需要安装此软件包）。

示例：为了安全起见，假设“十进制”GB，4 GB = 4000000000，因此使用例如

curl --continue-at 8000000000 http://your/file/url | pv -S --size 4000000000 > your-file-name

下载第三块。（我希望curl能够正确处理大数字，我只检查了小数字）。

两者都是标准的Linux程序，我不知道它们是否也适用于Windows。