如何使用 LFTP 最好地传输 1.8TB 的单个文件?

5 linux ftp arch-linux raspberry-pi

我已经开始使用 Raspberry Pi 将 FTP 服务器上的文件和目录镜像到我的外部 HDD。

我使用了以下命令:

lftp user@adress.com

mirror --use-pget-n=8 /

文件正在下载,但它似乎运行得很慢。运行约10小时后,仅下载了139GB。每当我在桌面上使用 Filezilla 运行下载(运行 Linux Mint)时,我都会在 4 小时内下载 200GB。

我不知道每个文件应该下载多少个段,所以我选择了 8。但是我不完全确定将文件分成多个段的好处。

根据 Speedtest.net,我的下载速度峰值约为 40Mb/秒,通常约为 30Mb/秒。

是否有任何参数可以用来提高性能,或者它是否与 Raspberry Pi 的硬件有关?

我会存档所有文件并一次性下载它们,只是我对服务器没有任何其他访问权限。

谢谢。

Яро*_*лин 0

从 FTP 服务器下载文件的最快方法是在服务器上运行 lftp 并通过环回接口下载文件。

你的问题不精确(暂时先把它放在一边)。


速度测试给出每秒位数。40 Mbit/s 是 5 MByte。5 MB/s * 3600 秒 * 4 = 72k MB 或大约 70 GB。如果您的速度为 40 MB/s (320 Mbit/s),那么您将在 4 小时内下载大约 560 GB 字节。我认为即使是最新的消费级硬盘也无法写入那么快,因此您需要 SSD 驱动器。那些甚至可以在 500 场或更多演出中使用吗?

使用所描述的配置,您会看到 47 MB​​/秒的瓶颈,最可能的来源是(如果不是硬盘驱动器本身)外部硬盘驱动器的 USB 连接。但是,您没有说明驱动器是通过 USB 连接的。据我所知,RasPi 可能正在下载到网络驱动器。在这种情况下,您仍然会受到 USB 2 理论 60MB/s 限制的限制,因为 RasPi 上的以太网实际上是 USB 适配器。

我的评论尚无定论,但我认为可以合理地得出结论,RasPi 硬件应归咎于瓶颈。


当您通过不稳定的连接(或 UDP)下载时,文件分段变得更加重要。如果在传输一个文件时您的网络不会经常掉线,那么使用应用程序级分段只会给您带来一些额外的校验和。事实上,你很可能根本看不到这些。