在各大洲之间传输大量数据

Question

可能的重复：
通过 Internet 共享大文件的免费方式？
在不使用 Internet 的情况下传输大文件有哪些选择？

我妻子的实验室正在美国与新加坡的合作者开展一个项目。他们偶尔需要跨大陆传输大量高维图像数据（约 10GB 压缩）。使用当前的技术，对于这种使用场景，什么是好的解决方案？

我能想到一些，但似乎都不理想：

有什么建议？

更新：合作双方都不是精通技术的用户。

Answer 1

我建议你使用rsync。Rsync 支持增量传输算法，因此如果您的文件只是部分更改，或者如果之前的传输异常终止，Rsync 足够智能，可以仅同步新的/更改的内容。

有几个原始 Rsync 到 Windows 和其他非 unix 兼容系统的端口，免费和非免费。有关详细信息，请参阅Rsync 维基百科文章。

SSH 上的 Rsync 使用非常广泛，并且运行良好。现在 10GB 的数据量相对较小，您没有指定“偶尔”是什么意思。每周？日常的？每小时？以 500KB/秒的传输速率，大约需要 6 个小时，并不是很长的时间。如果需要频繁传输数据，最好创建一个 cron 任务来自动启动 rsync。

Answer 2

通过互联网连接可能是一个可行的选择，像 bittorrent 这样的程序完全适合这个目的，因为它将文件分解成逻辑片段，通过互联网发送，在另一端重建。

Bittorrent 还为您提供自动纠错、修复损坏的部分，如果更多人需要这些文件，那么他们将受益于能够从已下载文件（部分）的尽可能多的来源提供文件。

诚然，人们认为它是下载电影等的好方法，但它确实有更多的合法用途。

许多 bittorrent 客户端还内置了跟踪器，因此您不必拥有专用服务器来托管文件。

感谢您的投入。在学术网络中使用 BitTorrent 可能会使他们的管理员感到紧张。此外，对于普通计算机用户而言，跟踪器服务器的设置和维护可能并不容易。 (2认同)
这是一个很好的观点，许多企业和学术网络都积极禁止 bittorrent。通过适当的管理，您可以在允许使用 bittorrent 的用户或机器网络中设置白名单，但这意味着与相应的 IT 部门保持非常密切的联系才能正常工作。正如我提到的，您不一定需要专用服务器，因为它可以内置到许多客户端程序中。如果它不适合您的情况，那么不用担心，考虑到您的要求，我认为这是合理的。 (2认同)

Answer 3

将文件分割成例如 50MB 的块（使用 eg split）。计算所有这些的校验和（例如md5sum）。使用 FTP 和容错 FTP 客户端直接上传，例如lftp在 Linux 上。传输所有块和包含所有校验和的文件。

在远程站点上，验证所有块是否具有所需的校验和，重新上传那些失败的块，并将它们重新组合到原始文件中（例如使用cat）。

根据需要恢复服务器的位置（我假设目标站点提供了服务器并且您在文件准备好后在本地开始传输）。您的 FTP 客户端不应该关心。

我过去遇到过类似的问题，使用容错的 FTP 客户端工作正常。没有位被翻转，只是常规连接中止，所以我可以跳过创建块并上传文件。我们仍然提供了完整文件的校验和，以防万一。