将 10 TB 的文件从美国传输到英国数据中心

Question

将 10 TB 的文件从美国传输到英国数据中心

Pau*_*ett 96 file-transfer large-data

我正在将我的服务器从美国迁移到英国，从一个数据中心迁移到另一个数据中心。我的主持人说我应该能够达到每秒 11 兆字节。

操作系统为两端的Windows Server 2008。

我的平均文件大小约为 100 MB，数据分布在五个 2 TB 驱动器上。

传输这些文件的推荐方式是什么？

FTP
中小企业
Rsync / Robocopy
其他？

我不太担心安全性，因为无论如何这些都是公共文件，但我只是想要一个可以推动完整 11 MB/s 传输速率以最小化总传输时间的解决方案。

Answer 1

Sha*_*den 173

而是将硬盘驱动器运送到大洋彼岸。

在 11 Mbps 的充分利用下，您需要 90 天才能传输 10 TB。

11 Mbps = 1.375 MBps = 116.015 GB/天。

10240 GB / 116.015 GB/天 = ~88.3 天。

一位智者曾经说过“永远不要低估一辆装满磁带的旅行车在高速公路上疾驰的带宽”。这个等式是非常正确的，并且不会因为改变船的旅行车而发生实质性的改变。(http://www.bpfh.net/sysadmin/never-underestimate-bandwidth.html) (44认同)
+1 [Sneakernet](http://en.wikipedia.org/wiki/Sneakernet)。此外，您忘记了 TCP/IP 开销。在理想情况下，它更像是约 100 天。 (43认同)
仍然相信在官方磁盘仍在工作时派人监督 10TB 备份，然后一旦设置完成，您可以午餐 rsync 以更新新服务器以进行任何更改。您将在大约一天内启动并运行机器。 (18认同)
刚刚意识到我输入了 11Mbps，但实际上我的意思是 11MB/s。我想这会有很大的不同，我的计算大约需要 11-14 天……这是正确的吗？ (10认同)
最好运送磁带或蓝光磁盘，而不是驱动器。如果您使用驱动器，请确保原件安全且可用以防万一。我会自己购买驱动器（除非我有 Ultrium 4 驱动器），因为 10 TB = 410 个单层蓝光磁盘！ (5认同)
@PaulHinet 如果您确实想进行电汇传输，我会向您推荐 Korjavin 的回答 - 使用 rsync。哦，如果数据压缩得不错，请添加`-z` 选项以将 gzip 压缩添加到传输中。 (3认同)
不，MP3 文件已经被压缩并且根本不能很好地压缩 - 设置 `-z` 只会浪费 CPU 时间。rsync 应该可以轻松击中整棵树。 (3认同)
@Mikey您不想将驱动器联邦快递。清关可能需要 10 天或更长时间。如果您派一个人随身携带满是驱动器，他们 [尽管会受到安全人员的特殊检查，并且可能会有负面表情] 将在大约 14 小时内到达那里。 (3认同)
我会解雇数据中心运营商并获得更好的运营商。 (2认同)
@Brennan 你会提出什么建议？这显然不是跨大西洋文件传输的理想通用解决方案，但请记住我的回答的上下文；a) 这是一次性传输，b) 为这种一次性传输设置更宽的互联网电路显然是不可行的，并且 c) 当问题读取为 11Mbps 而不是 11MBps 时提供了它。 (2认同)
@Brennan 是的，而且所有这些在时间和财务费用方面都比邮寄费用更高。对于一次性的事情，智力上的懒惰是聪明的。 (2认同)

Answer 2

Luc*_*man 26

我想说 rsync，在 11 MB/s 时，您会看到 10-14 天，即使您被中断，rsync 也很容易从上次停止的地方开始。

在 11 Mbps 时，我会像上面建议的那样运送硬盘:)

差异源于 OP 误报了 11 Mbps，而实际上他的意思是 11 MBps —— 快了 8 倍。顺便说一句，在中断的情况下重新启动 10 TB rsync 可能需要一段时间，不是吗？小时，还是更长？ (9认同)
rsync 重新启动时间与文件数量有关（根据我的经验，主要来自 `stat` 时间），而不是总数据。我预计不会有明显的等待（最多几分钟）。虽然我在 rsync 方面的经验略低于 5TB。 (6认同)