往返中国的快速、可靠的数据传输

nil*_*ils 5 vpn storage file-transfer connection ftp

我们是一家小公司,在不久的将来,我们将需要在欧洲和中国之间传输大量数据(每次 10GB+)。

正如许多人可能经历过的那样,进出中国的互联网连接有时可能相当不可靠,而且速度很慢,没有任何明显的原因。例如,虽然通过 FTP 向中国发送数据通常效果很好,但在另一个方向上可能会非常缓慢。

目前,我们正在研究在两个方向都具有高传输率的新方法。到目前为止,我们已经尝试过:

  1. FTP(见上文)
  2. FTP over VPN 服务(通常比直接连接慢)
  3. F2F(如 Retroshare 或 Freenet - 慢!!)
  4. Aspera(快速但昂贵!)
  5. BitTorrent(无法访问的终端节点,防火墙的 b/c,我们不能配置)

我们想尝试:

  1. 云存储(例如 Amazon S3、Google Storage)——这些服务是否始终可以从中国境内可靠地访问?
  2. 点对点 VPN(目前不可能,b/c 网络,见上文)

我会特别感谢之前已经处理过此类问题的人的来信。

web*_*toe 3

我建议使用rsync来进行此类传输。它可以用于ssh加密流量(因此您不需要使用单独的 VPN)、压缩流(根据您的数据类型,这可能非常有效)并且可以在传输失败时重新启动传输(它使用滚动校验和)查看传输失败的位置以及从哪里重新开始)。

我使用以下内容,其中包含上述内容(因为我/大多数机器上的 rsync 客户端默认使用 ssh):

rsync -avz <local file> username@hostname:/path/where/to/place/file/<remote file>
Run Code Online (Sandbox Code Playgroud)

您可以--progress在终端上查看传输的进展情况。通常它通过 ssh 进入并使用本地计算机rsync客户端,但也有一个 rsync 守护进程。我从未使用过它,但如果您想要一个类似于 的实际守护进程,值得研究一下ftpd

由于它使用 SSH,如果防火墙锁定了端口,您还可以更改它使用的端口。也就是说,您不必让 ssh 侦听端口 22(事实上,我并不是为了避免互联网上随机的人扫描我的 SSH)。

它通常在 Unix 系统(包括 Mac)上使用,但如果您需要在 Windows 上使用它,也可以使用Cygwin安装它。

如果你想要一个实际的服务,我使用rsync.net,很明显,它提供了你可以轻松同步数据的存储。他们在瑞典有一个欧洲数据中心,可以满足您的目的,并且不会限制进出流量速度(尽管请检查小字)。