快速在服务器之间传输大数据

Question

这是一个常见的问题,但谷歌搜索这给了很多废话.

随着数据量越来越高,以及处理能力和云功能,我们正在目睹对快速数据传输技术的需求不断增长,这些技术能够通过在不同服务器之间传播/移动/共享来释放所有这些可用数据的能力/客户端.

在我们的例子中,我们正在录制实时二进制数据(每天50 Gigs),我们需要每天上传/下载到订阅者/从订阅者下载(是的,每个订阅者服务器都需要本地二进制数据,用于计算和各种数据分析的东西)

因此,很快就会有什么选择可以在远程Windows服务器之间传输许多GIG数据(VPS,云,具有"相当"一致的bandwitdth - (光纤放在一边))

这是一个悬而未决的问题.无论协议如何,每个想法都受欢迎.

Answer 1

通过网络发送和接收数据的挑战是多方面的。

1. 网络带宽是最大的限制因素，在应用程序级别您几乎无能为力（除了偶尔压缩数据，即使在这种情况下，压缩比也决定增益）。所以更快的网络是首选。

2. 某些协议更适合传输某些类型的文件/数据。例如，http 是基于文本的协议，并不真正适合二进制和大型内容。但由于它是最流行的网络协议，需要通过网络发送二进制内容，因此编码和分块等技术已经发展。如果您的数据量级为 GB（这正是您的情况），那么HTTP实际上不是您的选择。

3. FTP是用于通过网络传输文件的最流行的协议，并且它是专门为传输文件而设计的。FTP 有几个扩展，例如GridFTP、bbftp，它们是专门为大数据传输而设计的。

4. BitTorrents 是另一个可以探索的选择。Facebook 使用 BitTorrents 将二进制文件推送到服务器（数量数万）。

你的问题是非常开放式的，我的经验有限:)。这是我发现的处理大数据传输的链接。希望这对您有帮助。