如何建立一个快速的局域网

Ben*_*Ben 35 networking lan

我从事电影制作,需要非常快速地访问非常大的原始素材文件。我目前正在使用 eSATA 6Gbps 坞站作为内部硬盘驱动器,其运行速度与驱动器运行速度一样快。

如果我要使用服务器并通过网络连接到我的工作站,什么(相对实惠的)技术可以让我接近或超过驱动器速度?

Spi*_*iff 31

在 2017 年初,从网上现成的信息来看,它看起来是最快的 SATA 硬盘,最大输出速度约为 220 兆字节/秒,即 1.760 吉比特/秒。

因此,如果您只是想超越单个驱动器的速度,并且出于对巨大视频文件的每 TB 成本考虑而仅限于使用 HDD,那么 10 Gb 以太网就足够了。


顺便说一句,请注意 Thunderbolt 网络也是 10 Gigabit/sec,所以如果你已经有 Thunderbolt 端口,你可以尝试一下。可以想象,它可以击败您的 6 Gigabit eSATA 3 端口,尽管我不确定这一点,因为 eSATA 是非常特定于存储的,而通过以太网进行存储的开销更大。另请注意,Thunderbolt 是桌面总线;它只能达到几米,而不是 10 Gigabit Ethernet 可以处理的 100m。因此,虽然 Thunderbolt 在您权衡选择时进行试验和原型设计可能很有趣,但它可能不是适合您的长期解决方案,除非您希望将所有工作站和磁盘背靠背连接在一张大桌子周围。


所以这适用于单个 HDD。但是,如果您将这些驱动器 RAID 在一起,以便每次读取或写入都分布在多个驱动器上,那么您可以获得比单个驱动器性能更好的性能。此外,根据您的预算,您可以将 PCIe/M.2 NVME SSD 放入 PC 中作为服务器/NAS,您可以获得极快的存储性能(大约 3.4 GB/秒 == 27 GB/秒)/驾驶。

在这种情况下,您可能想看看比 10 Gigabit Ethernet 更快的东西,但在网上环顾四周,价格似乎比 10 Gigabit Ethernet 大幅上涨。因此,您可能需要考虑跨多个 10Gigabit 链路进行链路聚合。我还在网上看到一些使用网络设备的轶事,例如使用过的 40Gbps InfiniBand 的东西,如果您不介意在 eBay 上购买二手设备带来的麻烦,可以在 eBay 上以非常便宜的价格购买。

  • @JohnU 不,以太网对于标准 1500 字节帧的效率为 94%,对于巨型帧甚至更好。我经常看到 930+ Mbps 的吞吐量,甚至没有尝试。千兆以太网不允许使用集线器,只允许使用交换机,因此它始终是全双工的,因此永远不会发生冲突。 (4认同)
  • 绑定允许单独的流使用不同的物理链接,但单个流将只使用一个 NIC。因此,当多个文件同时提供给不同的人时,这将很有用,但不会增加单个文件访问的带宽。 (2认同)
  • @JFL Linux 聚合当然可以使用一些 layer3+ 信息(Linux 可以做很多不寻常的事情),请记住您确实需要双方都支持相同的绑定方法才能有用。如果您连接到交换机,那么您可以真正使用交换机支持的功能。 (2认同)

小智 5

如果您坚持使用 SATA 磁盘,实施 10Gb 以太网并在服务器上构建合理大小的 RAID10 将使您获得比单个 SATA 磁盘更显着的性能提升。这将是一项值得的投资,因为您可以根据需要在任意数量的工作站之间共享服务器,并在未来通过添加交换机来添加。您需要运行 Cat-6 以太网电缆,因为 Cat-5E 不会切断它 - 不要忘记将此费用添加到您的计算中。您还可以添加 SSD 作为缓存以进一步加快系统速度;由于您正在处理视频片段,因此我假设您需要大量存储空间,如果仅使用 SSD 来构建,这将非常昂贵。

您可以从戴尔或惠普购买预制的机架式服务器并使用硬件 RAID 卡,或者如果您更喜欢硬件,您可以从 Supermicro 购买更便宜的机箱并自己构建存储机器,使用软件 RAID无论是 Windows 还是 Linux。当涉及 RAID1 时,硬件 RAID 通常更快,因为软件必须依次写入每个磁盘并等待写入完成,然后才能进行下一个操作;RAID卡通常可以并行写入两个磁盘,并缓存写入操作,立即将控制权返回给操作系统。但是请注意,虽然 RAID0 会更快,但您没有冗余,单个驱动器故障将导致数据完全丢失;当您有要保留的数据时,切勿使用 RAID0。

在规模的高端,您有存储区域网络 (SAN),但这些网络旨在允许来自大量独立客户端的并行操作;这样做的一个好处是,对于少量连接的机器来说,吞吐量非常高,但对于您的需求来说可能是过度的,而且非常昂贵。在低端,您有其他人提到的网络附加存储 (NAS) 设备,但尽管比完整服务器简单得多,但我不推荐它们,因为 NAS 通常是一个黑匣子;它们旨在为大多数用户即插即用,因此您几乎无法控制操作系统 - 我只需要寄回我为客户办公室购买的小型 NAS,因为它在使用一天后变得不稳定。

构建服务器的另一个优势是您可以将所有素材集中在一个地方,这使得定期备份变得实用且相对容易。永远不要忽视您的备份策略;总有一天你需要依赖它!

  • “软件必须依次写入每个磁盘并等待写入完成,然后才能进行下一个操作”。几十年来,情况并非如此。现在甚至非服务器磁盘也支持命令队列。严格来说,使用 DMA 软件也不需要等待。自 1998 年左右以来,台式机就已支持此功能。 (3认同)
  • 根据定义,NAS 并不是什么特殊设备,您可以将一台带有 samba 或 NFS 的普通 Linux PC 称为 NAS。主要区别在于文件级共享与块级共享。一个块设备一次只能被一个客户端使用。此外,SAN 更昂贵,需要更长/更多的知识来配置。 (2认同)