我从事电影制作,需要非常快速地访问非常大的原始素材文件。我目前正在使用 eSATA 6Gbps 坞站作为内部硬盘驱动器,其运行速度与驱动器运行速度一样快。
如果我要使用服务器并通过网络连接到我的工作站,什么(相对实惠的)技术可以让我接近或超过驱动器速度?
Spi*_*iff 31
在 2017 年初,从网上现成的信息来看,它看起来是最快的 SATA 硬盘,最大输出速度约为 220 兆字节/秒,即 1.760 吉比特/秒。
因此,如果您只是想超越单个驱动器的速度,并且出于对巨大视频文件的每 TB 成本考虑而仅限于使用 HDD,那么 10 Gb 以太网就足够了。
顺便说一句,请注意 Thunderbolt 网络也是 10 Gigabit/sec,所以如果你已经有 Thunderbolt 端口,你可以尝试一下。可以想象,它可以击败您的 6 Gigabit eSATA 3 端口,尽管我不确定这一点,因为 eSATA 是非常特定于存储的,而通过以太网进行存储的开销更大。另请注意,Thunderbolt 是桌面总线;它只能达到几米,而不是 10 Gigabit Ethernet 可以处理的 100m。因此,虽然 Thunderbolt 在您权衡选择时进行试验和原型设计可能很有趣,但它可能不是适合您的长期解决方案,除非您希望将所有工作站和磁盘背靠背连接在一张大桌子周围。
所以这适用于单个 HDD。但是,如果您将这些驱动器 RAID 在一起,以便每次读取或写入都分布在多个驱动器上,那么您可以获得比单个驱动器性能更好的性能。此外,根据您的预算,您可以将 PCIe/M.2 NVME SSD 放入 PC 中作为服务器/NAS,您可以获得极快的存储性能(大约 3.4 GB/秒 == 27 GB/秒)/驾驶。
在这种情况下,您可能想看看比 10 Gigabit Ethernet 更快的东西,但在网上环顾四周,价格似乎比 10 Gigabit Ethernet 大幅上涨。因此,您可能需要考虑跨多个 10Gigabit 链路进行链路聚合。我还在网上看到一些使用网络设备的轶事,例如使用过的 40Gbps InfiniBand 的东西,如果您不介意在 eBay 上购买二手设备带来的麻烦,可以在 eBay 上以非常便宜的价格购买。
小智 5
如果您坚持使用 SATA 磁盘,实施 10Gb 以太网并在服务器上构建合理大小的 RAID10 将使您获得比单个 SATA 磁盘更显着的性能提升。这将是一项值得的投资,因为您可以根据需要在任意数量的工作站之间共享服务器,并在未来通过添加交换机来添加。您需要运行 Cat-6 以太网电缆,因为 Cat-5E 不会切断它 - 不要忘记将此费用添加到您的计算中。您还可以添加 SSD 作为缓存以进一步加快系统速度;由于您正在处理视频片段,因此我假设您需要大量存储空间,如果仅使用 SSD 来构建,这将非常昂贵。
您可以从戴尔或惠普购买预制的机架式服务器并使用硬件 RAID 卡,或者如果您更喜欢硬件,您可以从 Supermicro 购买更便宜的机箱并自己构建存储机器,使用软件 RAID无论是 Windows 还是 Linux。当涉及 RAID1 时,硬件 RAID 通常更快,因为软件必须依次写入每个磁盘并等待写入完成,然后才能进行下一个操作;RAID卡通常可以并行写入两个磁盘,并缓存写入操作,立即将控制权返回给操作系统。但是请注意,虽然 RAID0 会更快,但您没有冗余,单个驱动器故障将导致数据完全丢失;当您有要保留的数据时,切勿使用 RAID0。
在规模的高端,您有存储区域网络 (SAN),但这些网络旨在允许来自大量独立客户端的并行操作;这样做的一个好处是,对于少量连接的机器来说,吞吐量非常高,但对于您的需求来说可能是过度的,而且非常昂贵。在低端,您有其他人提到的网络附加存储 (NAS) 设备,但尽管比完整服务器简单得多,但我不推荐它们,因为 NAS 通常是一个黑匣子;它们旨在为大多数用户即插即用,因此您几乎无法控制操作系统 - 我只需要寄回我为客户办公室购买的小型 NAS,因为它在使用一天后变得不稳定。
构建服务器的另一个优势是您可以将所有素材集中在一个地方,这使得定期备份变得实用且相对容易。永远不要忽视您的备份策略;总有一天你需要依赖它!
| 归档时间: |
|
| 查看次数: |
8731 次 |
| 最近记录: |