存储10TB/月的解决方案

Gal*_*eta 7 storage

我在一家小型电视公司工作。他们每月生成 11TB 的视频文件。

我能做什么?。我只需要普通的 SATA 磁盘,在 RAID 中。我应该购买什么解决方案?

(他们使用了很多 Iomega NAS)

Rob*_*oir 12

嗯嗯

“无限扩展”让我害怕。你真的需要每一秒在线电影吗?可以考虑分层存储吗?快速存储最近/经常使用的东西;速度较慢、容量较大的存储设备可以方便地存放您需要的东西,但不会在那里打响指;最后是磁带或类似于存档旧数据的东西?

至于实际选项,您的预算如何?我将推荐戴尔系列的产品,因为这是我最熟悉的,但是所有顶级服务器供应商都会在同一点上拥有自己的产品,但我对这些产品并不熟悉,您需要建议,不是一长串驱动器型号。

如果您想通过多台服务器发布这些数据,我喜欢戴尔的Equallogic系列 SAN 设备,它们有多种选择,可以为您提供快速存储层和较慢的更高容量层,当然您可以购买您喜欢的任何大小的戴尔磁带库也可用于存档层。

如果您只想通过一台服务器发布这些内容,请考虑直接附加存储选项 - 可以插入服务器的磁盘组。再次来自戴尔系列,我知道你会谈论PowerVault系列

正如我之前所说,我并不是建议您必须购买戴尔,我不为他们工作,也不为他们工作——只是我们使用了很多他们的东西,我对此非常了解。你可以看看惠普、Sun/Oracle、IBM,它们都有相同级别的类似产品系列,而且还有很多公司专门从事存储。但是让文件使用量增长而不像这样管理它是灾难的秘诀恕我直言。

我知道你可能被告知他们需要所有即时可用的东西,并且你需要廉价地做到这一点,我理解压力。但是,在没有管理策略的情况下尝试管理这样的数据是在要求登月,这是行不通的。


cor*_*ump 7

我在一家广播公司工作,我们每个月都会生成大量的视频/音频数据。我们的解决方案是 2 个 Hitachi SAN,一个更快 (FC),一个更慢 (SATA),具有大量缓存(256GB 缓存)。我们预计它会在 3 年内耗尽。是的,高清视频是个婊子。

我们有一个正在开发的管理系统,它将处理所有内容生命周期并将其从较快的存储(在线)转移到较慢的存储(近线),最后将其存档在磁带上(涉及大量元数据以快速和稍后轻松找到存档中的内容)。我们有一个(可扩展的)1000 LTO 4 磁带库用于存档。

这是你应该记住的事情。你真的只需要快速访问/空间到你的编程的确定时间。说,上个月。这将是来自新闻团队、录制的演播室节目、现场表演录音以及外部制作(联合制作、广告等)的原始素材。这是将要进行播出和编辑的内容,因此必须能够快速访问(例如,SAN 连接到已完成编辑的 MAC)。

内容播出后,您可以(并且应该)将其移至收藏/存档(不知道正确的英语术语),可能是在磁带上。如果稍后需要确定的新闻、节目或节目,请将其重新注入更快的存储以供使用,并在完成后将其删除。

希望我的个人经验有帮助。


Dav*_*ver 3

如果您有时间自己设置一些东西,Backblaze 的人员有一篇关于如何构建存储 Pod 的精彩文章:http://blog.backblaze.com/2009/09/01/petabytes-on-a -预算-如何构建便宜的云存储/

  • 如果您拥有自行开发的专业知识,那么这些都是很棒的,但构建者要注意:由于所有通道共享,IO 吞吐量将是“垃圾”。 (4认同)