我正在为我的小办公室构建一个文件服务器。我们做电影和多媒体设计。只有 3 个客户端连接。服务器主要用于本地访问图形资产和视频文件。我正在寻找有关所需硬件和软件的建议。特别是对于RAID。我有以下目标:
A) 合并容量
我希望所有其他系统将数据作为具有 10 TB 初始容量的单个映射网络驱动器访问。所以也许是 5 个 2TB 驱动器(加上用于冗余的镜像驱动器)。
B) 增加容量的简单方法 从
长远来看,我想“轻松”向阵列添加更多驱动器,以实现容量增加两到三倍的潜力。所以理论上它可以达到一个 30 TB 的 RAID 阵列,其中可能包含 15 个 2 TB 容量的驱动器(加上用于冗余的镜像驱动器)。
C) 最大容错能力
我想要每个容量驱动器至少有 1 个镜像驱动器(用外行的话)。因此,如果我从 10 TB / 5x 2TB 容量开始,我想我还需要另一个 5x 2TB 驱动器作为镜像。所以总共有 10 个驱动器。但我也希望有更多冗余的潜力;每个“容量驱动器”最多有 2 个额外的镜像(并且能够随时轻松地将它们添加到阵列中)。
D) 监控驱动器健康的简单方法
我想要一个直观的界面来管理突袭和监控驱动器健康
访问此网络驱动器的其他系统将运行 Windows,但也会运行奇怪的 Ubuntu 和 MacOS 系统。
这些目标是否可以实现?您推荐哪种类型的 RAID 设置?需要什么硬件?
另外你认为这个系统应该运行什么操作系统?真的有关系吗?我不是网络管理员 - 只是很长时间的 Windoze 用户,没有太多的 Linux 经验。也就是说,如果 Linux 解决方案足够简单且比该服务器的 Windows 操作系统更实用,我并不反对它。或者也许是诸如 Openfiler 之类的东西。
预算应该达到价值和性能的最佳点(因此我更喜欢使用 2TB 驱动器)。最大的重点是存储;除此之外,系统只需要保持驱动器以最佳方式运行,在任何给定时间可能有 2 或 3 个客户端访问/写入文件。硬件报价以 10x 2TB WD Caviar Blacks 开头;存储约 1900 美元 + 其余部件 x 美元。
http://ncix.com/products/index.php?sku=42775&vpn=WD2001FASS&manufacture=Western%20Digital%20WD
感谢您的建议,谢谢!
我同意@sysadmin1138 在他的回答中所说的并投票赞成,但我有一些评论和我想补充的经验。
在从事 IT 全职工作之前,我在一个小型图形部门工作了 8 年,处理这类事情。我们有 3 位艺术家和接近 50 个节点的渲染计算机集群,创建和处理图像序列、视频帧,每帧高达 64 兆像素。我们是一家在利基市场工作的小公司,因此预算对我们来说也始终是一个问题。
请记住,具有 3 个用户的电影和多媒体视频服务器可能意味着很多事情。这可能意味着 3 个用户流式传输相同的 Web 质量视频,也可能意味着 3 个用户使用十几层或更多层 4k 未压缩或无损压缩帧序列合成镜头。在这两个示例中,网络类型和存储要求大不相同。因此,很难真正为您提供可靠的建议,但我会提到我们在之前的工作中使用的设置,因为它超出了该范围的高端。
我们的文件服务器/存储设置由许多来自Aberdeen 的外部 RAID 单元组成,这些单元连接到他们运行 Linux 的服务器之一。我们选择了对它感到满意的 Linux b/c,并且可以避免昂贵的 Window CAL。嘿,当你有一个相当大的渲染农场时,它们就会加起来。但 Aberdeen 也销售预先配置了 Windows 的服务器。他们最近还开始提供一些运行 Nexenta 的 ZFS NAS/SAN 存储服务器,这可能也值得一看。但是他们的硬件提供 5 年保修,因此我强烈建议您做类似的事情而不是自己构建一些东西。明智地监控他们的 DAS 单元有一个以太网管理端口,带有用于配置的 Web 界面。但是他们可以通过电子邮件和 snmp 提醒您任何问题。
Aberdeen DAS 单元起初作为多个 RAID5 LUN 暴露给服务器,但我们最终将它们全部迁移到 RAID6 LUN,并且我们使用 LVM 将存储作为池进行管理。每个项目都有自己的逻辑卷,随着项目的增长而增长。这使得在项目完成时归档项目变得容易,然后将空间返回到池中。在不使用 Veritas 等 3rd 方文件系统和管理工具的情况下,在 Windows 上最接近此功能的是 sysadmin1138 建议使用 Windows 动态磁盘。在我们的情况下,RAID10 可能是一个更好的选择,但我们的预算不允许我们放弃一半的容量,所以我们选择坚持使用 RAID6。服务器能够使其当时拥有的 2 Gbit 链接饱和,所以我认为这个选择不会让我们减慢速度。
但是我在 2003 年开始使用 3TB 存储进行设置,从那以后他们一直在增长。现在它已经有将近 8 年的历史了,而且这些年来大部分组件都已更换。但是,为它添加额外的存储空间并将逻辑卷从旧单元中迁移出来以停用它们非常简单。几年前,他们还更换了设置的文件服务器部分。他们当前的服务器有 4Gbit 链接。存储明智的最后我听说他们有点超过 40TB。
其他一些想法。
我知道使用 2TB 驱动器很诱人,因为它可以让您轻松实现容量明智的选择,但它以更少的主轴为代价,这意味着更少的 IOP 和更长的驱动器死机重建时间。
我不会给你定价,因为它高度本地化,毫无意义。
纯粹从您提议的存储使用模式来看,我看到的最大的 I/O 驱动程序是视频和图形设计。视频往往非常大。大到在遇到磁盘 I/O 瓶颈之前可能会遇到网络I/O 瓶颈。它对您的用户来说应该是活泼的,并且有足够的开销,当有人将 1.5GB 的视频文件提交给文件管理器时,人们仍然可以保存其他文件。
至于操作系统和服务器硬件,考虑到您的后台 Windows 在这里可以正常工作。服务器需要是 64 位的并带有 64 位 RAID 卡(如果您购买新的,这应该不是问题)。8GB RAM 是我要使用的最低配置。
现在是存储基础架构。
关键驱动因素:
使用支持 RAID10 和实时扩展的高端 RAID 卡。或者,如果在购买磁盘、RAID50 和大量电池后备或闪存缓存时成本开始让您生不如死。注意 RAID 卡上的“高级格式”支持(4KB 扇区与之前的标准 512B 扇区);如果您从大牌(戴尔/惠普/IBM)那里购买,这应该不是问题,但如果您从零件组装,这将是一个大问题。
一旦您的存储基础设施就位,您将依靠 RAID 卡向操作系统提供单个巨大的 LUN。由于您是端到端的 64 位,因此使用单个 30TB LUN 应该没有问题。添加空间应该像将驱动器导入 RAID 配置然后扩展 LUN 以填充新空间一样简单,所有这些都可以在线完成。请记住,如果您需要这样做,那么大的单个卷将需要一段时间才能使用 chkdsk。
如果你从大牌那里购买,它们都有监控磁盘健康的工具/代理,你只需要记住安装和配置它们。他们通常也有发送警报的方法。如果您是从零件中完成的,您的 RAID 卡供应商可能有一个实用程序,它可以做很多相同的事情,尽管可能不如大供应商分发的集成产品那么有特色。
如果出于某种原因确实需要使用多个 LUN,请记住 Windows 允许您使用挂载点。目录 F:\Bigshare\VideoArchive 可以是它自己的卷。人们将 Z: 映射到 \\storeserv\bigshare\,而 Z:\VideoArchive 是第二个 LUN。
避免 DFS。非 Windows 领域的支持非常参差不齐,不能依赖。
RAID50 注意事项
如果您必须去那里,请确保您的驱动器是企业级的。这会增加成本。一个 30TB 的 LUN在驱动器发生故障后可能需要一周的时间来重建,而且当您这样做时,您真的,真的,真的不希望驱动器发生故障。
事实上,通过确保没有 RAID50 集的大小增长超过 10TB 并且只使用多个 LUN,您会得到更好的服务;它减少了您外出的时间以及在重建期间遭受完整数据丢失事件的风险。
使用 Windows 动态磁盘可以轻松使用多个 LUN。这种类型的驱动器称为跨区驱动器,可以分布在多个不同大小的 LUN 上。这就是在最多只能使用 2TB LUN(3 个 2TB LUN 和单个 1.5TB LUN)的 32 位服务器上创建 9.5TB 卷的方法。I/O 不会像使用单个 30TB RAID10 LUN 那样平衡,但这是您为便宜付出的代价。
| 归档时间: |
|
| 查看次数: |
4575 次 |
| 最近记录: |