硬件/软件设计：2 PB 的存储空间

Question

免责声明是的，我要求您为我设计一个系统:)

我的任务是设计一个系统来存储大约 10 TB/天的数据，保留时间为 180 天。

我的第一种方法是使用 GlusterFS 并使用这样的硬件设置：

系统中的单个节点：

• 1带有HP Smart Array P812 控制器的HP ProLiant DL180 G6
• 8 HP D2600 带 12 2 TB 6G SAS 7.2K LFF 双端口 MDL 硬盘 24 TB 捆绑
• 106个存储盘（2个OS盘，10个服务器中的数据盘，96个分布在8个架子上）

我需要 9 个节点来获得可以保存数据的网络存储（没有复制或对本地磁盘的突袭）。

优点：

• 我可以从没有架子的单个服务器开始
• 通过向单个服务器添加架子来增长（或添加服务器，只需考虑通过首先添加节点或首先添加架子或两者的混合来扩展）
• “无限”缩放（对于“无限”的某些定义）

缺点：

• 总的来说：我实际上不知道如何验证一旦我达到扩展的最后阶段这是否是一个可行的设置（估计 1.8 PB）

我没有任何实际的首选方向，只有一些使用 GlusterFS 的经验，我有一个 4 TB 系统（分布式、复制、4 个节点）已经在使用 GlusterFS。

我很确定这个设置运行 Hadoop/Gluster/Netapp/EMC/Hitachi/EveryoneElse 没有太大区别，但用例是（drumroll）：

ls -ltr | grep 'something' | xargs grep somethingelse

是的，这很可怕。我试图说服人们对这些数据进行真正的分析工作，但似乎这不会发生。（好吧，没那么糟糕，但那些人会在一些“分析”系统上使用一个简单的 ssh 会话来手动转到某个目录，递归查看一些文件，然后确定数据是否正常，现在听起来更糟我写的）

我对任何想法持开放态度，我确实有人在我们公司内运行“大存储”（例如，一个备份系统有 2PB），我很乐意使用他们已经可用的任何东西。但我也必须证明他们在做正确的事情（请不要问这是一个政治问题，我相信我的数据给存储团队，我不知道为什么我必须重复工作）

考虑如何实际对数据进行分析的问题显然超出了范围。

有无数次会议，我提出了从 Splunk 到内部开发的分析作业（有和/或没有 Map/Reduce 系统）的所有内容。对此没有兴趣。人们关心的是：

• 10TB/天
• 保留数据 180 天
• 使其高度可用（尚未完全定义，但已达到 99.9、99.99 ……）

Answer 1

嗯，你没有提到预算......所以现在买这个。这种规模的数据可能应该留在具有该领域经验的团队手中。很高兴有支持和有人大喊大叫:)

http://www.racktopsystems.com/products/brickstor-superscalar/

http://www.racktopsystems.com/products/brickstor-superscalar/tech-specs/

4 x Storage Heads BrickStor Foundation Units
10 x BrickStor Bricks (36 x 3.5? Bay JBOD)
2 x 16-port SAS switch
1 x pullout rackmount KVM
1 x 48U Rack
1 x 10Gb Network Switch (24 x 10Gb non-Blocking)
NexentaStor Plug-ins:VMDC, WORM, HA-cluster or Simple-HA
Onsite installation 5-days
24/7/365 day email and phone support
Onsite Support

由于您描述的应用程序似乎确实不在集群存储领域（考虑到用例），因此请使用 ZFS。您将获得无限的可扩展性。您将有机会将一些压缩卸载到存储系统，并且您可以告诉您所有的朋友：)

更重要的是，L2ARC 缓存（使用 SSD）将保持热数据可用于以 SSD 速度进行分析。

编辑：另一个基于 ZFS 的解决方案 - http://www.aberdeeninc.com/abcatg/petarack.htm

此外，红帽现在进入了横向扩展存储行业。

请参阅：http : //www.redhat.com/products/storage/storage-software/