标签: storage

我想构建一个存储服务器并购买了10 x 2TB WD RED's. 在HDD's刚刚抵达。

在将真实数据复制到磁盘之前，你们有没有什么工具可以用来检查坏驱动器或最好地防止婴儿死亡？

是检查每个单个HDD还是ZFS raid-z2通过复制大量数据来测试数组（）更好？

我了解什么是 IOPS 和吞吐量。吞吐量以 MB/s 为单位衡量数据流，IOPS 表示每秒发生的 I/O 操作数。

我不明白的是为什么许多存储服务只显示它们提供的 IOPS。我真的看不到任何我更愿意知道 IOPS 而不是吞吐量的情况。

为什么 IOPS 很重要？为什么 AWS 主要以 IOPS 显示其存储配置？IOPS 在哪些方面比吞吐量 (MB/s) 更相关？

编辑：

有些人正在研究这个问题，就好像我问什么是随机访问以及它如何影响性能或 HDD 和 SSD 的工作原理......对此，这不是问题的目标，问题是关于“当我看到 IOPS 数字时，我会获得哪些新信息，而我不会看到吞吐量 (MB/s) 数字？”

随着Hadoop的和CouchDB的在博客各地和相关新闻什么是分布式容错存储（引擎），实际工作。

• CouchDB 实际上没有任何内置的分发功能，据我所知，自动分发条目甚至整个数据库的粘合剂只是缺失。
• Hadoop 似乎被广泛使用——至少它得到了很好的报道，但仍然有一个单点故障：NameNode。另外，它只能通过 FUSE 挂载，我知道 HDFS 实际上并不是 Hadoop 的主要目标
• GlusterFS确实有一个不共享的概念，但最近我读了几篇文章，让我认为它不太稳定
• Lustre也有单点故障，因为它使用专用的元数据服务器
• Ceph似乎是首选播放器，但主页指出它仍处于 alpha 阶段。

所以问题是哪个分布式文件系统具有以下功能集（没有特定顺序）：

• POSIX 兼容
• 轻松添加/删除节点
• 无共享概念
• 在廉价硬件上运行（AMD Geode 或 VIA Eden 级处理器）
• 内置身份验证/授权
• 网络文件系统（我希望能够在不同的主机上同时安装它）

很高兴有：

• 本地可访问文件：我可以使用标准本地文件系统 (ext3/xfs/whatever...) 将节点挂载到分区，并且仍然可以访问文件

我不是在寻找托管应用程序，而是一些可以让我在我们的每个硬件盒中使用 10GB 并在我们的网络中提供存储空间的东西，可以轻松地安装在众多主机上。

我首先要说明的是，我不相信这与为什么企业存储如此昂贵？.

我的问题特别是关于 SAS 驱动器机箱，以及证明其费用的合理性。

我所指的外壳类型的示例是：

• 1马力 D2700
• 2戴尔 MD1220
• IBM EXP3524

以上每个都是一个 2U 直接连接的外部 SAS 驱动器机箱，有大约 24 X 2.5" 驱动器的空间。

我说的是裸机，而不是驱动器。我知道企业级硬盘和消费级硬盘之间的区别。

作为“球场”价格的一个例子，HP D2700（25 X 2.5" 驱动器）目前在没有任何驱动器的情况下售价约为 1750 美元（2012 年 12 月在美国亚马逊上查到）。低端 HP DL360 服务器约为 2000 美元，其中包含CPU、RAM、主板、SAS RAID 控制器、网络和用于 8 X 2.5" 驱动器的插槽。

当向客户或管理人员展示具有存储功能的拟议服务器的成本明细时，考虑到它本质上是被动的（除非我弄错了），外壳是一个重要的项目似乎很奇怪。

我的问题是：

1. 我是否误解了 SAS 驱动器机箱的组件？它不只是一个带有电源、SAS 布线和可容纳大量驱动器的空间的无源机箱吗？

2. 为什么成本看起来如此昂贵，尤其是与服务器相比时。鉴于所有组件的外壳并没有有（主板，CPU，内存，网络，视频），我期望的外壳是显著更便宜。

目前，我们向客户推荐服务器时的策略是避免因为机箱的价格而推荐外部驱动器机箱。但是，假设基本服务器无法在物理上安装足够的驱动器，并且客户端没有可用的 SAN 或 NAS，那么机箱是一个明智的选择。很高兴能够向客户解释为什么外壳的成本如此之高。

我管理的大多数 Linux 系统都具有硬件 RAID 控制器（主要是HP Smart Array）。他们都在运行 RHEL 或 CentOS。

我正在寻找真实世界的可调参数，以帮助优化将硬件 RAID 控制器与 SAS 磁盘（智能阵列、Perc、LSI 等）和电池后备或闪存后备缓存相结合的设置的性能。假设 RAID 1+0 和多个主轴（4 个以上的磁盘）。

我花了大量时间为低延迟和金融交易应用程序调整 Linux 网络设置。但其中许多选项都有详细记录（更改发送/接收缓冲区、修改 TCP 窗口设置等）。工程师在存储方面做什么？

从历史上看，我对I/O 调度电梯进行了更改，最近选择了deadline和noop调度程序来提高我的应用程序的性能。随着 RHEL 版本的进步，我还注意到 SCSI 和 CCISS 块设备的编译默认值也发生了变化。随着时间的推移，这对推荐的存储子系统设置产生了影响。但是，我已经有一段时间没有看到任何明确的建议了。而且我知道操作系统默认设置不是最佳的。例如，对于服务器级硬件上的部署而言，128kb 的默认预读缓冲区似乎非常小。

以下文章探讨了更改预读缓存和nr_requests值对块队列的性能影响。

http://zackreed.me/articles/54-hp-smart-array-p410-controller-tuning
http://www.overclock.net/t/515068/tuning-a-hp-smart-array-p400-with -linux-why-tuning-really-matters
http://yoshinorimatsunobu.blogspot.com/2009/04/linux-io-scheduler-queue-size-and.html

例如，以下是 HP Smart Array RAID 控制器的建议更改：

echo "noop" > /sys/block/cciss\!c0d0/queue/scheduler 
blockdev --setra 65536 /dev/cciss/c0d0
echo 512 > /sys/block/cciss\!c0d0/queue/nr_requests
echo 2048 > /sys/block/cciss\!c0d0/queue/read_ahead_kb

还有什么可以可靠地调整来提高存储性能？
我专门在生产场景中寻找 sysctl 和 sysfs 选项。

这是一个关于 iSCSI的规范问题，我们可以用作参考。

iSCSI 是一种将 SCSI 命令作为有效负载放入 TCP 网络数据包的协议。因此，它会遇到一系列与光纤通道不同的问题。例如，如果链路拥塞并且交换机的缓冲区已满，默认情况下以太网将丢弃帧而不是告诉主机减速。这会导致重传，从而导致极小部分存储流量的高延迟。

有针对此问题的解决方案，具体取决于客户端操作系统，包括修改网络设置。对于以下操作系统列表，最佳 iSCSI 客户端配置是什么样的？它会涉及更改开关上的设置吗？存储呢？

• VMWare 4 和 5
• Windows Hyper-V 2008 和 2008r2
• 裸机上的 Windows 2003 和 2008
• 裸机上的 Linux
• AIX VIO
• 您碰巧认为相关的任何其他操作系统

我们将有一台机器在工作，在最佳性能下，每小时应该能够推送50（“写磁头”）x 75GB的数据。这是约 1100MB/s 写入速度的峰值性能。为了从机器上得到它，它需要两条 10GBi 线。我的问题是什么样的服务器+技术可以处理/存储这样的数据流？

目前对于数据存储，我们使用 ZFS，尽管写入速度从来都不是问题。（我们甚至还没有接近这些速度）ZFS（Linux 上的 zfs）会是一个选择吗？我们还需要存储大量数据，“IT 指南”建议总共存储 50-75 TB 之间的数据。因此，除非我们想提供我们的第一个孩子，否则它可能不能全部是 SSD。

基于优秀回复的一些补充：

• 峰值期间的最大值为 50x75GB/小时，小于 24 小时（很可能 <6 小时）
• 我们预计这不会很快发生，我们很可能会以 5-10x75GB/小时的速度运行
• 这是一个 pre-alpha 机器，但是应该满足要求（即使有很多问号在起作用）
• 我们将使用NFS作为从机器到服务器的连接
• 布局：生成机 -> 存储（这个） ->（安全突袭 6） -> 计算集群
• 所以读取速度不是必需的，但是从计算集群中使用它会很好（但这完全是可选的）
• 很可能是大数据文件（不是很多小文件）

我是否可以使用安装在服务器中的单个Fusion-io卡可靠地运行，或者我是否需要在软件 RAID 设置中部署两张卡？

在审查他们的营销材料时，Fusion-io 对这个主题不是很清楚（几乎是误导）考虑到卡的成本，我很好奇其他工程师如何在实际场景中部署它们。

我计划将HP 品牌的 Fusion-io ioDrive2 1.2TB 卡用于在 Linux 上运行的专有独立数据库解决方案。这是一个单一的服务器设置，没有真正的高可用性选项。还有是，用10分钟的异步复制RPO该反射镜事务日志到第二物理服务器。

传统上，我会为此应用程序指定具有顶级 CPU 步进的高端HP ProLiant服务器。我需要使用 SSD，而且我能够以比企业 SAS SSD 更低的价格获得所需容量的 Fusion-io。

• 我是否需要运行两个 ioDrive2 卡并使用软件 RAID（md 或 ZFS）将它们连接起来，还是没有必要？
• 我是否应该比担心 RAID 控制器故障或主板故障更担心 Fusion-io 故障？
• 系统管理员喜欢 RAID。鉴于此外形尺寸中可用的不同接口和卡上磨损均衡/错误校正，这是否需要不同的心态？
• 什么IS这些设备的故障率是多少？

编辑：我刚刚阅读了戴尔的Fusion-io 可靠性白皮书，外卖似乎是“Fusion-io 卡有很多内部冗余......不要担心 RAID！！” .

我有一台CentOS 6使用PERC H710Raid 5 设置的 Raid 控制器卡运行的戴尔服务器，我想监控 Raid 控制器背后的硬盘故障/工作状态。

然后我应该能够使用 bash 脚本来监视硬盘状态并在出现问题时发送警报电子邮件。

CentOS/Red Hat/Linux的LSI MegaRAID SAS命令工具（About LSI MegaRAID SAS Linux Tools）不支持 PERC H710 和smartctl也不支持。

根据戴尔网站，CentOS此服务器不支持 ( NX3200 PowerVault) 并且我无法下载任何 linux 程序来监控硬盘。

[root@server ~]# lspci | grep RAID
03:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS 2208 [Thunderbolt] (rev 05)


[root@server ~]# smartctl -a /dev/sda
smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-431.el6.x86_64] (local build)
Copyright (C) 2002-12 …

VMware 和许多网络传播者试图告诉您，复杂（=昂贵）的光纤 SAN 是 VMware ESX 和 ESXi 服务器的“唯一”存储选项。嗯，是的，当然。使用 SAN 快速、可靠，并使 vMotion 成为可能。伟大的。但是：所有 ESX/ESXi 用户真的能负担得起 SAN 吗？

我的理论是，这个星球上所有 VMware ESX 安装中只有不到 20% 实际使用光纤或 iSCS SAN。大多数这些安装将在能够负担得起的大公司中进行。我预测大多数 VMware 安装使用“附加存储”（vmdks 存储在服务器内部的磁盘上）。他们中的大多数都在中小企业中运行，而且数量众多！

我们运行两台带有附加存储的 ESX 3.5 服务器和两台带有 iSCS san 的 ESX 4 服务器。两者之间的“真实生活差异”几乎不明显:-)

你知道这个问题的任何官方统计数据吗？你用什么作为你的存储介质？