Google对硬盘驱动器故障进行了非常彻底的研究,发现很大一部分硬盘驱动器在大量使用的前 3 个月内出现故障。
我和我的同事认为我们可以为所有新硬盘驱动器实施老化过程,这可能会使我们免于在未经测试的新驱动器上浪费时间而感到心痛。但在我们实施老化过程之前,我们希望从其他更有经验的人那里获得一些见解:
编辑:由于业务的性质,大部分时间都无法使用 RAID。我们必须依靠在全国范围内频繁邮寄的单个驱动器。我们会尽快备份驱动器,但在我们有机会备份数据之前,我们仍然会在这里和那里遇到故障。
我的公司已经实施了一段时间的老化过程,事实证明它非常有用。我们立即烧毁所有库存的新驱动器,使我们能够在保修期满之前和将它们安装到新计算机系统之前发现许多错误。事实证明,验证驱动器是否已损坏也很有用。当我们的一台计算机开始遇到错误并且硬盘驱动器是主要嫌疑人时,我们将在该驱动器上重新运行老化过程并查看任何错误以确保驱动器确实是问题,然后再开始 RMA 过程或抛出它在垃圾桶里。
我们的老化过程很简单。我们有一个指定的 Ubuntu 系统,有很多 SATA 端口,我们在读/写模式下运行坏块,每个驱动器上有 4 次传递。为了简化事情,我们编写了一个脚本来打印“数据将从您的所有驱动器中删除”警告,然后在除系统驱动器之外的每个驱动器上运行坏块。
我的网络上有一个测试 RAID 控制器,它承载一个非常大的 RAID 6(11 个驱动器,每个 3TB)。其中一个驱动器出现故障,现在正在重建阵列。按照这个速度,我认为大约需要 3 天才能完成。如果我将新数据写入阵列,是否会降低成功重建的机会?
我可能会以大量小文件的形式写入大约 1 GB 的新数据。这会大大延迟重建的进度吗?
我负责一个小众行业的新网站,该网站存储了大量数据(每个客户 10 TB 以上,很快就会增长到 2 或 3 个客户)。我们正在考虑订购价值约 5000 美元的 3TB 驱动器(10 个在 RAID 6 配置中,10 个用于备份),这将为我们提供大约 24 TB 的生产存储。数据将被写入一次并且在网站的生命周期内保持不变,所以我们只需要做一次备份。
我了解基本的 RAID 理论,但我对它没有经验。我的问题是,这听起来像一个好的配置吗?此设置可能会导致哪些潜在问题?
另外,进行一次性备份的最佳方法是什么?有两个 RAID 6 阵列,一个用于异地备份,一个用于生产?还是应该将 RAID 6 生产阵列备份到 JBOD?
编辑:数据服务器正在运行 Windows 2008 Server x64。
编辑 2:为了减少重建时间,您如何看待使用两个 RAID 5 而不是一个 RAID 6?
到目前为止,我看到了一篇关于性能和可扩展性的文章,主要关注添加新链接需要多长时间。但是是否有关于文件数量、文件夹数量、总大小等限制的信息?
现在我有一个文件服务器,其中包含数百万个 JPG(价值约 45 TB),这些文件通过几个标准文件共享在网络上共享。我计划创建一个 DFS 命名空间并将所有这些映像复制到另一台服务器以实现高可用性目的。我是否会遇到 DFS 的额外问题,而我在使用普通文件共享时不会遇到这些问题?是否有更推荐的方法来复制这数百万个文件并使它们在网络上可用?
编辑2:
所有文件通常都会写入磁盘一次,之后再也不会修改。它们被修改的唯一时间是它们最终被删除时,可能是几年后。所以一切都是静态的。
编辑:
我会自己试验并写一篇关于它的博客文章,但我还没有第二台服务器的硬件。我想在购买 45 TB 硬盘空间之前收集信息...
在 Windows Server 2008 R2 文件服务器上,我们遇到了内存使用问题。我们使用RAMMap进行故障排除,发现 10GB 的 NTFS Metadata 被缓存在内存中并且永远不会被释放。
我的第一个想法是,由于在我们的 24TB RAID 上生成了数百万个小文件,因此主文件表变得越来越大。但是,在NTFSInfo.exe的帮助下,我们发现 MFT 的大小只有几 MB。
所以现在我想看看 NTFS 元数据中还有什么东西占用了这么多空间。如果我可以确定,那么也许我可以确定如何处理内存问题。NTFSInfo 不提供有关其他类型元数据的任何信息,到目前为止我还没有找到任何其他工具可以提供。
是否有任何建议可以向我显示有关 NTFS 元数据的特定信息的工具?
我的公司正在开发基于 Web 的数据查看器应用程序,它需要相当数量的带宽才能正常运行。然而,最近我们一直在改变很多东西。例如,我们改变了我们的内部网络基础设施,以便数据可以托管在通过千兆以太网连接的不同机器上。最重要的是,应用程序本身不断推出新版本,因为我们仍处于 alpha 和 beta 测试阶段。
最近我们进行了一些导致性能下降的更改,我们希望在开始拆解之前尝试确定问题所在。这是一个非常小的网络,我作为 IT 管理员的经验有限。我有一些关于从哪里开始的想法,但我想先从专业人士那里收获一些智慧:你如何解决/避免类似的问题?您使用过的最有用的 (Windows) 工具是什么?
raid ×2
backup ×1
dfs ×1
file-server ×1
hard-drive ×1
large-data ×1
limitations ×1
memory-usage ×1
metadata ×1
networking ×1
ntfs ×1
performance ×1
raid6 ×1
website ×1