我们将有一台机器在工作,在最佳性能下,每小时应该能够推送50(“写磁头”)x 75GB的数据。这是约 1100MB/s 写入速度的峰值性能。为了从机器上得到它,它需要两条 10GBi 线。我的问题是什么样的服务器+技术可以处理/存储这样的数据流?
目前对于数据存储,我们使用 ZFS,尽管写入速度从来都不是问题。(我们甚至还没有接近这些速度)ZFS(Linux 上的 zfs)会是一个选择吗?我们还需要存储大量数据,“IT 指南”建议总共存储 50-75 TB 之间的数据。因此,除非我们想提供我们的第一个孩子,否则它可能不能全部是 SSD。
基于优秀回复的一些补充:
简述情况:
所以我遇到了这种情况,老实说,我不知道最好的解决方案是什么。我们目前将大部分服务器(甚至是冗余 PSU)放在 1 个 UPS(旧的,没有 APC)上然后当我们开始从中吸取太多汁液时,它开始抱怨,他们又买了一个,并改变了可能最大的功率新 UPS (APC) 上的饥饿服务器(集群)
我不介意服务器在断电期间离线,我希望它们在 UPS 停止工作之前很好地停机。目前,服务器一直运行到无法获得更多电量,然后痛苦地死去。
因此,合理的情况是我们删除可以删除的服务器,以便他们从每个 UPS 中提取 50/50(尽可能)。但是,在断电期间,其中一块电池会先于另一块电池耗尽,这将导致所有服务器都从另一台 UPS 汲取电力,可能会消耗大量电量并导致瞬间断电?
所以我的问题是 PSU 从每个电源中提取 50% 的电量吗?我如何(如果需要使用新硬件)解决这种情况。当您从 UPS 中拉出太多东西时,最糟糕的情况是什么?
我想保护服务器免受峰值功率和 <5 分钟的短时中断的影响。超出此时间范围的任何事情都可以在阶梯上进行解释。或者服务器配置正常,我们知道它们可以在必要时重新启动。
我们的存储服务器有一些问题,就在我们有一个损坏的磁盘(WD 4TB RE SAS),尽管 raidcontroller(LSI MegaRAID 9271-8i)使磁盘保持在线(状态:ok)。只有媒体错误显示 1 个错误。我们决定保存并更换磁盘,在重新同步第二个和第三个磁盘时标记为(重新同步),尽管只有一个磁盘显示 1 个读取错误。今天 resilver 完成了(没有损坏,一切都好),我开始擦洗并遇到了这个:
zpool status
pool: data
state: DEGRADED
status: One or more devices could not be used because the label is missing or
invalid. Sufficient replicas exist for the pool to continue
functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-4J
scan: scrub in progress since Thu Jan 14 10:50:00 2016
2.71T scanned out of 111T at 718M/s, 43h59m to go
0 …Run Code Online (Sandbox Code Playgroud) 我们有两台大型存储服务器(+100TB),一台运行在 ZFS 上,另一台运行 XFS,我们打算使用 XFS 作为我们的工作服务器,并使用 ZFS 作为备份服务器(快照 <3)。现在的问题是让这些野兽保持同步......(与每日同步一样同步)
最简单的选择是使用 rsync,但遗憾的是目录结构很深,而且到处都是硬链接。所以这意味着我们需要进行一次“全局”扫描,这将花费很长时间……最重要的是,大部分数据都是创建的,并且从未修改过。所以 rsync 可能不是要走的路。
我查看了inotify,它看起来相对便宜,而且因为我们只希望每天同步,所以可以卸载到一个好时机......遗憾的是,如果我们只查看创建的文件,我们会将硬链接复制为数据会使我们备份中使用的存储量增加一倍......(基本上没有办法从 rsync 进行 -H 检查)
我能想到的唯一选择是重新组织我们的存储以使用基于日期的目录,遗憾的是移动这么多数据并不是我们更喜欢的......
还有其他选择吗?
以供参考 :
当我将 ZFS 称为缓慢时,我看到 'ls' 需要几秒钟...