小编Sve*_*nnD的帖子

写入速度要求:1.1GB/s 的可能性?

我们将有一台机器在工作,在最佳性能下,每小时应该能够推送50(“写磁头”)x 75GB的数据。这是约 1100MB/s 写入速度的峰值性能。为了从机器上得到它,它需要两条 10GBi 线。我的问题是什么样的服务器+技术可以处理/存储这样的数据流?

目前对于数据存储,我们使用 ZFS,尽管写入速度从来都不是问题。(我们甚至还没有接近这些速度)ZFS(Linux 上的 zfs)会是一个选择吗?我们还需要存储大量数据,“IT 指南”建议总共存储 50-75 TB 之间的数据。因此,除非我们想提供我们的第一个孩子,否则它可能不能全部是 SSD。

基于优秀回复的一些补充:

  • 峰值期间的最大值为 50x75GB/小时,小于 24 小时(很可能 <6 小时)
  • 我们预计这不会很快发生,我们很可能会以 5-10x75GB/小时的速度运行
  • 这是一个 pre-alpha 机器,但是应该满足要求(即使有很多问号在起作用)
  • 我们将使用NFS作为从机器到服务器的连接
  • 布局:生成机 -> 存储(这个) ->(安全突袭 6) -> 计算集群
  • 所以读取速度不是必需的,但是从计算集群中使用它会很好(但这完全是可选的)
  • 很可能是大数据文件(不是很多小文件)

performance zfs storage write

29
推荐指数
2
解决办法
8838
查看次数

断电时高负载双​​ UPS

简述情况:

  • 一堆服务器(大约 15 个从 4u 到 1u,一些冗余 PSU 一些单个)
  • 2 个 UPS(我可以使用 apcupsd 读取 1 个 APC)
  • 2个PDU

所以我遇到了这种情况,老实说,我不知道最好的解决方案是什么。我们目前将大部分服务器(甚至是冗余 PSU)放在 1 个 UPS(旧的,没有 APC)上然后当我们开始从中吸取太多汁液时,它开始抱怨,他们又买了一个,并改变了可能最大的功率新 UPS (APC) 上的饥饿服务器(集群)

我不介意服务器在断电期间离线,我希望它们在 UPS 停止工作之前很好地停机。目前,服务器一直运行到无法获得更多电量,然后痛苦地死去。

因此,合理的情况是我们删除可以删除的服务器,以便他们从每个 UPS 中提取 50/50(尽可能)。但是,在断电期间,其中一块电池会先于另一块电池耗尽,这将导致所有服务器都从另一台 UPS 汲取电力,可能会消耗大量电量并导致瞬间断电?

所以我的问题是 PSU 从每个电源中提取 50% 的电量吗?我如何(如果需要使用新硬件)解决这种情况。当您从 UPS 中拉出太多东西时,最糟糕的情况是什么?

我想保护服务器免受峰值功率和 <5 分钟的短时中断的影响。超出此时间范围的任何事情都可以在阶梯上进行解释。或者服务器配置正常,我们知道它们可以在必要时重新启动。

power-supply-unit supermicro

6
推荐指数
2
解决办法
639
查看次数

ZFS 不断出现故障同一设备

我们的存储服务器有一些问题,就在我们有一个损坏的磁盘(WD 4TB RE SAS),尽管 raidcontroller(LSI MegaRAID 9271-8i)使磁盘保持在线(状态:ok)。只有媒体错误显示 1 个错误。我们决定保存并更换磁盘,在重新同步第二个和第三个磁盘时标记为(重新同步),尽管只有一个磁盘显示 1 个读取错误。今天 resilver 完成了(没有损坏,一切都好),我开始擦洗并遇到了这个:

zpool status
  pool: data
 state: DEGRADED
status: One or more devices could not be used because the label is missing or
        invalid.  Sufficient replicas exist for the pool to continue
        functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: scrub in progress since Thu Jan 14 10:50:00 2016
    2.71T scanned out of 111T at 718M/s, 43h59m to go
    0 …
Run Code Online (Sandbox Code Playgroud)

zfs zfsonlinux

6
推荐指数
1
解决办法
399
查看次数

rsync 两台大型存储服务器

我们有两台大型存储服务器(+100TB),一台运行在 ZFS 上,另一台运行 XFS,我们打算使用 XFS 作为我们的工作服务器,并使用 ZFS 作为备份服务器(快照 <3)。现在的问题是让这些野兽保持同步......(与每日同步一样同步)

最简单的选择是使用 rsync,但遗憾的是目录结构很深,而且到处都是硬链接。所以这意味着我们需要进行一次“全局”扫描,这将花费很长时间……最重要的是,大部分数据都是创建的,并且从未修改过。所以 rsync 可能不是要走的路。

我查看了inotify,它看起来相对便宜,而且因为我们只希望每天同步,所以可以卸载到一个好时机......遗憾的是,如果我们只查看创建的文件,我们会将硬链接复制为数据会使我们备份中使用的存储量增加一倍......(基本上没有办法从 rsync 进行 -H 检查)

我能想到的唯一选择是重新组织我们的存储以使用基于日期的目录,遗憾的是移动这么多数据并不是我们更喜欢的......

还有其他选择吗?

以供参考 :

  • 带有 XFS 的服务器有一个 RAID 控制器(无 JBOD 选项)和 SATA 磁盘 (WD RE)。32Gb 内存
  • 带有 ZFS 的服务器有一个 HBA 控制器和 SAS 磁盘。126Gb 内存

当我将 ZFS 称为缓慢时,我看到 'ls' 需要几秒钟...

storage rsync inotify

2
推荐指数
1
解决办法
236
查看次数