那些遇到过的问题

ZVOL 的奇怪 ZFS 磁盘空间使用情况报告

Ale*_*lex 9 freebsd zfs zvol

我们在 FreeBSD 10.0-CURRENT 主机上有一个 100G ZVOL，它声称使用了 176G 的磁盘空间：

root@storage01:~ # zfs get all zroot/DATA/vtest
NAME              PROPERTY              VALUE                  SOURCE
zroot/DATA/vtest  type                  volume                 -
zroot/DATA/vtest  creation              Fri May 24 20:44 2013  -
zroot/DATA/vtest  used                  176G                   -
zroot/DATA/vtest  available             10.4T                  -
zroot/DATA/vtest  referenced            176G                   -
zroot/DATA/vtest  compressratio         1.00x                  -
zroot/DATA/vtest  reservation           none                   default
zroot/DATA/vtest  volsize               100G                   local
zroot/DATA/vtest  volblocksize          8K                     -
zroot/DATA/vtest  checksum              fletcher4              inherited from zroot
zroot/DATA/vtest  compression           off                    default
zroot/DATA/vtest  readonly              off                    default
zroot/DATA/vtest  copies                1                      default
zroot/DATA/vtest  refreservation        none                   local
zroot/DATA/vtest  primarycache          all                    default
zroot/DATA/vtest  secondarycache        all                    default
zroot/DATA/vtest  usedbysnapshots       0                      -
zroot/DATA/vtest  usedbydataset         176G                   -
zroot/DATA/vtest  usedbychildren        0                      -
zroot/DATA/vtest  usedbyrefreservation  0                      -
zroot/DATA/vtest  logbias               latency                default
zroot/DATA/vtest  dedup                 off                    default
zroot/DATA/vtest  mlslabel                                     -
zroot/DATA/vtest  sync                  standard               default
zroot/DATA/vtest  refcompressratio      1.00x                  -
zroot/DATA/vtest  written               176G                   -
zroot/DATA/vtest  logicalused           87.2G                  -
zroot/DATA/vtest  logicalreferenced     87.2G                  -
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

这看起来像一个bug，volsize如果它没有快照，预订和子项，它如何消耗比它更多的东西？或者也许我们错过了什么？

更新：

结果zpool status -v：

root@storage01:~ # zpool status -v
  pool: zroot
 state: ONLINE
  scan: scrub repaired 0 in 0h6m with 0 errors on Thu May 30 05:45:11 2013
config:

        NAME           STATE     READ WRITE CKSUM
        zroot          ONLINE       0     0     0
          raidz2-0     ONLINE       0     0     0
            gpt/disk0  ONLINE       0     0     0
            gpt/disk1  ONLINE       0     0     0
            gpt/disk2  ONLINE       0     0     0
            gpt/disk3  ONLINE       0     0     0
            gpt/disk4  ONLINE       0     0     0
            gpt/disk5  ONLINE       0     0     0
        cache
          ada0s2       ONLINE       0     0     0

errors: No known data errors
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

结果zpool list：

root@storage01:~ # zpool list
NAME    SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
zroot  16.2T   288G  16.0T     1%  1.05x  ONLINE  -
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

结果zfs list：

root@storage01:~ # zfs list
NAME                            USED  AVAIL  REFER  MOUNTPOINT
zroot                           237G  10.4T   288K  /
zroot/DATA                      227G  10.4T   352K  /DATA
zroot/DATA/NFS                  288K  10.4T   288K  /DATA/NFS
zroot/DATA/hv                  10.3G  10.4T   288K  /DATA/hv
zroot/DATA/hv/hv001            10.3G  10.4T   144K  -
zroot/DATA/test                 288K  10.4T   288K  /DATA/test
zroot/DATA/vimage              41.3G  10.4T   288K  /DATA/vimage
zroot/DATA/vimage/vimage_001   41.3G  10.5T  6.47G  -
zroot/DATA/vtest                176G  10.4T   176G  -
zroot/SYS                      9.78G  10.4T   288K  /SYS
zroot/SYS/ROOT                  854M  10.4T   854M  /
zroot/SYS/home                 3.67G  10.4T  3.67G  /home
zroot/SYS/tmp                   352K  10.4T   352K  /tmp
zroot/SYS/usr                  4.78G  10.4T   427M  /usr
zroot/SYS/usr/local             288K  10.4T   288K  /usr/local
zroot/SYS/usr/obj              3.50G  10.4T  3.50G  /usr/obj
zroot/SYS/usr/ports             895K  10.4T   320K  /usr/ports
zroot/SYS/usr/ports/distfiles   288K  10.4T   288K  /usr/ports/distfiles
zroot/SYS/usr/ports/packages    288K  10.4T   288K  /usr/ports/packages
zroot/SYS/usr/src               887M  10.4T   887M  /usr/src
zroot/SYS/var                   511M  10.4T  1.78M  /var
zroot/SYS/var/crash             505M  10.4T   505M  /var/crash
zroot/SYS/var/db               1.71M  10.4T  1.43M  /var/db
zroot/SYS/var/db/pkg            288K  10.4T   288K  /var/db/pkg
zroot/SYS/var/empty             288K  10.4T   288K  /var/empty
zroot/SYS/var/log               647K  10.4T   647K  /var/log
zroot/SYS/var/mail              296K  10.4T   296K  /var/mail
zroot/SYS/var/run               448K  10.4T   448K  /var/run
zroot/SYS/var/tmp               304K  10.4T   304K  /var/tmp
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

更新 2：

我们创建了许多具有不同参数的 ZVOL 并用于dd移动内容。我们注意到另一个奇怪的事情，磁盘使用对于 16k 和 128k 的 ZVOL 是正常的，而volblocksize对于 8k 的 ZVOL，volblocksize即使在之后仍然异常dd（所以这不是碎片问题）：

root@storage01:~ # zfs get all zroot/DATA/vtest-3
NAME                PROPERTY              VALUE                  SOURCE
zroot/DATA/vtest-3  type                  volume                 -
zroot/DATA/vtest-3  creation              Fri May 31  7:35 2013  -
zroot/DATA/vtest-3  used                  201G                   -
zroot/DATA/vtest-3  available             10.2T                  -
zroot/DATA/vtest-3  referenced            201G                   -
zroot/DATA/vtest-3  compressratio         1.00x                  -
zroot/DATA/vtest-3  reservation           none                   default
zroot/DATA/vtest-3  volsize               100G                   local
zroot/DATA/vtest-3  volblocksize          8K                     -
zroot/DATA/vtest-3  checksum              fletcher4              inherited from zroot
zroot/DATA/vtest-3  compression           off                    default
zroot/DATA/vtest-3  readonly              off                    default
zroot/DATA/vtest-3  copies                1                      default
zroot/DATA/vtest-3  refreservation        103G                   local
zroot/DATA/vtest-3  primarycache          all                    default
zroot/DATA/vtest-3  secondarycache        all                    default
zroot/DATA/vtest-3  usedbysnapshots       0                      -
zroot/DATA/vtest-3  usedbydataset         201G                   -
zroot/DATA/vtest-3  usedbychildren        0                      -
zroot/DATA/vtest-3  usedbyrefreservation  0                      -
zroot/DATA/vtest-3  logbias               latency                default
zroot/DATA/vtest-3  dedup                 off                    default
zroot/DATA/vtest-3  mlslabel                                     -
zroot/DATA/vtest-3  sync                  standard               default
zroot/DATA/vtest-3  refcompressratio      1.00x                  -
zroot/DATA/vtest-3  written               201G                   -
zroot/DATA/vtest-3  logicalused           100G                   -
zroot/DATA/vtest-3  logicalreferenced     100G                   -
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

和

root@storage01:~ # zfs get all zroot/DATA/vtest-16
NAME                 PROPERTY              VALUE                  SOURCE
zroot/DATA/vtest-16  type                  volume                 -
zroot/DATA/vtest-16  creation              Fri May 31  8:03 2013  -
zroot/DATA/vtest-16  used                  102G                   -
zroot/DATA/vtest-16  available             10.2T                  -
zroot/DATA/vtest-16  referenced            101G                   -
zroot/DATA/vtest-16  compressratio         1.00x                  -
zroot/DATA/vtest-16  reservation           none                   default
zroot/DATA/vtest-16  volsize               100G                   local
zroot/DATA/vtest-16  volblocksize          16K                    -
zroot/DATA/vtest-16  checksum              fletcher4              inherited from zroot
zroot/DATA/vtest-16  compression           off                    default
zroot/DATA/vtest-16  readonly              off                    default
zroot/DATA/vtest-16  copies                1                      default
zroot/DATA/vtest-16  refreservation        102G                   local
zroot/DATA/vtest-16  primarycache          all                    default
zroot/DATA/vtest-16  secondarycache        all                    default
zroot/DATA/vtest-16  usedbysnapshots       0                      -
zroot/DATA/vtest-16  usedbydataset         101G                   -
zroot/DATA/vtest-16  usedbychildren        0                      -
zroot/DATA/vtest-16  usedbyrefreservation  886M                   -
zroot/DATA/vtest-16  logbias               latency                default
zroot/DATA/vtest-16  dedup                 off                    default
zroot/DATA/vtest-16  mlslabel                                     -
zroot/DATA/vtest-16  sync                  standard               default
zroot/DATA/vtest-16  refcompressratio      1.00x                  -
zroot/DATA/vtest-16  written               101G                   -
zroot/DATA/vtest-16  logicalused           100G                   -
zroot/DATA/vtest-16  logicalreferenced     100G                   -
root@storage01:~ #
Run Code Online (Sandbox Code Playgroud)

小智 3

VOLSIZE 表示客户端将看到的卷大小，而不是存储在池中的卷大小。

这种差异可能来自多个来源：

  • 元数据所需的空间
  • 存储多个副本所需的空间（“副本”参数）
  • 将“volblocksize”大小的块与 vdev 结构对齐时，由于填充而导致“浪费空间”；vdev 结构指的是两个参数：raidz-N 中的磁盘数量和设备的物理块大小。

创建卷时，zfs 将估计需要使用多少空间才能向客户端呈现“volsize”卷。您可以看到 vtest-16 和 vtest-3 卷中的差异（其中 refreservation 为 102GB，volsize 为 100GB）。计算可以在libzfs_dataset.c中找到(zvol_volsize_to_reservation(uint64_t volsize, nvlist_t *props))

该计算没有考虑到第三个来源。第三个来源对使用具有 512 字节扇区的磁盘创建的 vdev 几乎没有影响。根据我的实验（我通过填充整个 zvol 进行测试），当 vdev 在较新的 4K 扇区磁盘上创建时，确实会产生很大的差异。

我在实验中发现的另一件事是，拥有镜子并不能显示计算出的保留和最终使用的之间的差异。

这些是我将 4K 驱动器与具有默认 volblocksize (8K) 的卷一起使用时的结果。第一列表示 vdev 中的磁盘数量：

    raidz1  raidz2
3   135%    101%
4   148%    148%
5   162%    181%
6   162%    203%
7   171%    203%
8   171%    217%
9   181%    232%
10  181%    232%
11  181%    232%
12  181%    232%
Run Code Online (Sandbox Code Playgroud)

这些是我使用 512 字节扇区驱动器和默认 volblocksize 8K 时的结果。第一列表示 vdev 中的磁盘数量：

    raidz1  raidz2
3   101%    101%
4   104%    104%
5   101%    113%
6   105%    101%
7   108%    108%
8   110%    114%
9   101%    118%
10  102%    106%
11  103%    108%
12  104%    110%
Run Code Online (Sandbox Code Playgroud)

我的结论如下：

  • 请勿使用 4K 驱动器
  • 如果确实需要使用它们，请使用大于或等于 32K 的 volblocksize 创建卷；对性能的影响可以忽略不计，空间使用开销也可以忽略不计（较大的块大小需要较少的填充才能正确对齐）。
  • 喜欢为您的泳池安装条纹镜子；这种布局既具有性能优势，又减少了像这样的与空间相关的意外。
  • 对于上述情况，估计显然是错误的，这是 zfs 中的一个错误。

  • 众所周知，在具有“ashift=9”的池中使用 4k 驱动器会导致问题。这不是什么新鲜事。更改块大小也不会对齐驱动器。正确的解决方案是使用“ashift=12”创建池。 (2认同)

归档时间：

查看次数：

8918 次

最近记录：

10 年，11 月 前
相关归档
为什么分片C或分片2覆盖整个磁盘 14
Newsyslog 通配符 - 轮换目录中的所有日志 9
ZFS 删除具有相互依赖性和克隆的快照 9
OpenVPN - 客户端到客户端的流量朝一个方向工作，但不是另一个方向 5
从作为 iSCSI 目标公开的 ZFS 池中恢复 NTFS 数据 5
Solaris 服务器是否会容忍未来的 ZFS 池？ 5
忘记 Root 密码 FreeBSD - 拥有 sudo 帐户 4
每当我使用 CTRL+箭头时，我的终端都会返回 ;5A;5D;5B;5C 4
带有本地 ZFS 存储的 Xen 4.1+ 3
Ubuntu 文件服务器上的 btrfs 与 ZFS 0
难疑归档
您如何从以前的 IT 人员那里搜索后门？ 374
你能帮我规划容量吗？ 139
如何在 Windows Powershell 中区分两个文本文件？ 128
在硬盘驱动器上钻孔是否足以使其数据无法恢复？ 99
有没有正确的方法来清除日志？ 80
如何在linux中将两个命名管道连接到单个输入流中 70
ec2 中 PV 和 HVM 虚拟化类型有什么区别？ 70
为什么 Heroku 会针对“裸”域名发出警告？ 66
政府审查我们网站的 HTTPS 流量。解决方法？ 63
如何检查/dev/xvda1？ 62