Jos*_*osh 24 linux solaris zfs deduplication memory-usage
我已经阅读了很多有关规划 ZFS 重复数据删除的 RAM 要求的信息。我刚刚升级了我的文件服务器的 RAM，以支持 ZFS zvol 上的一些非常有限的重复数据删除，我无法在这些 zvol 上使用快照和克隆（因为它们是格式化为不同文件系统的 zvol），但会包含大量重复数据。
我想确保我添加的新 RAM 将支持我打算进行的有限重复数据删除。在计划中，我的数字看起来不错，但我想确定。
如何判断实时系统上 ZFS 重复数据删除表 (DDT)的当前大小？我阅读了这个邮件列表线程，但我不清楚他们是如何获得这些数字的。（zdb tank如有必要，我可以发布输出，但我正在寻找可以帮助其他人的通用答案）
eww*_*ite 22
您可以使用该zpool status -D poolname命令。
输出将类似于：
root@san1:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
重要的字段是总分配块和总引用块。在上面的示例中，我的重复数据删除率很低。40.2G 存储在磁盘上的 37.5G 空间中。或 235 万块空间中的 251 万块。
要获得表的实际大小，请参阅：
DDT 条目 2459286，磁盘大小为 481，核心大小为 392
2459286*392=964040112 bytes 除以 1024 和 1024 得到：919.3MB in RAM。
在阅读了原始电子邮件线程和@ewwhite 对其进行澄清的答案后，我认为这个问题需要一个更新的答案，因为上面的答案只涵盖了其中的一半。
例如，让我们使用我的池中的输出。我使用了命令zdb -U /data/zfs/zpool.cache -bDDD My_pool。在我的系统上，我需要额外的-Uarg 来定位池的 ZFS 缓存文件，FreeNAS 将其存储在与正常不同的位置；您可能需要也可能不需要这样做。一般先zdb不试试-U，如果你得到缓存文件错误，然后使用find / -name "zpool.cache"或类似的方法来定位它需要的文件。
这是我的实际输出，我在下面解释了它：
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
这一切意味着什么，并计算出实际的重复数据删除表大小：
输出显示了两个子表，一个用于存在重复项的块（DDT-sha256-zap-duplicate），另一个用于不存在重复项的块（DDT-sha256-zap-unique）/。它们下面的第三个表给出了这两个的总体总数，下面有一个汇总行。仅查看“总”行和摘要为我们提供了我们需要的信息：
出现多次的所有块的 DDT 大小 （“DDT-sha256-zap-duplicate”）：
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")唯一块的 DDT 大小 （“DDT-sha256-zap-unique”）：
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")所有 DDT 条目的总 DDT 统计数据，重复 + 唯一 （“所有 DDT 上聚合的 DDT 直方图”）：
Run Code Online (Sandbox Code Playgroud)allocated referenced (= disk space actually used) (= amount of data deduped into that space) ______ ______________________________ ______________________________ blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G总结：
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
让我们做一些数字运算。
块计数是这样的：与重复块相关的条目数 = 771295，与唯一块相关的条目数 = 4637966，DDT 表中的总条目数应为 771295+4637966 = 5409261。因此以百万计的块数（二进制百万）也就是说！）将是 5409261 / (1024^2) = 515.8 万。在总结中，我们发现总共有5.16M 块。
所需的 RAM 是这样工作的：重复块的 771295 个条目每个在 RAM 中占用 165 个字节，而唯一块的 4637966 个条目每个在 RAM 中占用 154 个字节，因此现在去重表所需的总 RAM = 841510439 个字节 = 841510439 / (1024^2) MBytes = 803 MB = 0.78 GB RAM。
（使用的磁盘大小可以使用“磁盘大小”数字以相同的方式计算。显然 ZFS 正在尝试有效地使用磁盘 I/O 并利用 DDT 占用的磁盘空间这一事实这通常不是问题。所以看起来 ZFS 只是为每个条目或类似的东西分配了一个完整的 512 字节扇区，而不仅仅是 154 或 165 字节，以保持其高效。这可能不包括任何允许多个副本保存在磁盘上，ZFS 通常会这样做。）
存储的数据总量，以及删除重复数据的好处：从 DDT 的总统计数据来看，715 GB（“715G”）的数据仅使用 578 GB（“578G”）的磁盘分配存储空间进行存储。因此，我们的重复数据删除空间节省率为（715 GB 数据）/（重复数据删除后使用的 578 GB 空间） = 1.237 x，这就是摘要告诉我们的（“重复数据删除 = 1.24”）。
| 归档时间： |
|
| 查看次数： |
17743 次 |
| 最近记录： |