Server 2012 重复数据删除功能的技术细节

Question

现在 Windows Server 2012 带有NTFS 卷的重复数据删除功能，我很难找到有关它的技术细节。我可以从 TechNet 文档中推断出重复数据删除操作本身是一个异步过程 - 与SIS Groveler过去的工作方式没有什么不同- 但实际上没有关于实现的细节（使用的算法、所需的资源，甚至有关性能的信息考虑只是一堆经验法则式的建议）。

非常感谢洞察力和指针，将一组场景与 Solaris 的 ZFS 重复数据删除效率进行比较会很棒。

Answer 1

正如我所怀疑的，它基于 VSS 子系统（源），这也解释了它的异步性质。重复数据删除块存储在 中\System Volume Information\Dedup\ChunkStore\*，设置在 中\System Volume Information\Dedup\Settings\*。这对您的备份软件如何与此类卷交互具有重大影响，链接文章中对此进行了解释（简而言之：没有重复数据删除支持，您的备份将与往常一样大小，使用重复数据删除支持，您只需备份小得多的重复数据删除存储）。

至于使用的方法，我能找到的最好的是微软研究员在 2011 年在 Usenix FAST11 会议上发表的一篇研究论文（来源，全文）。第 3.3 节介绍了主存储中的重复数据删除。这些数据很可能用于开发 NTFS 重复数据删除功能。这个引用被使用：

可变大小的内容定义块的规范算法是 Rabin Fingerprints [25]。

论文中有很多数据要筛选，但他们使用的工具集的复杂性，结合我们在 2012 年已经知道的特征，强烈建议使用论文中的推理来开发这些特征。如果没有 msdn 文章就无法确定，但这与我们暂时可能获得的信息非常接近。

与 ZFS 的性能比较必须等到基准测试人员完成后才能进行。