更快的 zlib 替代品

Question

我想知道，是否有任何更快的 zlib 构建和更高级的优化？

如果可以使用 SSE 指令或英特尔 C++ 编译器或一些较早获得专利的技巧来优化它（我知道专利是 gzip/zlib 开发过程中的一个严重限制），有没有人费心去实现它？

我对压缩速度特别感兴趣，它对提供静态和动态内容的高性能 Web 服务有直接影响。

Answer 1

在这个问题第一次被问到几年后，一些更快的 x86_64 zlib 出现了，使用 BarsMonster 建议的优化类型：

• Cloudflare zlib
• 英特尔 zlib
• 英特尔的 igzip
• 谷歌的 c-zlib
• libdeflate

samtools（一套用于与高通量测序数据交互的工具）的作者对 zlib 速度进行了比较。

zlib-ng 收集不在主线 zlib 中的 zlib 优化，但它可能不如主线 zlib 稳定。它的问题跟踪器作为对其他已知 zlib 加速的参考也很有指导意义。

最近提出了一个声称“在 x86_64 上将 inflate_fast 速度提高 1.5 倍”（通过一次填充和复制 8 个字节）的拉取请求， 但没有被主线 zlib 接受。提供这项工作的补丁也被 Chromium 接受（参见这个Chromium 错误和Chromium 评论），但希望提交者能够休息一下并重新充电，因为从远处看，进展似乎非常缓慢在复杂的情况下...

最近，libdeflate是一个高度优化的重写，它产生/混淆 zlib 兼容的输出/输入，但不提供 zlib 兼容的 API。在撰写本文时，它具有 zlib 速度冠。