Google开源Brotli压缩算法

谷歌 Google 压缩算法 Brotli Zotfli

摘要

两年前，他们发布了Zotfli压缩算法。该算法在默认设置下的输出比zlib的最大压缩比输出还要小3-8%。基于该算法的应用情况，结合其它现代压缩需求，谷歌开发并开源了一个新的算法——Brotli压缩算法。不同于Zopfli兼容Deflate，Brotli是一种全新的数据格式，可以提供比Zopfli高20-26%的压缩比。

正文

谷歌非常重视互联网用户的体验，而提升网页加载速度是提升用户体验的一种重要方式。两年前，他们发布了Zotfli压缩算法。该算法在默认设置下的输出比zlib的最大压缩比输出还要小3-8%。PNG优化器、Web内容预处理等许多压缩方案中都集成了该算法。基于该算法的应用情况，结合其它现代压缩需求，谷歌开发并开源了一个新的算法——Brotli压缩算法。该算法由谷歌压缩团队的Jyrki Alakuijala和Zoltan Szabadka开发，其中Jyrki亦是Zotfli压缩算法的创建者。

不同于Zopfli兼容Deflate，Brotli是一种全新的数据格式，可以提供比Zopfli高20-26%的压缩比。据谷歌研究，Brotli压缩速度同zlib的Deflate实现大致相同，而在Canterbury语料库上的压缩密度比LZMA和bzip2略大。

谷歌对这种数据格式寄予了厚望，Zoltan写道：

更小的压缩尺寸可以提供更好的空间利用率和更快的页面加载速度。我们希望，在不远的将来，主流浏览器都能支持这种格式，而且，更小的压缩尺寸会给移动用户带来额外的好处，比如更低的数据传输费用和电量消耗。

谷歌的这份发布公告吸引了许多网友的关注。网友Szabolcs Péter指出，Brotli在2013年就已经发布，不应该算是一种新的压缩算法了。对此，Jyrki答复道：

Brotli的第一个版本是用于Web字体一次性压缩的非对称算法，而现在的Brotli已经扩展成为一个通用的无损压缩算法。我们重写了编码器的重要组成部分，提高了压缩比以及编码器和解码器的速度，改进了流API，增加了质量等级，减少了解码内存占用，并考虑了更多的应用场景，Brotli在各种平台上的性能也更平衡了。我们今天的发布就是关于这个。我们认为，它已经做好准备吸引更多注意及广泛应用于各种场景。

网友Lucas Marsh则对该算法的性能提出了质疑。他在一项基准测试中发现，Brotli虽然比bzip好，但并没有比LZMA强。对此，Jyrki是这样解释的：

从设计上讲，对于非常大的文件，LZMA和LZHAM压缩得更多，尤其是当文件大小超过16MB时。提高大文件的压缩比有三个缺点：增加了解码时的内存占用，降低了小文件压缩的性能以及在某种程度上降低了编码和解码速度。Brotli通常压缩的更多的是0.5-1MB的文件。当你有更大的数据，并且不用为解码内存占用担心时，可以通过使用更大的滑动窗口来提高Brotlin的性能——对于大文件，可以试下将窗口大小参数设为24位（16MB）。