Snappy 高速压缩解压缩开发包开源项目

我要开发同款
匿名用户2011年04月08日
26阅读
开发技术C/C++
所属分类解压缩、压缩、应用工具、压缩、解压缩
授权协议BSD

作品详情

Snappy是一个压缩/解压缩库。它不旨在最大程度地压缩,也不旨在与任何其他压缩库兼容。相反,它的目标是非常高的速度和合理的压缩。例如,与zlib的最快模式相比,Snappy对于大多数输入而言要快一个数量级,但是生成的压缩文件要大20%至100%。(有关更多信息,请参见下面的“性能”。)

Snappy具有以下属性:

快速:压缩速度达到250MB/秒及以上,无需汇编代码。请参阅下面的“性能”。稳定:在过去的几年中,Snappy已在Google的生产环境中压缩和解压缩了PB级的数据。Snappy位流格式是稳定的,不会在版本之间更改。稳健:Snappy解压缩器的设计不会在遭到损坏或恶意输入时崩溃。免费和开源软件:Snappy已获得BSD类型许可证的许可。有关更多信息,请参见随附的COPYING文件。Snappy在某些Google演示文稿等中以前被称为“Zippy”。

性能Snappy的目的是要快。在64位模式的Corei7处理器的单核上,它以约250MB/sec或更高的速度压缩,并以约500MB/sec或更高的速度解压缩。(这些数字是我们基准测试套件中输入速度最慢的数字;其他数字则更快。)在我们的测试中,Snappy通常比同级别的算法(例如LZO,LZF,QuickLZ等)更快,同时可以达到可比的压缩比。

对于纯文本,典型的压缩率(基于基准套件)约为1.5-1.7倍,对于HTML约为2-4倍,对于JPEG,PNG和其他已经压缩的数据当然为1.0倍。zlib最快模式下的相似数字分别为2.6-2.8倍,3-7倍和1.0倍。尽管通常以速度为代价,但是更复杂的算法能够实现更高的压缩率。当然,压缩比将随着输入而显着变化。

尽管Snappy应该相当轻便,但它主要针对64位x86兼容处理器进行了优化,并且在其他环境中运行速度可能较慢。特别是:

Snappy在多个地方使用64位操作来一次处理更多的数据。Snappy假定未对齐的32位和64位负载,并且存储很便宜。在某些平台上,必须使用单字节加载和存储来模拟它们,这要慢得多。Snappy始终假定为低端字节序,如果在大端字节序平台上运行,则需要在多个位置进行字节交换数据。经验表明,即使是经过大量调优的代码也可以得到改进。无论是针对64位x86还是其他平台的性能优化,当然都是最受欢迎的。请参阅下面的“联系”。

示例代码:

snappy::Compress(input.data(), input.size(), &output);

 

查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论