BT

Google Snappy: 高速圧縮ライブラリ

| 作者: Abel Avram フォローする 10 人のフォロワー , 翻訳者 笹井 崇司 フォローする 0 人のフォロワー 投稿日 2011年4月13日. 推定読書時間: 1 分 |

原文(投稿日:2011/04/06)へのリンク

GoogleはSnappyという圧縮/伸長ライブラリをオープンソース化した。シングルコアのIntel Core i7プロセッサにおいて、少なくとも250MB/s-500MB/sでデータストリームを処理できるという。

SnappyはこれまでZippyという名前で知られており、Googleが実際にBigTable、MapReduce、RPCなど数多くのプロジェクトで内部的に使っている圧縮ライブラリだ。Googleによると、このライブラリとアルゴリズムは圧縮サイズや他のツールとの互換性ではなく、速度についてチューニングされているそうだ。Snappyは64-bit x86プロセッサ向けに最適化されており、シングルコアのIntel Core i7プロセッサにおいて少なくとも圧縮で250MB/s、伸長で500MB/sを実現している。

この高速な圧縮は圧縮率を下げることで実現されており、圧縮後のサイズは他の圧縮ライブラリよりも20-100%大きくなる。Snappyの圧縮率はプレーンテキストで「1.5-1.7x、HTMLで約2-4x、JPEGやPNGなど圧縮済みデータで1.0x」だという。

GoogleはSnappyを「壊れたり悪意のある入力でもクラッシュしないように設計」していて堅牢であり、Googleのプロダクション環境で何ペタバイトものデータを圧縮するのに使えるほど安定していると宣伝している。

もしzlib、LZO、LZF、FastLZ、QuickLZといった各種圧縮ライブラリが同じマシンにインストールされていれば、Snappyはそれらとのベンチマークに使うことができる。ツールは製品にリンクされるC++ライブラリとして提供されるが、それ以外にも、HaskellJavaPerlPythonRubyへのバインディングがある。

Snappyは新BSDライセンスでオープンソース化されている。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT