Splunkは機械が生成したデータを検索や監視、分析することに特化した企業だ。同社はHunk 6.1のリリースを発表した。Hunkはビッグデータ分析のプラットフォームを提供する。
ビックデータ上でアドホック分析を実施し、有益な情報を取り出すのは難しいことだ。HunkはHadoopやほかのNoSQLを使って素早くデータを探索し、分析し、視覚化することでこの難しさに対処する。
HunkはHiveに似ている。HiveはHadoop上のデータに対する問い合わせを処理するためのSQLエンジンだ。HiveもHunkもユーザの問い合わせを受け付けて、MapReduceのジョブにコンパイルし、クラスタ上でそのジョブを実行する。しかし、HunkはHiveとはいくつかの点で異なる。
- HunkはSQLではなくSearch Processing Language (SPL)と呼ばれる独自の言語の問い合わせを処理する。
- Hunkはスキーマを事前に定義しておくが必要ない。そのかわり、問い合わせが行われた段階でスキーマを作成する。
- HunkはMapReduceのジョブの完了を待たずに結果を表示する。インタラクティブな操作を実現するため、MapReduceのジョブがバックグラウンドで動いている間に中間の結果を即時にストリームする。
- 問い合わせエンジンに加え、Hunkには組み込みのビジュアライゼーションレイヤが含まれており、ユーザは検索結果からインタラクティブなチャートを作成して保存することができる。
SplunkにはHunkの最新のバージョンにいくつか新しい機能を追加した。
- レポートアクセラレーションはHadoopの検索結果をキャッシュすることで応答時間と性能を改善する。レポート単位で設定できる。
- ダッシュボードとチャートがインタラクティブになり、チャートのオーバレイをサポートした。また、パンアンドズームコントロールとドリルダウンをサポートした。
- チャートとレポートをサードパーティのアプリケーションに組み込めるようになった。
- Hadoopに依存しなくなった。ストリーミングリソースライブラリを使うことで開発者はHunkをどのようなNoSQLエンジンにも接続できるようになった。Apache CassandraやMongoDBやNeo4jなどだ。
- パススルー認証の改善によって、管理者はどのユーザがMapReduceジョブを実行するか、HDFSファイルにアクセスできるかを管理できるようになった。
- シーケンスファイル、RCFile、ORC files、Parquetなどのファイルフォーマットをサポートした。
今回のリリースに対するコミュニティの反応は良好だ。以下のようなツイートが見られた。
Splunk、Hunk、hadoopがひとつのシステムになたt。ギーク女子にとってはとっても楽しい。@mskerryschaffer - Kerry Schaffer、Marketing Associatesの情報技術ディレクター
#SplunkLiveの新しい製品リリース。Splunk EnterpriseとHunkはAppDevの世界にも提供される。競争力の強化につながる。@aconcolino - Anthony Concolino氏、コンサルタント
@splunkには賢い製品名をつけたね。"Splunk Hunk for Hadoop"って言いやすい。@tobingilman - Tobin Gilman氏、Bootstrap Marketing and Business Developmentのビックデータリード
機能の一覧はHunkの製品シートで確認できる。また詳細はここで確認できる。