BT

DataFuがApacheのインキュベーションプロジェクトに

| 作者: Charles Menguy フォローする 0 人のフォロワー , 翻訳者 吉田 英人 フォローする 0 人のフォロワー 投稿日 2014年2月17日. 推定読書時間: 2 分 |

原文(投稿日:2014/02/04)へのリンク

LinkedInによるHadoop用ライブラリのコレクションDataFuプロジェクトが1月第1週,正式にApache Software Foundation(ASF)インキュベーションプロジェクトになった。

DataFuは当初Pig用のUDF(User-Defined Function)のコレクションを中心として,2012年1月に開始されたプロジェクトだ。Piggybankなど有名なUDFのコレクションに比較すると,分位数計算やサンプリング法といった,データマイニングあるいは統計機能が中心だ。しかし2013年10月には,DataFu Hourglassという新しいライブラリがプロジェクトに加わった。Hourglassは,増分データをジョブで処理するためのMapReduce用ライブラリである。通常このような処理は,前回のジョブの状態をHDFS内に保存しておいて,新たな入力を処理するためにそれを使用する,という方法で行われる。どちらのプロジェクトも現在,インキュベータの一部となっている。

Apacheのインキュベーションになったのは,DataFuにとって偉業と呼ぶに相応しい。プロジェクトがインキュベーションに受け入れられるには,厳格な調査を通過した上で,投票プロセスを経由しなければならないからだ。DataFuは2012年始めからApacheと関わりを持っていたが,インキュベータとして受け入れられたのは2014年始めになってからだった。インキュベーションにいるApacheプロジェクトの卒業には通常,かなり長い時間を必要とする。プロジェクトのインフラストラクチャ(wiki, メーリングリスト,チュートリアルなど)が完成すれば,DataFuはASFの独立したトッププロジェクトになるか,あるいはHadoopのサブプロジェクトになるだろう。

Apacheインキュベータに採用されたDataFuには,近い将来に向けた拡張計画が目白押しだ。もっとも重要な機能性のひとつは,より広範に採用されるために,UDF用と同じセットをHiveCrunchに対しても用意することである。その一環として,プロジェクトのビルドシステムを,DataFuコミュニティが現在開発中であるGradkeに移行する作業が進行中だ。AntからGradleに切り替えることで,新機能の追加プロセスがより簡単になり,DataFuコミュニティの統合がさらに促進されると期待できる。

DataFuコミュティは小規模ながら,着実に拡大している。Russell Jurney氏による先日のコントリビューションによって,Open NLPプロジェクトがDataFu 1.3.0の一部として提供されるようになった。メーリングリストでの話題の中心は,UDFをさらに追加して,DataFuを“ビッグデータのWD-40(米国で一般的な潤滑スプレー)”にすることだ,とコントリビュータのMatthew Hayes,Sam Shah両氏は述べている。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

タイポみる by Matthew Hayes

Gradkeー>Gradle

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

1 ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT