BT

Apache Flink 0.8.0リリース,2015年のロードマップを公開

| 作者: Mikio Braun フォローする 0 人のフォロワー , 翻訳者 吉田 英人 フォローする 0 人のフォロワー 投稿日 2015年2月8日. 推定読書時間: 2 分 |

原文(投稿日:2015/01/22)へのリンク

Apache Flinkがプロジェクトのバージョン0.8.0をリリースした。パフォーマンスや互換性,安定性の向上といった一般的な改善の他,これまで欠けていたストリーミング機能に関するScala APIが追加されている。さらに,インキュベータへの参加からおよそ9ヶ月で,Apacheトップレベルプロジェクトへの昇格も果たした。

Apache Flinkは,Apache Soarkと同じような目標を持ったオープンソースプロジェクトである。Hadoopスタック上で動作し,オリジナルのHadoopシステムが持つMapおよびReduce操作よりも強力なデータ操作機能を提供することで,スケーラブルなデータ処理システムの開発を容易にすることを目標としている。

Apache Flinkのコミッタであり,ベルリンを拠点にFlinkを扱うスタートアップであるdata Artisansの共同創設者でもあるKostas Tzoumas氏は先日,Flinkの紹介と2015年のロードマップ概要を提供するプレゼンテーションのスライドを公開した。

Flinkの売り物のひとつとして,Apache Sparkの現行バージョンとの違いを際立たせているのが,SQLデータベースのクエリ最適化と同じようなアプローチの採用だ。Flinkでは,クエリにグローバル最適化を適用することによって,パフォーマンスの向上を実現している。例えば,オペレーションの実行順序を変更してパフォーマンスを改善することや,関連するデータセットの特性に基づいて,指定されたオペレータを実行する実装を選択することが可能だ。

プレゼンテーションでも説明されているように,異なるステップを逐次実行するSparkに対して,Flinkでは一連のオペレーションをパイプライン方式で実行することができる。

さらにFlinkでは,グローバル最適化を行うために,イテレーションなどのオペレータも提供されている。forループの中でクエリを発行する代わりに,イテレーションをクエリの一部として宣言するような方法が可能だ。

2015年の開発計画を紹介するロードマップには,メモリやフォールトトレランスの改善,インタラクティブな運用のサポート,バッチとストリームの統合,機械学習ライブラリMahoutとの統合などが盛り込まれている。

Flinkは元々,現在も継続中の研究プロジェクトであるStratosphereの一部分として開発が開始された。先頃ドイツ政府によって設立された,機械学習とスケーラブルなデータ処理を目標とする研究機関であるBerlin Big Data Centerでは,Flinkが中心的なプラットフォームとして使用されている。

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

タイポ by Y R

Apache Soarkは、Apache Sparkの誤記と思われます。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

1 ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT