BT

NetflixがGenie 3を発表

| 作者: Dylan Raithel フォローする 9 人のフォロワー , 翻訳者 徳武 聡 フォローする 0 人のフォロワー 投稿日 2017年7月17日. 推定読書時間: 3 分 |

原文(投稿日:2017/07/11)へのリンク

NetflixのGenieは、データプラットフォームのための、分散型の RESTfulなタスクを管理するエンジンだ。Genieには主要な二つのユースケースがある。一つはデータ処理タスク要求を作成し送信すること、もう一つはGenieのクラスタ上で動作するG新しいアプリケーションとタスクを開発してテストするためのローカル環境を設定することだ。

NetflixはGenie 3の新しい機能を発表した。タスク実行エンジンの再設計、セキュリティ機能、依存関係キャッシング、APIの変更などだ。

以前のバージョンのNetflixはGenieエンジンにはリーダーシップの選出がなかったため、ワーカーは不必要に同じタスクを実行しなければならなかった。今回のバージョンでは、Zookeeperか単一のノードのIPアドレスに設定された手動構成プロパティを通じてクラスタのリーダーシップがサポートされている。また、以前のバージョンタスクランタイムの単一の実行スクリプトは安全に分離されている関心事を超えて成長してしまうという問題があり、その結果、コード変更時のリスクを分離するというプロジェクトのメンテナンス能力が低下した。Genie 3のアプローチでは、ランタイムを維持し、その構成をモジュラー化し、記述的にし、改良したデータモデルでバージョン管理をしている。

Genie 3では、タスクはスケーラビリティが保証されているいくつかの抽象で構成されている。アプリケーションのランタイムと実行可能なコマンドはAPI経由で構成できる。Genieは、Spark、Hadoop、Pig、Hive、PrestoDB、およびSqoopなどのアプリケーション実行スクリプトを、特定の実行時設定や処理するデータとは独立して生成する。開発者としては、ローカルモードのワークフローはさまざまなランタイムの実行スクリプトを生成するが、テストおよび開発のサポートのために、基礎となる実装のREPLおよび標準出力と統合する。

Genie 3 APIコンポーネントは、Genieの機能の範囲をカバーする。クラスタAPI、コマンドAPI、アプリケーションAPI、ジョブAPIが、Genie 3を運用するためのセマンティクスを提供する。クラスタAPIは、Genieの論理ワーカクラスタを管理し、インフラストラクチャ自体は含まない。クラスタに関するメタデータ、設定時のワーカークラスタのベースライン状態、クラスタで使用可能なコマンド、およびベースラインパッケージインストールを管理するのに使える。PuppetやChefによく似ているが、実行時にGenieアプリケーションコマンドが必要とするワーククラスタ固有のパッケージや設定に注力している。こうすることで、起動時に依存性をダウンロードしてインストールする必要があるアプリケーションの起動時間を柔軟に設定し、ブートストラップを行える。

コマンドAPIのセマンティクスは、基本となるアプリケーションで動作し、特定のアプリケーションを参照するだけでなく、独自の起動と実行時設定も可能だ。

ジョブAPIを使用すると、Genieユーザーは一連のコマンドをスケジュール登録、または実行し、ジョブの実行状況に関するデータを追跡できる。 Genie 3には、GenieとそのAPIをサポートする構成ストレージ用のMySql、PostgreSQL、およびHSQLDB用のJDBCドライバが付属している。
また、Genie 3はOAuth2X.509ベースの公開鍵認証がサポートされている。

 
 

Rate this Article

Adoption Stage
Style
 
 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

特集コンテンツ一覧

.NETの派生を理解する

Wayne Citrin 2018年7月18日 午前3時44分

ASP.NET Core - シンプルの力

Chris Klug 2018年6月4日 午前3時26分

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT