BT

IntelはApache Spark上で動作する分散型ディープラーニングライブラリであるBigDLをオープンソース化

| 作者: Alexandre Rodrigues フォローする 0 人のフォロワー , 翻訳者 編集部T フォローする 0 人のフォロワー 投稿日 2017年1月22日. 推定読書時間: 2 分 |

原文(投稿日:2017/01/13)へのリンク

IntelApache Spark上で動作する分散型ディープラーニングライブラリであるBigDLをオープンソース化した。既存のSparkクラスタを活用して、ディープラーニングの計算を実行し、Hadoopに格納された大量のデータセットからのデータロードを容易にする。

テストにより、Xeonサーバで実行したときの性能が、他のオープンソースフレームワークであるCaffeTorchTensorFlowと比較して大きく向上した。このスピードは主流のGPUに匹敵し、BigDLは数十台のXeonサーバまで拡張することができる。

BigDLライブラリはSparkバージョン1.5、1.6、2.0をサポートし、既存のSparkベースのプログラムにディープラーニングを組み込むことができる。それはSpark RDDをBigDL DataSetに変換するメソッドを含み、直接Spark ML Pipelinesと共に使用することができる。

モデルのトレーニングのために、BigDLは単一のSparkタスクで実行される同期ミニバッチSGD (Stochastic Gradient Descent)を複数のエグゼキュータに適用する。 各実行プログラムは、マルチスレッドエンジンを実行し、マイクロバッチデータの一部を処理する。現在のバージョンでは、すべてのトレーニングデータと検証データがメモリにロードされる。

BigDLはScalaで実装され、Torchをモデルにしている。Torchと同様に、BigDLはIntel MKLライブラリを使って計算するTensorクラスを提供する。Intel MKLは、Math Kernel Libraryの略であるが、FFT(高速フーリエ変換)から行列乗算まで、最適化されたルーチン処理のセットを含むライブラリからなる。それは、ディープラーニングモデルのトレーニングに頻繁に使用される。Torchを参考にした他の概念はModuleであり、Torchのnnパッケージにインスピレーションを受けている。Moduleは個別のニューラルネットワーク層であるTableCriterionを表す。

BigDLはAWS EC2 imageイメージと、畳み込みニューラルネットワークを使用したテキスト分類画像分類、予測計算のためにTorchやCaffeで事前にトレーニングされたモデルをSparkに読み込む方法を提供する。コミュニティからの主な要求は、PythonのサポートとMKL-DNN、MKLのディープラーニング拡張である。

 
 

Rate this Article

Relevance
Style
 
 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

特集コンテンツ一覧

.NETの派生を理解する

Wayne Citrin 2018年7月18日 午前3時44分

ASP.NET Core - シンプルの力

Chris Klug 2018年6月4日 午前3時26分

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT