BT

Facebookが数十億を越える語彙を効率的に扱うニューラルネットワークモデルを構築

| 作者: Alex Giamas フォローする 10 人のフォロワー , 翻訳者 吉田 英人 フォローする 0 人のフォロワー 投稿日 2017年1月5日. 推定読書時間: 2 分 |

原文(投稿日:2016/12/12)へのリンク

シーケンス予測(sequence prediction)にニューラルネットワークを用いるのは,音声認識や機械翻訳,言語モデルなどさまざまなアプリケーション分野において,計算機科学ではよく知られた問題だ。ここで使用されるモデルは膨大な計算量を必要とするため,それが実用上の適用性を制限する理由となっている。

Facebook AI Researchの研究者たちは,膨大な語彙に対してニューラルネットワークを効率的に教育するため,GPUに特化した近似アルゴリズムであるAdaptive SoftMax設計した。公開された論文の説明によると,Adaptive SoftMaxは,大規模なコーパスにおける単語分布のアンバランス性を利用して,計算複雑性の期待値を最小化可能なクラスタを生成する。完全なSoftMaxは語彙コーパスのサイズに対して線形相関を持つが,Adaptive Softmaxはほぼ線形である上に,GPUでの使用に最適化されている。

Adaptive SoftMaxの開発に関連してFacebookは,GPUでの回帰性モデルの設計とテストを行なう研究者を支援すべく,オープンソースライブラリのtorch-mnlibをリリースした。torch.cudnnは,NVIDIA CUDA Deep Neural Networkライブラリを使用して,ベースラインへの簡単なアクセスを可能にする。RNN, LSTM, GRUなどの再帰型ネットワークがこのライブラリを使って実装されており,再帰型ネットワークを設計する上でのビルディングブロックとして,研究者が手軽に使用することができる。

単一GPUでのアルゴリズムのテストにおいて,Facebookの研究者チームは,完全なSoftMaxに近い正確性を維持しつつ,12,500ワード/秒のパフォーマンスを達成している。研究者によるベンチマークパープレキシティ(Benchmark perplexities)では,GoogleのJozefowicz氏らが2016年に32GPUと3週間を費やして30(低いほど高速)を,18GPUを使用したトレーニングで44を達成している。Tensorflowを使用したGoogleのLSTMモデルの実装がGitHubで公開されており,その主要な作者のひとりがRedditの関連スレッドの中で,パープレキシティのパフォーマンスについて興味深い説明をしている。これとは対照的にAdaptive SoftMaxでは,14時間以内で50のパープレキシティを,2日で43.9を,6日で39.8を実現している。CuDNNライブラリがない場合には,パフォーマンスは30%程低下する。ツールとテクニックはすべて,入手可能な最大規模のコーパスであるEuroParlOne Billionコーパスを対象にテストを実施している。

 
 

この記事を評価

関連性
スタイル
 
 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

特集コンテンツ一覧

C# 8の非同期ストリーム

Bassam Alugili 2018年10月11日 午前3時13分

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT