BT

InfoQ ホームページ ニュース Facebookが数十億を越える語彙を効率的に扱うニューラルネットワークモデルを構築

Facebookが数十億を越える語彙を効率的に扱うニューラルネットワークモデルを構築

ブックマーク

原文(投稿日:2016/12/12)へのリンク

シーケンス予測(sequence prediction)にニューラルネットワークを用いるのは,音声認識や機械翻訳,言語モデルなどさまざまなアプリケーション分野において,計算機科学ではよく知られた問題だ。ここで使用されるモデルは膨大な計算量を必要とするため,それが実用上の適用性を制限する理由となっている。

Facebook AI Researchの研究者たちは,膨大な語彙に対してニューラルネットワークを効率的に教育するため,GPUに特化した近似アルゴリズムであるAdaptive SoftMax設計した。公開された論文の説明によると,Adaptive SoftMaxは,大規模なコーパスにおける単語分布のアンバランス性を利用して,計算複雑性の期待値を最小化可能なクラスタを生成する。完全なSoftMaxは語彙コーパスのサイズに対して線形相関を持つが,Adaptive Softmaxはほぼ線形である上に,GPUでの使用に最適化されている。

Adaptive SoftMaxの開発に関連してFacebookは,GPUでの回帰性モデルの設計とテストを行なう研究者を支援すべく,オープンソースライブラリのtorch-mnlibをリリースした。torch.cudnnは,NVIDIA CUDA Deep Neural Networkライブラリを使用して,ベースラインへの簡単なアクセスを可能にする。RNN, LSTM, GRUなどの再帰型ネットワークがこのライブラリを使って実装されており,再帰型ネットワークを設計する上でのビルディングブロックとして,研究者が手軽に使用することができる。

単一GPUでのアルゴリズムのテストにおいて,Facebookの研究者チームは,完全なSoftMaxに近い正確性を維持しつつ,12,500ワード/秒のパフォーマンスを達成している。研究者によるベンチマークパープレキシティ(Benchmark perplexities)では,GoogleのJozefowicz氏らが2016年に32GPUと3週間を費やして30(低いほど高速)を,18GPUを使用したトレーニングで44を達成している。Tensorflowを使用したGoogleのLSTMモデルの実装がGitHubで公開されており,その主要な作者のひとりがRedditの関連スレッドの中で,パープレキシティのパフォーマンスについて興味深い説明をしている。これとは対照的にAdaptive SoftMaxでは,14時間以内で50のパープレキシティを,2日で43.9を,6日で39.8を実現している。CuDNNライブラリがない場合には,パフォーマンスは30%程低下する。ツールとテクニックはすべて,入手可能な最大規模のコーパスであるEuroParlOne Billionコーパスを対象にテストを実施している。

 
 

この記事を評価

関連性
スタイル
 
 

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

.NET CLIクイックツアー

Jeremy Miller 2019年2月18日 午前1時55分

.NET CoreとDevOps

Dave Swersky 2019年2月6日 午後11時46分

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。