BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース アリババがAutoMLアルゴリズムのKNASをオープンソース化

アリババがAutoMLアルゴリズムのKNASをオープンソース化

ブックマーク

原文(投稿日:2022/02/08)へのリンク

アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索(KNAS)をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習(AutoML)アルゴリズムだ。KNASは、モデル品質のプロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。

アルゴリズムと一連の実験は、Proceedings of Machine Learning Researchに掲載された論文に記載されている。提案されたモデルが完全なトレーニングプロセスを受ける必要がある多くのAutoMLアルゴリズムと異なり、KNASは、実際にトレーニングしなくても、どのモデルアーキテクチャが適切に機能するかを予測できるため、計算時間を大幅に節約できる可能性がある。NAS-Bench-201コンピュータービジョンベンチマークで評価した場合、KNASは、他のAutoMLメソッドと比較して「競争力のある」精度で結果を出す一方で、25倍のスピードアップを達成した。テキスト分類タスクで評価した場合、KNASは、事前にトレーニングされたRoBERTAベースラインモデルよりも優れた精度を実現するモデルを作成した。

ニューラルアーキテクチャ検索(NAS)はAutoMLからの派生である。タスクに最適な深層学習モデルアーキテクチャを見つけるものである。より具体的には、タスクデータセットと可能なアーキテクチャの検索スペースが与えられると、NASはタスクデータセットで最高のパフォーマンスメトリックを達成するアーキテクチャの発見を試みる。ただし、これには通常、提案された各モデルがデータセットで完全にトレーニングされている必要がある。一部のデータサイエンティストは、このような検索に必要な計算能力は「生涯で自動車5台分のカーボンを排出する」と推定している。これにより、多くの研究者は、トレーニングが必要となるモデルがより少なくなるように、検索アルゴリズムを改善する手法を調査するようになった。

Alibabaの研究者は、トレーニングなしでアーキテクチャを評価できるかを調査することを選択した。チームは、次の仮説を提案した。「勾配は、ランダムに初期化されたアーキテクチャを評価するダウンストリームトレーニングの大まかなプロキシとして使用できる」。特に、チームは勾配カーネル、この場合は勾配のグラム行列(MGM)の平均を見つけた。これは、モデルの精度と強い相関関係があることを示している。次に、KNASアルゴリズムは、提案された各モデルアーキテクチャのMGMを計算し、最良の数のみを保持し、それらの候補のモデル精度を計算し、最終結果として最高精度のモデルを選択する。

研究者は、NAS-Bench-201でのKNASのパフォーマンスを他のNASアルゴリズムファミリーと比較した。例えば、ランダム検索、強化学習(RL)検索、進化的検索、ハイパーパラメーター検索、微分可能アルゴリズム、そして他2つの「トレーニング不要な」アルゴリズムである。チームは、KNASが2つのトレーニング不要アルゴリズムを除いて、他のすべての方法よりも高速であることがわかった。また、1つのベンチマークデータセットに対して最高の精度のモデルを生成し、他の2つのデータセットで競争力のある結果を生成した。1つのケースでは、人間が作成したResNetベースラインモデルを上回った。

他の研究機関も、モデルのトレーニングをほとんどまたはまったく必要としないNASアルゴリズムを調査している。サムスンのグループは最近、モデルを評価するために1つのミニバッチのデータを使用するZero-Cost-NASをオープンソース化した。テキサス大学の研究者は、モデルのスコアリングに2つのトレーニング不要プロキシを使用するTraining-freE Neural Architecture Search(TE-NAS)をリリースした。エジンバラ大学のチームはトレーニングなしニューラルアーキテクチャ検索を公開した。「モデルを評価するために、トレーニングされていないネットワークのデータポイント間のアクティベーションのオーバーラップが調べられる」。昨年末、InfoQは、トレーニングなしで深層学習モデルのパラメーターを初期化するためにNASを使用するFacebookによってオープンソース化されたアルゴリズムについて報告した。

KNASコードはGitHubから入手できる。

作者について

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

.NETエコシステムの紹介

David Pine 2019年11月7日 午後7時48分

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT