OpenAI、"Transformer Debugger"ツールをリリース

原文リンク(2024-03-18)

OpenAIは、"Transformer Debugger"(TDB)と呼ばれる新しいツールを発表した。このツールはOpenAIのSuperalignmentチームによって開発され、自動解釈可能性技術とスパースオートエンコーダを組み合わせたものである。

Transformer Debuggerは、AIの透明性向上に向けた重要な一歩であり、研究者がトランスフォーマーモデルの「回路」を掘り下げ、その内部構造と意思決定プロセスを分析することを可能にする。TDBは、フォワードパスに介入し、それが特定の動作にどのような影響を与えるかを確認する機能により、コードを書く必要がある前に迅速な探索を可能にする。TDBは、"なぜモデルは、このプロンプトに対してトークンBではなくトークンAを出力するのか？"や "なぜアテンションヘッドHは、このプロンプトに対してトークンTにアテンションするのか？"といった質問に答えるために使用できる。

これは、動作に寄与する特定の構成要素（ニューロン、注意ヘッド、オートエンコーダー潜在）を特定し、それらの構成要素が最も強く活性化する原因について自動生成された説明を示し、構成要素間の接続をトレースして回路を発見するのに役立てることによって行う。Transformer Debuggerは、自動化技術とスパースオートエンコーダを組み合わせ、ユーザーフレンドリーな探索ツールを作成する。ユーザーは、コードを1行も書かずにモデルの様々な側面を解析できる。これにより、これらの複雑なシステムがどのようにして出力に至るかを理解することが、これまで以上に容易になる。

個々のニューロンを切除することでフォワード・パスに介入し、何が変化するかを見ることができます。要するに、手動で回路を発見する迅速で簡単な方法なのです。 -Jan Leike氏、OpenAI

このリリースは主にPythonとJavascriptで作られている。Neuron ViewerはReactアプリケーションで、Transformer Debugging Backend（TDB）をホストし、MLPニューロン、アテンション・ヘッド、オートエンコーダー・レイテントといった個々のモデル・コンポーネントに関する詳細情報を提供する。バックエンドサーバーであるActivation Serverは、TDBにデータを提供するために対象モデルに対して推論を実行し、またパブリックなAzureバケットからデータにアクセスして提供する。このシステムには、GPT-2モデルとそのオートエンコーダ用のシンプルな推論ライブラリも含まれており、アクティベーションをキャプチャするためのフックが装備されている。さらに、MLPニューロン、アテンション・ヘッド、オートエンコーダー・レイテント用のトップ活性化データセット例を提供する、照合された活性化データセットも備えている。

Transformer Debuggerのリリースは、より透明で説明可能なAIに向けた重要な一歩となる。研究者がブラックボックスの内部を覗き見ることを可能にすることで、OpenAIはコラボレーションを促進し、この分野の進歩を加速させている。AIモデルに対する新たな理解により、将来の責任ある開発と展開への道が開くだろう。

Transformer Debuggerの詳細を知りたい開発者は、Githubのリポジトリやリリースに付随するビデオを見ることができる。