BT

InfoQ ホームページ ニュース DeepMindのAIがStarCraftのトッププレイヤーに勝利

DeepMindのAIがStarCraftのトッププレイヤーに勝利

ブックマーク

原文(投稿日:2019/04/05)へのリンク

DeepMindのAlphaStar AI プログラムが最近、StarCraftの2人のトッププロプレイヤーに5-0で勝利した。

DeepMindチームはStarCraft II-をプレイするAlphaStarと呼ばれるAIプログラムについて書いている。AIプログラムは2人のハイランクのプロプレイヤーと対戦し、双方に5-0で勝利した。研究者は2009年からStarCraft用のAIを開発しているが、年に1度の対人試合では”最強のボット[でさえも]現在では人間のアマチュアレベルである”。

AIプログラムにリアルタイムストラテジ(RTS)ゲームを教えるのは、いくつかの理由により困難である。まず、チェスや碁のような古典的なストラテジゲームと違い、プレイヤーはゲーム全体を見渡すことが一切できない。アクションの効果が出るまで長い時間が掛かり、プレイヤーはターンごとにひとつのアクションを起こすのではなく、リアルタイムに、継続的にアクションを取らなければならない。また、ゲームのアクションスペースがはるかに広い:明確に定義された合法なセットを作る一握りの”ピース”ではなく、StarCraftゲームにはグルーピングや階層して管理できる何十もの建物やユニットがある。

2017年、DeepMindはStarCraftの生みの親であるBlizzard Entertainmentとのパートナーシップについてブログ記事を公開した。ゲームをプレイするAIの開発におけるものだ。DeepMindはBlizzardのStarCraft II API周りのPythonラッパーであるPySCを、研究努力の一部としてオープンソース化した。

AlphaStarは、その振る舞いをコントロールするのにディープ・ニューラル・ネットワークを利用している;ネットワークへのインプットはゲームインターフェースからのデータであり、アウトプットはゲームへのコマンドである。技術の詳細は明かされていないものの、ブログ記事には、ネットワークは”Transformerからユニット(関係深層強化学習に似たもの)で構成されており、ディープLSTMコア、ポインターネットワークを備えた自己回帰ポリシーヘッド、および集中[sic]ベースラインを組み合わせたもの”と書かれている。

ネットワークは初め、公開された人間同士の対戦サンプルによる教師あり学習を使って訓練された。その後、このネットワークのコピーまたはエージェントを使って、マルチ・エージェント”リーグ”が作られた。互いに対戦し、強化学習(RL)の技術を使って競技に磨きを掛けていった。そのうち、エージェントは停止となり、RL改善のための新しいコピーがリーグに追加された。この方法で、システムは新しい戦略を探れる。戦略を未修正で学習したエージェントをキープすることで、以前に学習した戦略を”思い出す”と同時に、古いもののコピーによる新しいエージェントを訓練するのだ。リーグを訓練するため、DeepMindは14日間Google's v3 TPUsで稼働する分散システムを建てた。1エージェントにつき、16 TPUを使う。最後のエージェントは、リーグにおけるエージェントの”最も効果的な戦略ミックス”で構成された試合で利用された。

DeepMindは論文審査のある専門誌で全容を説明する準備している。

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

.NETエコシステムの紹介

David Pine 2019年11月7日 午後7時48分

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。