Microsoftは、自然言語処理(NLP)用のOpenAIのGPT-3ディープラーニングモデルのライセンスに関する、OpenAIとの合意を発表した。Microsoftの発表によると、モデルの「独占的」ライセンスが付与されるが、OpenAIは引き続き独自のAPIを介してモデルへのアクセスを提供する。
MicrosoftのCTOであるKevin Scottは、Microsoftのブログでこの合意について書いている。この取引は、2つの組織間の既存の関係に基づいている。これは、MicrosoftのAzureクラウドプラットフォーム上にスーパーコンピューターを構築する際のパートナーシップを含んでいる。OpenAIは最近、そのスーパーコンピューターを使用してGPT-3をトレーニングした。GPT-3での、1,750億のパラメーターは、これまでにトレーニングされた最大のNLPディープラーニングモデルの1つである。Scottは、GPT-3のライセンスは次のようになると述べた。
その技術革新を活用して、顧客に高度なAIソリューションを開発および提供し、高度に自然言語を生成する驚くべき力を活用できる新しいソリューションを作成できるようになります。
GPT-3は、OpenAIのGenerative Pre-Trained Transformerモデルの3回目のインテレーションである。オリジナルのGPTモデルは2018年にリリースされ、1億1700万のパラメーターが含まれていた。次のインテレーションであるGPT-2では、OpenAIはモデルを10倍以上スケールアップして15億のパラメーターとなった。GPT-2によって生成されたテキストは、人間が書いたテキストと同じくらい「信頼できる」ことが多いため、OpenAIは最初、「だまそうとしたり、偏見的であったり、虐待的であったりする言語を大規模に」生成するという誤用の可能性を理由に、完全なモデルのリリースを拒否した。しかし、2019年11月までに、OpenAIは「誤用の強い証拠はない」と判断し、モデルをリリースすることを決定した。
2019年7月、MicrosoftとOpenAIは、「新しいAzure AIスーパーコンピューティングテクノロジを共同で構築する」ための、Microsoftからの10億ドルの投資を含むパートナーシップを発表した。OpenAIはまた、Azureでサービスを実行し、Microsoftを「新しいAIテクノロジーを商品化するための優先パートナー」にすることに同意した。今年5月のBuild会議で、MicrosoftはAzureクラウドプラットフォーム上でOpenAI用にビルドされたスーパーコンピューターを紹介した。それは「各GPUサーバーに285,000を超えるCPUコア、10,000 GPU、400ギガビット/秒のネットワーク接続を備えた単一システム」である。
今年初めに発表されたGPT-3は、GPT-2の100倍のスケールアップであり、いくつかのNLPタスクで新しい最先端の結果をもたらした。トレーニングデータセットには、約5兆語が含まれていた。Azureスーパーコンピューターでモデルをトレーニングすると、「数千ペタフロップス/秒の計算」が実行され、これには460万ドルから1200万ドルのコストがかかると推定される。GPT-2のときと同様に、OpenAIはトレーニング済みモデルをリリースしていない。ただし、OpenAIは、開発者がアプリからモデルを呼び出すためのアクセス制限付きWeb APIをリリースした。
Microsoftとのライセンス契約は、OpenAIがテクノロジーを収益化するための最近の動きの最新のものである。もともと非営利団体として設立されたOpenAIは、2019年3月にOpenAI LPと呼ばれる新しい「営利と非営利のハイブリッド」あるいはは「キャップドプロフィット」を立ち上げ。新会社の目標は、「投資資金を調達し、スタートアップのような資本で従業員を引き付ける」ことであった。OpenAIのAPIページにはFAQセクションが含まれている。これは「成功するための十分な資金があることを確認する方法の1つ」として商用製品を守るものである。Microsoftライセンスの条項は明らかにされていないが、OpenAIはOpenAIのAPIのユーザには「影響がない」と主張しており、「これまでと変わらずにアプリケーションの構築を継続できる」としている。
ライセンス契約が「独占的」であると言われており、OpenAIがトレーニング済みモデルのリリースに過去に消極的だったことから、多くのコメント提供者は、会社の名前を「ClosedAI」に変更する必要があると冗談を言っている。あるHackerNewsの読者は、GPT-3の長期的な商業的実行可能性に疑問を投げかけた。
GPT-3を商品化するというアイデアは、行き場を失うことになると感じている人はいないでしょうか。リサーチコミュニティは数か月または1年以内に、より小さく安価なオープンモデルで同じ機能を複製する方法を理解しているのです。
OpenAI APIは現在ベータ版であり、アクセスを取得するための順番待ちリストがある。15億パラメータのGPT-2モデルがGitHubで入手できる。