アバディーン大学、MIT、そして他のいくつかの機関の研究者チームが、機械学習（ML）モデル向けの過去のコンピューティング需要のデータセットをリリースした。このデータセットには、123の重要なモデルのトレーニングに必要な計算が含まれている。分析によると、2010年以降、トレンドが大幅に上昇している。
この分析は、arXivで公開される論文で発表された。このデータセットには、これまでの取り組みの3倍のモデルが含まれている。そして、最先端の技術を進歩させた注目すべきMLモデルがカバーされている。この研究の目的は、トレーニングコンピューティングの需要を代理として使って、MLの進歩を予測できるようにすることである。チームは、MLの3つの時代を特定した。彼らはこれらの時代を、プレディープラーニング時代、ディープラーニング時代、大規模時代と名付けた。また、各時代の倍増するトレンド（ムーアの法則に類似）を計算しており、それぞれ約21か月、6か月、10か月であった。研究者は次のように言っている。
私たちの取り組みによって、MLの最近の進歩が規模の拡大によってどの程度推進されているかがより正確に理解され、高度なMLシステムの開発に対する予測の改善に役立てられることを願っています。
最近の調査によると、べき法則に従ってトレーニングコンピューティングを増やすと、ディープラーニングモデルのパフォーマンスが向上することがわかっている。つまり、トレーニング計算を2倍にするたびに、モデルの損失が一定の係数で減少する。これは、将来のコンピューティングの需要を予測することで、計画担当者やポリシー作成者に対してモデルが将来どの程度うまく機能するかについてのアイデアを提供できることを意味する。
チームは、MLコンピューティング要件の歴史的なトレンドを判断するために、実験結果が示されており、最先端の技術を進歩させているML研究論文からデータを収集した。それらの論文は「マイルストーンモデル」とも見られている。これは、それらが過去のデータとして重要であるか、あるいは広く引用されていることを意味する。すべての論文に計算リソース要件に関するデータが含まれているわけではないため、研究チームは、モデルパラメーターの数とトレーニングデータサイズから計算を推定するヒューリスティックを開発した。
データ分析によって、チームは3つの異なるトレンド、あるいは時代があることに気づいた。最初は、クロードシャノンの1952年の迷路解決ロボットテセウスから始まり、2010年頃まで続いた。これはプレディープラーニングの時代である。この中でのコンピューティングの使用量はゆっくりと増加し、2年ごとに倍増した。これはムーアの法則とほぼ一致している。次の時代であるディープラーニングの時代は、はるかに速い成長を示し、約6か月ごとに倍増している。しかし、2つの時代の間に急激な移行はなく、チームは、2010年から2012年のどこをスタートにしても、彼らの結果は「ほとんど変わらない」と述べた。
ディープラーニング時代のトレンドは2022年まで続いている。一方で、チームは大規模時代のトレンドが2015年から新たに始まっていることに気づいた。これはAlphaGoやGPT-3などの非常に大きなモデルで構成される。これらのモデルでは、現在、コンピューティングの需要は「通常のスケール」モデルよりも1桁あるいは2桁高くなっている。ただし、需要は9か月または10か月ごとに2倍になっているようである。
チームはまた、異なるドメインのモデルが異なるトレンドを示すかどうかを調査した。彼らは、言語、視覚、ゲーム、「その他」（マルチモーダルシステム、自動運転車、ロボット）の4つのカテゴリでモデルを分析した。言語、視覚、その他については、トレンドはデータセット全体と「かなり一致」していた。しかし、研究者たちはゲームについては一貫したトレンドを見つけることができなかった。
Twitterでのディスカッションで、ユーザは、モデル推論の計算要件を確認するのは興味深いことだと述べている。共著者のLennart Heim氏はこう答えた。
残念ながら、トレーニングと同じように、利用可能なデータがボトルネックになります。推論計算を共有することは、トレーニング計算よりも一般的ではありません。
MLコンピューティングトレンドデータセットは共有Googleドキュメントで入手できる。その作成者の視覚化コードはGitHubから入手できる。トレンドデータのアニメーションビューは、Our World in DataのWebサイトで入手できる。