BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース NVIDIAが次世代AIハードウェアH100 GPUとGrace CPUスーパーチップを発表

NVIDIAが次世代AIハードウェアH100 GPUとGrace CPUスーパーチップを発表

ブックマーク

原文(投稿日:2022/05/03)へのリンク

最近のGTC会議で、NVIDIAは、AIコンピューティング用の次世代プロセッサを発表した。H100 GPUGrace CPUスーパーチップである。H100はNVIDIAのHopperアーキテクチャをベースとしており、そこにはAIモデルのトレーニングを高速化するためのTransformer Engineが含まれている。Grace CPUスーパーチップは144個のArmコアを備えており、SPECrate 2017_int_baseベンチマークでNVIDIAの現在のデュアルCPU製品の性能を上回っている。

NVIDIAの創設者兼CEOのJensen Huang氏は基調講演でその発表をした。AIトレーニングを加速するためのHopperアーキテクチャには革新的な機能が含まれている。例えば、1秒あたりの浮動小数点演算処理(FLOPS)性能が向上した高速Tensorコアや、セキュリティとプライバシーを向上させるNVIDIAのコンフィデンシャルコンピューティングテクノロジなどがある。このアーキテクチャをベースに構築されたH100 GPUは、PCI Express Gen 5(PCIe 5)とHBM3をサポートする最初のGPUである。Grace CPU Superchipは2つのCPUチップを含むシングルソケットパッケージである。この2つのCPUチップは、NVIDIAの高速NVLink-C2Cテクノロジを通して接続される。Huangの基調講演では、NVIDIAの新しいチップを「世界のAIインフラストラクチャのエンジンであり、企業がAI主導のビジネスを加速するために使用するもの」と位置付けている。

Transformerディープラーニングモデルは、多くのAIタスク、特にGPT-3などの大規模な言語モデルで一般的に選択されている。これらのモデルのトレーニングには、大量のデータセットと、数週間ではないにしても何日もの計算時間が必要である。H100 GPUには、8ビット(FP8)と16ビット(FP16)の浮動小数点演算を動的に混合できるTransformer Engineが含まれている。H100は、より低い精度で動作し、全体的なFLOPSの向上をサポートすることで、前世代のAmpere GPUと比較して桁違いの高速化を実現できる。全体として、NVIDIAは、175BパラメーターGPT-3モデルのトレーニングを6倍、エキスパートモデルの395Bパラメーター混合で最大9倍高速化できると述べている。計算時間は7日から20時間に短縮されている。

このチップには、新たに動的計画法命令(DPX)も含まれている。これにより、動的計画法アルゴリズムがAmpereと比較して最大7倍高速化される。ルーティングの最適化やタンパク質フォールディングなどのアプリケーションでパフォーマンスが向上する。クラウド環境でのマルチテナント操作をサポートするために、H100にはセキュアマルチインスタンスGPU(MIG)とコンフィデンシャルコンピューティングテクノロジが含まれている。これにより、最大7つの仮想GPUに分割することができ、そこでテナントデータのプライバシーを維持することができる。

Grace CPU Superchipは、昨年発表されたGrace Hopper Superchipの次のイテレーションである。Grace CPUとHopperベースのGPUを1つのチップに組み合わせたものである。新しいチップは2つのGraceCPUを組み合わせたものである。この2つはNVIDIAのNVLink-C2Cインターコネクトを使って接続される。各CPUはArm v9アーキテクチャをベースとしており、1TB/秒のメモリ帯域幅を備え、500Wの電力しか消費しない。このチップは、Omniverse、NVIDIA AI、NVIDIAHPCを含むすべてのNVIDIAソフトウェアスタックをサポートする。NVIDIAのConnectX-7 NICを使うと、チップは最大8つの外部HopperベースのGPUをサポートできる。

何人かのユーザがHacker Newsのスレッドでこの発表についてコメントしている。一人が次のように記述している。

NVIDIAは、データセンター製品の垂直統合を続けている。彼らはInfiniBandを入手するためにMellanoxを買収した。彼らはARMを買収しようとしたが、それはうまくいかなかった。しかし、とにかく彼らはCPUを構築、バンドルしている。コンピューティングの面ではるかに前を進んでいるとき、あなたを阻むもののすべては周辺機器となるため、彼らは完全なソリューションをまとめようとしている。

NVIDIAのGPUは、AI処理を加速するための一般的な選択肢である。今年の初めに、InfoQは最新のMLPerfベンチマークについて報告した。そこで、NVIDIAは8つのタスクのうち7つで最高の結果を載せている。

作者について

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT