InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
Wayveの自動運転車向けEnd-to-Endディープラーニングモデル
ディープラーニングAI技術に注力するWayveは、CARLAのシミュレーションデータを基に世界モデルと車両の運転方針を学習し、HDマップのない車への自律性を実現する最先端のエンドツーエンドモデルを発表した。
-
Googleの新たなImagen AIが、テキストから画像を生成するベンチマークでDALL-Eの性能を上回る
GoogleのBrain Teamの研究者がImagenを発表した。これはテキストによる説明が与えられたシーンから、写真のような現実感のある画像を生成できるテキスト-to-イメージAIモデルである。Imagenは、COCOベンチマークでDALL-E 2の性能を上回り、多くの同様のモデルと異なり、テキストデータでのみ事前トレーニングされている。
-
Metaが1750億パラメータAI言語モデルのOPTをオープンソース化
Meta AI Researchは、1750億パラメーターAI言語モデルのOpen Pre-trained Transformer（OPT-175B）をリリースした。このモデルは1800億のトークンを含むデータセットでトレーニングされている。GPT-3と同等のパフォーマンスを示す一方で、必要なカーボンフットプリントはGPT-3トレーニングの7分の1のみである。
-
Allen Institute for AI、AIモデル検査ツール”LM-Debugger”をオープンソースとして公開
Allen Institute for AI(AI2)は、言語モデル(LM)の予測出力を解釈し制御する、対話型ツールのLM-Debuggerをオープンソースとして公開した。LM-DebufferはすべてのHuggingFace GPT-2モデルを対象に、モデルのニューラルネットワークの隠れ層(hidden layer)の更新をダイナミックに修正することにより、ユーザのテキスト生成プロセスへの介入を可能にする。
-
グラフニューラルネットワークのベンチマークを高速化する新ツール GraphWorld
Google AIは先頃、グラフニューラルネットワーク(Graph Neural Networks、GNNs)分野のパフォーマンスベンチマークを加速するツールとして、GraphWorldをリリースした。異なるノード次数分布やジニ係数のように、さまざまな構造特性でグラフを生成するための、コンフィギュレーション可能なフレームワークである。
-
TensorFlow DTensor：分散ディープネットワークトレーニング向けの統合API
最近リリースされたTensorFlow v2.9では、モデル、データ、スペースパラレル（別名、空間タイル）ディープネットワークトレーニングのための新しいAPIが追加された。DTensorの目的は、シャーディング命令をモデルコードから分離することである。そのためにDTensorは、デバイス間でモデルとバッチパラメータを分割するための高レベルのユーティリティを提供する。
-
Amazonが51言語のAIトレーニングデータセット”MASSIVE”を公開
Amazon Alexa AIのNatural Language Understandingグループは "Multilingual Amazon SLURP (SLU resource package) for Slot Filling, Intent Classification, and Virtual-Assistant Evaluation"(MASSIVE)をリリースした。自然言語理解(NLU)AIモデルのトレーニングを目的として、51言語から100万件のアノテーション付きサンプルを収めたデータセットだ。データを使用するためのコードやツールも含まれている。
-
LAION、50億の画像-テキストペア・データセットLAION-5Bを公開
Large-scale Artificial Intelligence Open Network(LAION)は、50億を越える画像とテキストのペアを収めたAI用トレーニングデータセット"LAION-5B"をリリースした。LAION-5Bには、インターネットから収集した画像とキャプションが、前作であるLAION-400Mの14倍という規模で含まれており、無償で入手可能な最大の画像-テキストデータセットとなっている。
-
DeepMindが核融合研究装置のAIコントローラをトレーニング
Google子会社のDeepMindとEPFL(スイス連邦工科大学ローザンヌ校) Swiss Plasma Centerの研究者らが、核融合研究で使用するトカマク(tokamak)デバイスの制御アルゴリズムを生成する深層強化学習(RL)AIを開発した。このシステムは、シミュレータとのインタラクションを通じて制御ポリシを学習することで、実際のデバイスの制御への適用において、新たなプラズマ配位(plasma configuration)の実現を可能にしている。
-
本番環境でのディープネットワークのサービス提供：��産性と効率のトレードオフのバランス
最近公開された取り組みは、ディープニューラルネットワークをサービス提供するための、モダリティの選択肢の1つを提供するものである。組み込みのCPythonインタープリタを使うことで、本番処理でeagerモードモデルコードを直接利用できる。目標は、モデルを研究段階からエンドユーザに提供するまでのエンジニアリングの労力を削減し、将来の数値Pythonライブラリを移行するための概念実証（PoC）プラットフォームを作成することである。
-
NVIDIAが次世代AIハードウェアH100 GPUとGrace CPUスーパーチップを発表
最近のGTC会議で、NVIDIAは、AIコンピューティング用の次世代プロセッサを発表した。H100 GPUとGrace CPUスーパーチップである。H100はNVIDIAのHopperアーキテクチャをベースとしており、そこにはAIモデルのトレーニングを高速化するためのTransformer Engineが含まれている。Grace CPUスーパーチップは144個のArmコアを備えており、SPECrate 2017_int_baseベンチマークでNVIDIAの現在のデュアルCPU製品の性能を上回っている。
-
Googleが5400億パラメータのAI言語モデルPaLMをトレーニング
Google Researchは最近、Pathways Language Model（PaLM）を発表した。これは、5400億パラメータのAI自然言語処理（NLP）モデルで、BIGベンチベンチマークでは平均的な人間のパフォーマンスを超えている。PaLMは、多くの評価タスクで他の最先端のシステムよりも優れており、論理的推論やジョークの説明などのタスクで強力な結果を示している。
-
Google、AIによるGoogle Docsの要約生成機能を発表
Googleは、同社のDocsアプリに、ドキュメントのコンテンツの要約を自動生成する新機能を発表した。要約の生成には、Transformerアーキテクチャに基づいた自然言語処理(NLP)AIモデルを使用している。
-
3世代のtensorプロセッシングユニットから得られた10の教訓
GoogleのTPUグループが発行した最近のレポートでは、3世代のテンソルプロセッシングユニットの開発から得られた10のポイントが挙げられている。著者はまた、彼らの以前の経験が将来のtensorプロセッシングユニットの開発にどのように影響するかについても議論している。
-
スタンフォード大学がAI Index 2022年次報告書を公表
スタンフォード大学の人間中心人工知能研究所（HAI）は、2022年のAI Index年次報告書を発表した。このレポートでは、技術的成果の進歩、民間投資の急増、倫理的問題への関心の高まりなど、AIのトップトレンドが明らかになっている。