InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
OpenAIがGPTプロンプトエンジニアリングガイドを発表
先日、OpenAIはプロンプトエンジニアリングのガイドを発表した。このガイドでは、GPTモデルからより良い応答を引き出すための6つの戦略が掲載されており、特に最新バージョンであるGPT-4の例に焦点を当てられている。
-
Microsoft、小型言語モデルPhi-2を発表
Microsoft Researchは、27億パラメータのTransformerベースの言語モデルであるPhi-2を発表した。Phi-2はGPT-3.5によって生成された1.4Tトークンの合成データでトレーニングされ、様々なベンチマークでより大規模なモデルを上回る性能を発揮する。
-
Google、新しいマルチモーダルAIモデル「Gemini」を発表
12月6日、Alphabetは次世代AIモデル「Gemini」の第一段階を発表した。Geminiは、CEOのSundar Pichai氏とGoogleDeepmindによって統括・推進された。
-
MicrosoftのOrca 2 LLM、性能面で10倍大きいモデルを凌駕
Microsoft Researchは、Llama 2の微調整版であるOrca 2 LLMを発表した。Orca 2 LLMは、10倍のパラメータを含むモデルと同等かそれ以上の性能を発揮できる。この性能を達成するために、合成トレーニングデータセットとプロンプト消去と呼ばれる新しい技術を使用している。
-
Meta、生成AIモデル「Emu Video」と「Emu Edit」を発表
Meta AI Researchは、2つの新しい生成AIモデルを発表した。Emu Videoは、テキストプロンプトにて短い動画の生成ができ、Emu Editは、テキストベースの指示を受けて画像編集ができる。両モデルとも、Meta社のEmu基礎モデルをベースにしており、いくつかのベンチマークで最先端の性能を示している。
-
xAI、大規模言語モデル"Grok"を発表
イーロン・マスク氏が設立したAI企業xAIはこの頃、大規模言語モデルGrokを発表した。GrokはXプラットフォームを通じて世界の現在の知識にアクセスでき、いくつかのベンチマークでGPT-3.5を含む同規模の他の大規模言語モデル（LLM）を凌駕している。
-
Spotify、最近傍検索ライブラリVoyagerをオープンソース化
Spotify Engineeringは最近、近似最近傍（ANN）検索ライブラリであるVoyagerをオープンソース化した。VoyagerはHNSW（hierarchical navigable small worlds)アルゴリズムに基づいており、Spotifyの以前のANNライブラリAnnoyよりも10倍高速である。
-
Ai4 2023 パネルディスカッション：ビジネスと社会における生成AI
先日開催されたAi4カンファレンスでは、"Generative AI in Business and Society （「ビジネスと社会における生成AI」）"と題したパネルディスカッションが行われた。重要なポイントは、生成AIは業務効率化と製品のパーソナライゼーションに多くの機会を提供すること、企業はプライバシーへの懸念とパーソナライゼーションのバランスを取る必要があること、そして生成AIが組織全体でどのように使用されているかを理解する必要があることである。
-
OpenAI、不正な超知能AIに対応する専門チーム「Superalignment」の結成を発表
OpenAIは、不正な超知的AIの出現を防ぐことを目的とした専門チーム「Superalignment」の結成を発表した。OpenAIは、AIシステムを人間の価値観に合わせる必要性を主張し、潜在的な危害を防ぐための事前対策の重要性を述べた。
-
Metaが手がけるオープンソースなComputer Vision基盤モデルDINOv2
Meta AI ResearchはComputer Vision（CV）タスクの基盤モデルであるDINOv2をオープンソース化した。DINOv2は142Mの画像からなるキュレーションデータセットで事前学習されており、画像分類(Image Classification)、ビデオアクション認識(Video Action Recognition)、セマンティックセグメンテーション(Semantic Segmentation)、深度推定(Depth Estimation)などのタスクのバックボーンとして使用できる。
-
Twitterがレコメンデーションアルゴリズムをオープンソース化
Twitterは最近、ユーザーのTwitterタイムラインにツイートをレコメンドするシステムのいくつかのコンポーネントをオープンソース化した。このリリースには、アルゴリズムを実行するいくつかのサービスやジョブのコード、ツイートを埋め込んでランキングする機械学習モデルをトレーニングするコードが含まれている。
-
Stability AIが70億パラメータのオープンソースな言語モデル「StableLM」を公開
Stability AIは、大規模言語モデル（LLM）スイートであるStableLMのための訓練済み重みづけモデルを2セット公開した。これらのモデルは、1.5兆個のテキストトークンで学習済で、CC BY-SA-4.0の下で商用利用が許可されている。
-
Google、より効率的なAI学習アルゴリズムを発見するためにAutoMLを使用
Googleの研究者は、自動機械学習（AutoML）進化アルゴリズムによって発見された、ニューラルネットワークを訓練するための最適化アルゴリズムEvoLved sIgn mOmeNtum（Lion）をオープンソース化した。Lionで学習したモデルは他のオプティマイザで学習したモデルよりも、いくつかのベンチマークで高い精度を達成でき、しかも収束に要する計算サイクルは少なくて済む。
-
PyTorch 2.0コンパイラによるモデル学習速度の向上
PyTorch Foundationは100%後方互換のアップデートであるPyTorch version 2.0をリリースした。今回のリリースの目玉、ディープラーニングモデルのコンパイル機能ではトレーニングのスピードアップを実現しており、163個のオープンソースAIプロジェクトにおけるベンチマークではトレーニング中のモデルの動作が平均43%高速化されたことが示された。
-
カーネギーメロン大学の研究者、WiFi経由で人を検知するAIモデルを開発
カーネギーメロン大学（CMU）のヒューマンセンシング研究所の研究者は、WiFi送信機からの信号のみを用いて、部屋にいる複数の人間のポーズを検出するAIモデルのDensePose from WiFiに関する論文を発表した。実世界のデータを用いた実験では、このアルゴリズムは50%のIOU閾値で平均87.2という精度を達成したのである。