InfoQ ホームページ 大規模言語モデル に関するすべてのコンテンツ
-
Mistral AI、3つのオープンウエイト言語モデルをリリース
Mistral AIは3つのオープンウェイト言語モデルをリリースした：12Bパラメータの汎用LLM「Mistral NeMo」、7Bパラメータのコード生成モデル「Codestral Mamba」、数学と推論用に微調整された7Bパラメータのモデル「Mathstral」である。この3つのモデルはすべてApache 2.0ライセンスで提供されている。
-
YouTubeでの音楽レコメンドにTransformerアーキテクチャを活用
Google社は、現在の生成AIブームの火付け役であるトランスフォーマーモデルを音楽レコメンドに活用するアプローチについて説明した。現在YouTubeで実験的に適用されているこのアプローチは、音楽を聴く際のユーザーの一連の行動を理解し、そのコンテキストに基づいてユーザーの好みをより的確に予測できるレコメンダーを構築することを目的としている。
-
NVIDIA NIM、Hugging Faceで推論サービスとして利用可能に
Hugging Faceは、NVIDIA NIMによる推論サービスの提供開始を発表した。今回の新サービスで、開発者は主要なAIモデルのNVIDIAによる高速化された推論に容易にアクセスできるようになる。
-
Meta社、これまでで最大のオープンソースモデルとなるLlama 3.1 405Bをリリース
Meta社は最近、最新の言語モデルLlama 3.1 405Bを発表した。このAIモデルは、8Bと70Bバージョンも含む新しいLlamaモデルの中で最大のものである。4,050億のパラメータ、15兆のトークン、16,000のGPUを持つLlama 3.1 405Bは、様々な印象的な機能を提供する。
-
Alibaba、数学と音声チャット用の2つのオープンウェイト言語モデルをリリース
Alibabaは2つのオープンウェイト言語モデルファミリーをリリースした。Qwen2-Math は数学の問題を解くために調整されたLLMで、Qwen2-Audio は音声やテキスト入力を受け付けるマルチモーダルLLMである。両ファミリーはAlibabaのQwen2 LLMシリーズをベースにしており、Qwen2-Mathの最大バージョンを除くすべてがApache2.0ライセンスで提供されている。
-
GitHub Modelsが新しいAIプレイグラウンドと他のGitHubツールとの緊密な統合をもたらす
GitHubは、開発者がGitHubツールエコシステム内から様々なAIモデルを探索し、Azure AIを使用してAIベースのサービスを簡単にデプロイできるようにすることを目的とした無料の機能、GitHub Modelsを発表した。GitHub Modelsにはプライベートモデルとパブリックモデルがあり、現在はクローズドプレビュー版となっている。
-
Amazon Q Apps、企業向け生成AIアプリの作成簡素化を目指す
Amazon Q Businessの一部であるAmazon Q Appsは、企業データを統合し、組織内で安全に共有できる生成AIアプリの作成を可能にする。一般提供開始とともに、AmazonはAmazon Q Apps用の新しいAPIと、より詳細なデータソース定義を発表した。
-
Amazon SageMakerが実験追跡を強化するマネージドMLflow機能を提供開始
AWSは、Amazon SageMakerにおけるMLflow機能の一般提供を発表した。MLflowは、ML実験の管理によく使われるオープンソースのツールである。ユーザーは、MLflow UIで実験全体のモデルパフォーマンス、パラメータ、メトリクスを比較し、MLflow Model Registryでベストモデルを追跡し、SageMakerモデルとして自動的に登録し、登録されたモデルをSageMakerエンドポイントにデプロイ可能になった。
-
Meta社、効率的な長配列モデリングのためのMEGALODON LLMをオープンソース化
先日、Meta社、南カリフォルニア大学、カーネギーメロン大学、カリフォルニア大学サンディエゴ校の研究者が、無制限の文脈長を持つ大規模言語モデル（LLM）であるMEGALODONのオープンソース化を発表した。MEGALODONは線形複雑度を持ち、様々なベンチマークにおいて同サイズのLlama 2モデルを凌駕している。
-
AIとソフトウェア開発：InfoQイベントでのセッションプレビュー
AIはソフトウェア開発の形を変えつつある。InfoQが今後開催するイベントでは、シニア・ソフトウェア開発者が、この変革的テクノロジーに���する実践的なアプリケーションと倫理的な考察を共有する。以下はそのプレビューである。
-
Google I/O 2024を振り返る：Gemini 1.5、Project Astra、AI搭載検索エンジン
Googleは先日、年次開発者会議「Google I/O 2024」を開催し、Googleのアプリやサービスに関する数多くの発表をした。予想通り、AIはこのイベントの焦点であり、ほとんど全てのGoogle製品に組み込まれている。以下は、このイベントでの主な発表の要約である。
-
Slack、ASTと大規模言語モデルを組み合わせて15,000の単体テストの80%を自動変換する
Slackのエンジニアリングチームは先日、 EnzymeからReact Testing Library（RTL）へ大規模言語モデル（LLM）を使って、15,000の単体テストと統合テスト自動変換する方法を発表した。Abstract Syntax Tree（AST）変換とAIによる自動化を組み合わせることで、Slackの革新的なアプローチは80％の変換成功率を達成。必要な手作業を大幅に削減し、複雑な開発作業を合理化するAIの可能性を示した。
-
OpenAI、動作のファインチューニングのためのGPTモデル仕様を公開
OpenAIは最近、GPTモデルの動作に関するルールと目的を記述した文書、Model Specを公開した。この仕様書は、データ・ラベラーやAI研究者がモデルをファインチューニングするためのデータを作成する際に使用することを目的としている。
-
GoogleがChromeにGemini Nanoを導入し、デバイス上で生成AIを実現可能にする
Googleは、開発者向けカンファレンス「Google I/O 2024」において、同社のGeminiモデルの中で最小のGemini NanoをChromeに導入することで、オンデバイスでの大規模言語モデルのサポート実現に向けた取り組みを発表した。
-
コードのための大規模言語モデル：QCon Londonにて、Loubna Ben Allal氏語る
QCon Londonにおいて、Loubna Ben Allal氏は、コード用に調整された大規模言語モデル（LLM）について議論した。同氏は、コード補完モデルのライフサイクルについて議論し、膨大なコードベースに対する事前学習と、微調整の段階について強調した。特に、Hugging Faceのようなプラットフォームによって促進されるオープンソースのモデルについて議論した。リソースは、HFハブ上の1.7k以上のモデルと、StarCoder2やDefog-SQLCoderのようなツールで構成されている。指示チューニングのようなカスタマイズ技術を使用することで、オーダーメイドのソリューションを提供できるが、データの偏りやプライバシーの懸念といった課題がある。