InfoQ ホームページ 大規模言語モデル に関するすべてのコンテンツ
-
Amazon Q Apps、企業向け生成AIアプリの作成簡素化を目指す
Amazon Q Businessの一部であるAmazon Q Appsは、企業データを統合し、組織内で安全に共有できる生成AIアプリの作成を可能にする。一般提供開始とともに、AmazonはAmazon Q Apps用の新しいAPIと、より詳細なデータソース定義を発表した。
-
Amazon SageMakerが実験追跡を強化するマネージドMLflow機能を提供開始
AWSは、Amazon SageMakerにおけるMLflow機能の一般提供を発表した。MLflowは、ML実験の管理によく使われるオープンソースのツールである。ユーザーは、MLflow UIで実験全体のモデルパフォーマンス、パラメータ、メトリクスを比較し、MLflow Model Registryでベストモデルを追跡し、SageMakerモデルとして自動的に登録し、登録されたモデルをSageMakerエンドポイントにデプロイ可能になった。
-
Meta社、効率的な長配列モデリングのためのMEGALODON LLMをオープンソース化
先日、Meta社、南カリフォルニア大学、カーネギーメロン大学、カリフォルニア大学サンディエゴ校の研究者が、無制限の文脈長を持つ大規模言語モデル(LLM)であるMEGALODONのオープンソース化を発表した。MEGALODONは線形複雑度を持ち、様々なベンチマークにおいて同サイズのLlama 2モデルを凌駕している。
-
AIとソフトウェア開発:InfoQイベントでのセッションプレビュー
AIはソフトウェア開発の形を変えつつある。InfoQが今後開催するイベントでは、シニア・ソフトウェア開発者が、この変革的テクノロジーに関する実践的なアプリケーションと倫理的な考察を共有する。以下はそのプレビューである。
-
Google I/O 2024を振り返る:Gemini 1.5、Project Astra、AI搭載検索エンジン
Googleは先日、年次開発者会議「Google I/O 2024」を開催し、Googleのアプリやサービスに関する数多くの発表をした。予想通り、AIはこのイベントの焦点であり、ほとんど全てのGoogle製品に組み込まれている。以下は、このイベントでの主な発表の要約である。
-
Slack、ASTと大規模言語モデルを組み合わせて15,000の単体テストの80%を自動変換する
Slackのエンジニアリングチームは先日、 EnzymeからReact Testing Library(RTL)へ大規模言語モデル(LLM)を使って、15,000の単体テストと統合テスト自動変換する方法を発表した。Abstract Syntax Tree(AST)変換とAIによる自動化を組み合わせることで、Slackの革新的なアプローチは80%の変換成功率を達成。必要な手作業を大幅に削減し、複雑な開発作業を合理化するAIの可能性を示した。
-
OpenAI、動作のファインチューニングのためのGPTモデル仕様を公開
OpenAIは最近、GPTモデルの動作に関するルールと目的を記述した文書、Model Specを公開した。この仕様書は、データ・ラベラーやAI研究者がモデルをファインチューニングするためのデータを作成する際に使用することを目的としている。
-
GoogleがChromeにGemini Nanoを導入し、デバイス上で生成AIを実現可能にする
Googleは、開発者向けカンファレンス「Google I/O 2024」において、同社のGeminiモデルの中で最小のGemini NanoをChromeに導入することで、オンデバイスでの大規模言語モデルのサポート実現に向けた取り組みを発表した。
-
コードのための大規模言語モデル:QCon Londonにて、Loubna Ben Allal氏語る
QCon Londonにおいて、Loubna Ben Allal氏は、コード用に調整された大規模言語モデル(LLM)について議論した。同氏は、コード補完モデルのライフサイクルについて議論し、膨大なコードベースに対する事前学習と、微調整の段階について強調した。特に、Hugging Faceのようなプラットフォームによって促進されるオープンソースのモデルについて議論した。リソースは、HFハブ上の1.7k以上のモデルと、StarCoder2やDefog-SQLCoderのようなツールで構成されている。指示チューニングのようなカスタマイズ技術を使用することで、オーダーメイドのソリューションを提供できるが、データの偏りやプライバシーの懸念といった課題がある。
-
Apple社の研究者、異なるLLMを組み合わせて最先端の性能を実現する手法を詳説
この程、多くの大規模言語モデル(LLM)がクローズドソースとオープンソースの両方で利用可能になり、更にマルチモーダルLLM(MLLM)として知られる複合モデルの作成につながっている。しかし、最先端のマルチモーダルLLMを設計するための原則と教訓を抽出した、Apple社の研究者は、そのようなLLMを作るためにどのようなデザインの選択がなされたかを明らかにするものはほとんどない、あるいは皆無だと述べる。
-
Databricks、オープンソースの汎用LLM "DBRX" を発表
Databricks社は、オープンモデルの標準を再定義し、業界ベンチマークで有名な競合他社を凌駕することを目的とした、新しいオープンソースの大規模言語モデル(LLM)である、"DBRX"を発表した。
-
研究者らが、LLMジェイルブレイク攻撃の防御アルゴリズム"SafeDecoding"のオープンソース化を発表
ワシントン大学、ペンシルバニア州立大学、アレンAI研究所の研究者が、大規模言語モデル(LLM)をジェイルブレイク攻撃から守る技術である、"SafeDecoding"のオープンソース化を発表した。SafeDecodingは、大きな計算オーバーヘッドを発生させることなく、ベースラインのジェイルブレイク防御を上回る性能を発揮する。
-
eBayに学ぶ、ソフトウェア開発の生産性向上における生成AIについての教訓
eBayはこの程、開発プロセスにおける生成AIの適用について学んだ教訓を明らかにした。 eBayのAIへの取り組みは、開発者の生産性を向上させるための3つの極めて重要な道筋を発見した���商用製品の統合、既存の大規模言語モデル(LLM)のファインチューニング、そして社内の知識ネットワークの活用である。
-
Azure OpenAIの「On Your Data」機能が一般利用可能に
Microsoft社は、Azure OpenAI Serviceで"On Your Data"機能の一般提供を正式に開始した。この機能により、ユーザーはGPT-4を含むOpenAIモデルのフルパワーを活用し、RAG(Retrieval Augmented Generation)モデルの高度な機能をデータとシームレスに統合可能となった。同社によると、これらはすべてAzure上のエンタープライズ・グレードのセキュリティ(プライベート・エンドポイントとVPN経由)に支えられており、安全で保護されたユーザー・データ環境を保証しているという。
-
RWKVプロジェクト、LLM "Eagle 7B"をオープンソース化
RWKVプロジェクトはこの程、75.2億パラメータの大規模言語モデル(LLM)である、Eagle 7Bをオープンソース化した。Eagle 7Bは、100以上の言語の1.1兆トークンのテキストで学習され、多言語ベンチマークにおいて他の同サイズのモデルを凌駕している。