InfoQ ホームページ 大規模言語モデル に関するすべてのコンテンツ
-
コードのための大規模言語モデル:QCon Londonにて、Loubna Ben Allal氏語る
QCon Londonにおいて、Loubna Ben Allal氏は、コード用に調整された大規模言語モデル(LLM)について議論した。同氏は、コード補完モデルのライフサイクルについて議論し、膨大なコードベースに対する事前学習と、微調整の段階について強調した。特に、Hugging Faceのようなプラットフォームによって促進されるオープンソースのモデルについて議論した。リソースは、HFハブ上の1.7k以上のモデルと、StarCoder2やDefog-SQLCoderのようなツールで構成されている。指示チューニングのようなカスタマイズ技術を使用することで、オーダーメイドのソリューションを提供できるが、データの偏りやプライバシーの懸念といった課題がある。
-
Apple社の研究者、異なるLLMを組み合わせて最先端の性能を実現する手法を詳説
この程、多くの大規模言語モデル(LLM)がクローズドソースとオープンソースの両方で利用可能になり、更にマルチモーダルLLM(MLLM)として知られる複合モデルの作成につながっている。しかし、最先端のマルチモーダルLLMを設計するための原則と教訓を抽出した、Apple社の研究者は、そのようなLLMを作るためにどのようなデザインの選択がなされたかを明らかにするものはほとんどない、あるいは皆無だと述べる。
-
Databricks、オープンソースの汎用LLM "DBRX" を発表
Databricks社は、オープンモデルの標準を再定義し、業界ベンチマークで有名な競合他社を凌駕することを目的とした、新しいオープンソースの大規模言語モデル(LLM)である、"DBRX"を発表した。
-
研究者らが、LLMジェイルブレイク攻撃の防御アルゴリズム"SafeDecoding"のオープンソース化を発表
ワシントン大学、ペンシルバニア州立大学、アレンAI研究所の研究者が、大規模言語モデル(LLM)をジェイルブレイク攻撃から守る技術である、"SafeDecoding"のオープンソース化を発表した。SafeDecodingは、大きな計算オーバーヘッドを発生させることなく、ベースラインのジェイルブレイク防御を上回る性能を発揮する。
-
eBayに学ぶ、ソフトウェア開発の生産性向上における生成AIについての教訓
eBayはこの程、開発プロセスにおける生成AIの適用について学んだ教訓を明らかにした。 eBayのAIへの取り組みは、開発者の生産性を向上させるための3つの極めて重要な道筋を発見した。商用製品の統合、既存の大規模言語モデル(LLM)のファインチューニング、そして社内の知識ネットワークの活用である。
-
Azure OpenAIの「On Your Data」機能が一般利用可能に
Microsoft社は、Azure OpenAI Serviceで"On Your Data"機能の一般提供を正式に開始した。この機能により、ユーザーはGPT-4を含むOpenAIモデルのフルパワーを活用し、RAG(Retrieval Augmented Generation)モデルの高度な機能をデータとシームレスに統合可能となった。同社によると、これらはすべてAzure上のエンタープライズ・グレードのセキュリティ(プライベート・エンドポイントとVPN経由)に支えられており、安全で保護されたユーザー・データ環境を保証しているという。
-
RWKVプロジェクト、LLM "Eagle 7B"をオープンソース化
RWKVプロジェクトはこの程、75.2億パラメータの大規模言語モデル(LLM)である、Eagle 7Bをオープンソース化した。Eagle 7Bは、100以上の言語の1.1兆トークンのテキストで学習され、多言語ベンチマークにおいて他の同サイズのモデルを凌駕している。
-
"Cloudflare for AI"で、サイバー脅威に対する大規模言語モデル(LLM)の保護を強化
Cloudflareはこのほど、同社のWebアプリケーションファイアウォール(WAF)製品に、「Firewall for AI」と呼ばれる新機能を追加したことを発表した。この機能は、悪用や攻撃がLarge Language Models(LLM)に到達し、改ざんされる前に特定する新たな保護レイヤーを追加する。
-
Google、開発者向けの新しいオープンソースAIモデル「Gemma」を発表
Googleは、新しいオープンソースのAIモデルであるGemmaを発表した。GoogleのAIモデル「Gemini」を支える技術を用いて開発されたGemmaは、AIアプリケーションを良心的に作成するための高度なツールを開発者に提供することを目的としている。
-
NVIDIA、エッジでAIアプリを実行するMetropolis Microservices for Jetsonを発表
NVIDIAは、Nvidia Metropolis MicroservicesクラウドベースのAIソリューションを拡張し、NVIDIA Jetson組み込みプラットフォームで実行できるようにした。
-
Google社がBardをGeminiに改名
Google社は、同社のチャットボットBardの名称をGeminiに変更すると発表した。同社はまた、Gemini言語モデルの最大バージョンであるGemini Advancedの発表と、Gemini言語モデルと対話するための2つの新しいモバイルアプリの発表も行った。
-
OpenAI、ChatGPTにメモリ機能を追加し会話を向上
OpenAIは、ChatGPTに会話を記憶させることで、ユーザーが繰り返し会話情報を提供する必要性を減らし、今後のチャットをより有益なものにしたいと考えている。ユーザーは、何を明確に記憶するか、何を忘れるか、あるいはこの機能を完全にオフにするかを指定できる。
-
OpenAI、テキストから動画を生成するAI "Sora" を発表
Soraは、テキストプロンプトから映像を作成するOpenAIの新しい生成AIモデルである。現在プレビュー中だが、この新しいモデルは、現実世界で物事がどのように存在するかを理解する能力を活用し、登場人物やスタイルを崩すことなく複数の映像を組み合わせて、60秒までの写実的な動画を作成できる。
-
マイクロソフト、ITプロフェッショナルのためのAIアシスタント「Copilot for Azure」を発表
マイクロソフトは、クラウドインフラとサービスの管理と運用を強化するために設計されたAIベースのツール「Copilot for Azure」を発表した。クラウドサービスからエッジテクノロジーに至るまで、Azureの機能性を包括的に理解し、扱うために、Azureリソースモデルを大規模言語モデル(LLM)の能力に活用している。
-
Stability AI社が16億パラメータの言語モデル "Stable LM 2"をリリース
Stability AI社は、1.6Bパラメータの言語モデルStable LM 2用に、訓練済みのモデル重みを2セットリリースした。Stable LM 2は、7言語の2兆トークンから成るテキストデータで学習を行ったものであり、一般的なラップトップコンピュータで実行できる。