InfoQ ホームページ MachineLearning に関するすべてのコンテンツ
-
DeepSeekがDeepSeek-V3をオープンソース化、671BパラメータのMixture of Experts LLM
DeepSeekは671Bパラメータを含むMixture of Experts (MoE) LLM、DeepSeek-V3をオープンソース化した。2.788M GPU時間を使って14.8Tトークンで事前学習され、MMLU、MMLU-Pro、GPQAを含む様々なLLMベンチマークで他のオープンソースモデルを上回る性能を示している。
-
HuatuoGPT-o1: AIによる複雑な医療推論の進展
香港中文大学深圳校と深圳ビッグデータ研究所の研究者は、複雑な医療シナリオにおける推論を改善するために設計された医療用大規模言語モデル（LLM） HuatuoGPT-o1を発表した。このモデルは新しい2段階の訓練プロセスを使用して開発され、医療専門家が使用する診断アプローチに似た段階的な分析を通じて応答をリファインすることを目指している。
-
Predictive Scaling(予測スケーリング)でAmazon ECSを最適化
Amazon Web Services（AWS）は、機械学習（ML）アルゴリズムを採用して需要の急増を予測し、リソースの過剰プロビジョニングを最小限に抑えながらアプリケーションの可用性と応答性を確保する高度なスケーリングポリシー「Predictive Scaling for Amazon ECS」をこのほどリリースした。
-
NVIDIAが初のパーソナルAIコンピューター、Arm搭載Project Digitsを発表
200Bパラメータ・モデルを実行可能なNvidia Project Digits は新しいNvidia GB10 Grace Blackwell Superchipを搭載し、AIモデルのファインチューニングと実行を開発者がローカルマシンでできるようにする。3,000ドルからスタートするProject DigitsはAI研究者、データサイエンティスト、学生をターゲットとしており、デスクトップシステムを使ってモデルを作成し、クラウドやデータセンターのインフラストラクチャにデプロイすることを可能にする。
-
Qwen開発チーム、QwQ-32B-Previewを発表：AIによる推論と分析が進化
LLM（大規模言語モデル）であるQwenの開発チームは、AIの推論と分析能力を向上させるために設計された実験的研究モデル、QwQ-32B-Previewを発表した。32,768トークンのコンテキストと最先端の変換アーキテクチャを特徴とするこのモデルは、GPQAやMATH-500のような数学、プログラミング、科学ベンチマークに優れている。Hugging Faceで利用可能で、その機能を探求し、開発に貢献をしてくれる研究者たちを募っている。
-
QCon San Francisco 2024のAIとMLトラック - 生成AIと実用的アプリケーションを深掘り
InfoQによる国際的なソフトウェア開発会議であるQCon San Francisco 2024では、AIとMLの急速な進歩に特化した2つのトラックが設けられており、これらの技術が現代のソフトウェア開発の中心となっていることを反映している。
-
Meta社、強化学習を用いてデータセンターの持続可能性を最適化
最近のブログ記事で、自社のエンジニアが強化学習（RL）を使って 自社のデータセンターの環境制御を最適化し、エネルギー消費と水の使用量を削減しながら、気候変動などのより 広範な課題に取り組む方法を紹介している。強化学習は、機械学習と最適制御の一分野であり、知的エージェントが報酬信号を最大化するために、変化する環境の中でどのように意思決定を行うかに焦点を当てている。
-
Amazon SageMaker JumpStartがBria AIのテキスト画像変換モデルでポートフォリオを拡大
Amazon Web Servicesは、Bria AIの最新のテキストから画像への基礎モデルをAmazon SageMaker JumpStartに統合し、エンタープライズグレードの生成AI機能を大幅に拡張した。今回の追加には、Bria 2.3、Bria 2.2 HD、Bria 2.3 Fastの3つのバリエーションが含まれ、それぞれがビジュアルコンテンツ生成における特定の企業ニーズに対応するように設計されている。
-
Rhymes AIがAriaを発表：開発リソースを備えたオープンソースのマルチモーダルモデル
Rhymes AIは、テキスト、画像、ビデオ、コードを効果的に処理できるオープンソースのマルチモーダルネイティブMoE（Mixture-of-Experts）モデル、Ariaを発表した。ベンチマークテストにおいて、Ariaは他のオープンモデルを凌駕し、GPT-4oやGemini-1.5などの独自モデルに対しても競争力のある性能を示した。さらに、Rhymes AIは、微調整や開発のためのモデルの重み付けやガイダンスを含むコードベースを公開している。
-
PyTorch 2.5リリースにて、Intel GPUをサポート
PyTorch Foundationは最近、Intel GPUのサポートを含むPyTorchバージョン2.5をリリースした。このリリースには、FlexAttention API、TorchInductor CPUバックエンドの最適化、コンパイル時間を短縮するリージョナルコンパイル機能など、いくつかのパフォーマンス強化も含まれている。全体として、このリリースには PyTorch 2.4 以降の 4095 のコミットが含まれている。
-
Hugging Face、AIモデル比較強化に向けOpen LLM Leaderboardをアップグレード
Hugging FaceはOpen LLM Leaderboard v2、大規模言語モデル向けの彼らのポピュラーなベンチマーキングプラットフォームのアップグレード版を最近リリースした。
-
Meta社がNotebookLlamaをリリース：オープンソースのPDFからPodcastへのツールキット
Meta社は、PDF文書をポッドキャストに変換するために設計されたオープンソースのツールキットである、NotebookLlamaをリリースした。これにより、開発者は構造化されたアクセス可能な PDF からオーディオへのワークフローを利用できるようになる。GoogleのNotebookLMのオープンソースの代替として、NotebookLlamaは、大規模言語モデル（LLM）やオーディオ処理の経験がなくても、PDF文書を音声コンテンツに変換する4段階のプロセスを通してユーザーをガイドする。このツールキットは、ユーザーがLLMやTTSモデルを試して、会話や音声に対応したコンテンツを作成するための実用的な方法を提供する。
-
LLMを精製し、そのパフォーマンスを超える：spaCyの創設者がInfoQ DevSummit Munichで語る
InfoQ Dev Summit Munichの第1回目のプレゼンテーションにおいて、Ines Montani氏は、今年の初めにQCon Londonで行ったプレゼンテーションに加え、実際のアプリケーションで最新の最先端モデルを使用し、その知識をより小型で高速なコンポーネントに抽出し、社内で実行・維持できるようにするための実践的なソリューションを聴衆に提供した。
-
Meta社 AIが思考の選好最適化を導入、AIモデルが反応する前に考えることを可能に
Meta FAIR、カリフォルニア大学バークレー校、ニューヨーク大学の研究者たちが、思考の選好最適化（TPO）を発表した。最終的な解答のみに注目する従来のモデルとは異なり、このアプローチでは、LLMがより正確で首尾一貫した解答を生成するために、内部的な思考プロセスを生成し、洗練させることができる。
-
PyTorch カンファレンス 2024：PyTorch 2.4/2.5(開発中)、そしてLlama 3.1
2024年9月18日と19日、Linux Foundationはサンフランシスコのフォート・メイソン周辺でPyTorch Conference 2024を開催した。このカンファレンスでは、PyTorch 2.4とLlama 3.1の最新の機能と、PyTorch 2.5での今後の変更点が紹介された。PyTorch Foundationのエグゼクティブディレクターであり、Linux FoundationのAI担当GMでもあるMatt White氏は、初日のカンファレンスの冒頭で、責任ある生成AIの発展におけるオープンソース・イニシアチブの重要性を強調した。