先日、Mistral AI社が、新しいオープンソースのLLM「Devstral」のリリースを発表した。Devstralは、同社とAll Hands AI社の共同開発モデルである。ソフトウェアエンジニアリングにおけるワークフローの自動化を主な用途としており、なかでも、推論に複数のファイルやコンポーネントの横断が必要となる複雑な開発環境でのワークフロー改善に特化している。また、コーディングエージェントフレームワークを活用しており、リポジトリ全体における現実世界のプログラミング課題に取り組むことが可能だ。こうした汎用性により、コード補完機能や関数生成機能などの個別タスクに最適化された他のモデルとの差別化が図られている。
Devstralは、新たに発表されたエージェントLLMモデルファミリーであり、コード生成だけでなく、特定のタスクのコンテキストに応じた対応が可能になっている。こうしたエージェント機能用の設計により、複数のファイルの反復的な修正やコードベース探索が可能になり、人の介入を最小限に抑えたバグ修正や新機能実装が実現している。今回のリリースで、エラーを防げるレベルのコーディング知識と同様にプロジェクト構造や依存関係に関する専門知識が重要視される今日のソフトウェアリング業界のニーズに応えた形だ。
Mistral AI社の社内評価では、手作業で検証された500件のGitHub IssueからなるベンチマークSWE-Bench Verifiedが使用された。Devstralのパフォーマンススコアは46.8%に達し、従来のオープンソースモデルのスコアを6％以上上回る結果となったという。SWE-Bench Verifiedでは、有効なコード生成ができるかだけでなく、生成したコードで現実世界のGitHub Issueが解決できるかも評価される。 OpenHands社のフレームワークを基盤としたモデル同士では、6710億パラメータを持つDeepseek-V3-0324やQwen3 232B-A22Bといったはるかに大規模なモデルを凌駕しており、Devstralの効率性が際立つ結果となった。
Devstralは、Mistral Small 3.1ベースモデルを微調整したものであり、 トレーニングの前段階でビジョンエンコーダーが削除されている。コード理解とコード生成に最適化されたフルテキストベース特化型モデルだ。最大128,000トークンの長いコンテキストウィンドウをサポートしており、大規模なコードベースや長時間の会話などの長文処理機能が改善されている。くわえて、240億パラメータと比較的軽量設計のため、開発者や研究者にとって扱いやすいモデルとなっている。また、NVIDIA RTX 4090などのコンシューマグレードGPUや32GB RAMのApple Siliconデバイスなどのローカル環境での処理も可能だ。開発環境に制限がある、または高い機密性を要するコードベースで作業するチームや個人には、利用しやすいモデルと言えるだろう。
Mistral AI社では、DevstralのApache 2.0ライセンス承認による使用を許可している。このため、モデルの改変・再配布に加え、商業利用・非商業利用も可能だ。DevstralはHugging Face、LM Studio、Ollama、Kaggleなどのさまざまなプラットフォームからダウンロードができる。また、Mistral AI API経由でdevstral-small-2505識別子を使用した利用も可能だ。
コミュニティのコメントからは、期待と同時に批判的な評価も見受けられる。プロダクト設計者のNayak Satya氏は次のようにコメントしている。
今回もMistral AI社が機能改善をしたようです。これは、期待できますよ。Mistral AI社は、陰ながらもAI分野で目覚ましい新規機能を実現している企業ですから。この企業が続くうちは、ヨーロッパも最新のAI動向に乗ることができるでしょう。とはいえ、VS Studioや最新の統合開発環境に強い人材が獲得できると嬉しいのですが…。
Redditのr/LocalLLaMAというコミュニティでは、ユーザーたちからDevstralの性能を賞賛する声が集まっており、Coding9というユーザーが次のように投稿している。
簡単なタスクですが、Clineで処理ができました。これはすごいですよ。今までは、同時に複数ファイルのローカル実行なんてできなかったのに。より複雑なタスクでも試してみますね！
現在、リサーチプレビュー中であるが、今回のDevstralデプロイで現実世界のソフトウェアエンジニアリングにおける大規模言語モデル（LLM）の実用化が大きく前進した形だ。 Mistral AI社からは、より高度な機能を備えた大型モデルの開発も進行しており、今後リリース予定であると発表されている。同社は、開発者コミュニティからのフィードバックを募集中であり、Devstralのさらなる機能向上とソフトウェアツールにおけるエコシステムへの統合を目指していくとのことである。