Hugging Face社は、Transformers v5の最初のリリース候補を発表した。このリリースは、5年前のv4リリース以来大きく進化してきたTransformersライブラリにとって重要な一歩である。Transformersは、専門的なモデルツールキットからAI開発の主要なリソースへと移行し、現在では1日あたり300万以上のインストール数を記録し、累計で12億以上のインストール数を達成している。
Transformers v5は、単一の目玉機能に焦点を当てるのではなく、長期的な持続可能性を目指した広範な構造的アップデートを表している。主な目標は相互運用性である。モデル定義、トレーニングワークフロー、推論エンジン、デプロイメントターゲットが最小限の摩擦で連携することを目指している。あるコミュニティメンバーは要約した。
v5は単なるバージョンアップというよりも、Transformersが事実上のオープンモデルレジストリであることをHugging Face社が認め、その役割を整理しているように感じます。
このリリースの中心的なテーマは簡素化である。Hugging Face社はモジュール型アーキテクチャへの移行を継続し、モデル実装間の重複を削減し、注意機構などの共通コンポーネントを標準化している。統一されたAttentionInterfaceのような抽象化の導入により、代替実装が個々のモデルファイルを膨らませることなく、複数の実装をクリーンに共存可能になった。これにより、新しいアーキテクチャの追加や既存のものの維持が容易になる。
Transformers v5はバックエンドの焦点を絞り込んでいる。PyTorchが主要なフレームワークとなり、TensorFlowとFlaxのサポートは終了し、より深い最適化と明確性を追求している。同時に、Hugging Face社はJAXエコシステムと密接に連携し、Transformers内部での重複作業を避け、パートナーライブラリを通じて互換性を確保している。
トレーニング面では、ライブラリは大規模な事前学習のサポートを拡大している。モデル初期化と並列化が再設計され、同時に、Megatron、Nanotron、TorchTitanなどのツールとよりスムーズに統合され、Unsloth、Axolotl、TRL、LlamaFactoryなどの一般的なファインチューニングフレームワークとの強い互換性を維持している。
Transformers v5は推論を強化し、APIの簡素化、継続的バッチ処理、ページング注意機構を導入している。OpenAI互換APIを介してモデルをデプロイするためのtransformers serveコンポーネントを導入している。vLLMやSGLangのような専門エンジンと競合するのではなく、それらと良好に統合する堅実なリファレンスバックエンドを目指している。
もう一つの変更点は、量子化を第一級の概念として扱うことである。重みのロードが再設計され、低精度フォーマットをより自然にサポート可能になった。これは、多くの最先端モデルが現在8ビットまたは4ビットのバリアントで提供され、これらのワークロードに最適化されたハードウェアでデプロイされる現実を反映している。
全体として、Transformers v5は表面的な機能追加ではなく、共有インフラとしての役割を強化することに重点を置いている。モデル定義を標準化し、トレーニング、推論、デプロイメントツールと密接に連携することで、Hugging Face社はTransformersを次のオープンAI開発フェーズの安定した「エコシステムの接着剤」として位置付けている。
完全な技術的詳細はGitHubの公式リリースノートで確認可能であり、チームはリリース候補フェーズ中に積極的にフィードバックを収集している。