BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース AnthropicがClaude Code品質苦情の6週間を3つのプロダクト変更の重なりと特定

AnthropicがClaude Code品質苦情の6週間を3つのプロダクト変更の重なりと特定

原文リンク(2026-05-14)

AnthropicはClaude Codeの品質に関するユーザー苦情の6週間を説明するエンジニアリング・ポストモーテムを公開した。

ユーザーはClaude Codeを使用した時期や依存していた機能によって、まったく異なる症状を報告した。その理由:2026年3月から4月にかけて互いに無関係な3つの本番レイヤーの変更が、それぞれ異なるスケジュールでトラフィックの異なる部分に影響を与えながらリリースされたためだ。APIと基盤となるモデルのウェイトは影響を受けていない。3つの問題はすべて4月20日時点(v2.1.116)で解決済みであり、Anthropicはすべてのサブスクライバーの利用制限をリセットした。

最初の変更は推理エフォートのダウングレードだ。長時間思考中にインターフェースがフリーズしたように見えるUIレイテンシ問題に対処するため、3月4日にAnthropicはClaude Codeのデフォルト推理エフォートをhighからmediumに切り替えた。同社はこれが「誤ったトレードオフ」であったことを認めた。ユーザーがClaude Codeのインテリジェンスが低下したように感じられると報告し、エフォート設定をより視認しやすくするようUI変更が行われたにも関わらず、ほとんどのユーザーはデフォルトのmediumのままにしていた。この変更は4月7日に差し戻された。すべてのモデルは現在、highまたはxhighにデフォルト設定されている。

2番目はモデル自身の推論を段階的に消去するキャッシュのバグである。3月26日、Anthropicは1時間以上アイドルしたセッションから古い思考セクションをクリアする最適化をリリースした。いずれにせよそれらのセッションが完全なキャッシュミスになるためである。バグによりこのクリア処理が1回だけではなく、セッションの残りの全ターンでも実行されるようになった。Claudeは実行を継続するものの、現在のアプローチを選択した理由に関する記憶を次第に失っていった。

Claude CodeチームのBoris Cherny氏が極端なケースとして、コンテキスト内に900Kトークンを持つユーザーが1時間アイドル状態になると、次のメッセージで完全なキャッシュミスが発生し、特にProユーザーのレートリミットの大半を消費するとHacker Newsで説明した。このコストを削減しようと試みた修正がバグを混入させた。バグは4月10日に修正された。

(本来アイドル期間後に一度だけ実行されるべきところ、キャッシュのバグがClaude推論履歴を毎ターン段階的にクリアした。出典: Anthropicブログ記事

3番目は4月16日にOpus 4.7と同時にリリースされたシステムプロンプトの変更だ。Anthropicはモデルに対して「ツール呼び出し間のテキストを25語以下に抑える」、「最終回答を100語以下に抑える」ことを指示する冗長性制限を追加した。リグレッションなしの数週間の社内テストの後、彼らはこれをリリースした。調査中に実行されたより広範なアブレーション実行により、Opus 4.6と4.7の両方で3%の品質低下が明らかになった。この変更は4月20日に差し戻された。

この調査がAI支援デバッグに関する興味深い知見を明らかにした。Anthropicは問題のあるプルリクエストに対してCode Reviewツールを使ってバックテストした。Opus 4.7は十分なリポジトリコンテキストが提供された時のキャッシュのバグを発見した。Opus 4.6は発見できなかった。同社は現在、同様の問題を防ぐためにCode Reviewのコンテキストとして追加リポジトリのサポートを追加している。

Hacker Newsのスレッドは予想通り白熱した。一部のコメント投稿者は詳細なポストモーテムを公開したこと自体をAnthropicの功績として評価した。一方、その根底にある動機についてはより辛辣な意見もあった。あるコメント投稿者はアイドル状態のセッションコンテキストを枝刈りした真の理由がレイテンシ削減だったのかを質問した:

次のいずれかが真実でなければなりません:すでに長時間アイドル状態になっているセッションの出力品質を犠牲にするほどレイテンシ削減に価値があると本当に信じていたか、あるいは私が実際に起きたと疑っていること:すなわちアイドルセッションのコストを最小限に削減したかったのであり、『レイテンシ』は都合のよい言い訳です。

別の投稿者はシステムプロンプトの変更がどのように伝達されるかという構造的な問題を指摘した:

古いシステムプロンプトを使ったベンチマークを公開しておきながら、ユーザーの足元でシステムプロンプトを差し替えるのは欺瞞的に感じます。少なくともシステムプロンプトが変わったときはユーザーに伝えるべきです。

Fortuneの報道では一部のユーザーがAnthropicの当初の対応、何も問題はないと示唆するものだったことに「ガスライティングされた」と感じていたことが指摘された。AnthropicはFortuneに対し「計算資源は業界全体における制約だ」と述べ、AmazonおよびGoogleとの提携拡大を通じてキャパシティを拡大していると語った。

Redditではポストモーテムが言及していない問題をユーザーが指摘した:サブエージェントのHaikuへの委譲だ。Claude Codeはユーザーの想定以上に頻繁にタスクを低コストのHaikuモデルに委譲しており、これはverboseログでのみ可視化される。あるコメント投稿者は自動化ワークフローにおけるリスクを強調した:

対話的な利用での品質低下は明らかです。あなたは軌道修正できます。自動化パイプラインでは下流の3タスクに到達するまで黙ったままです。検出ははるかに難しい。

CIまたは自動化ワークフローでClaude Codeを運用するチームにとって、小さいモデルへのサイレントな委譲はAnthropicが特定した3つの問題とは異なる種類の品質リスクを意味する。

別のRedditユーザーはAnthropicが差戻しを発表した後もシステムプロンプトに冗長性の指示が残っていることを独自に確認した。このユーザーはすべてのWrite、Edit、エージェントツール呼び出しの前に実行されるpre-tool hookスクリプトを構築し、5つの特定の障害モードに対処した。このユーザーの説明によると:

モデルのシステムプロンプトとトレーニング報酬がこの五つの障害モードを生み出しています:「短く簡潔に」によるソース素材の再読み飛ばし、「熟考を語るな」による不一致を露見させるはずの検証ナレーションのスキップ、派生出力を生成する前の構造的な再読みゲートの欠如、Readツールの「再読み禁止」ガイダンスはこの障害モードにとってまったく逆効果、「ソースと一致する」より「もっともらしく自信を持って」に対するトレーニング強化。

回避策が出力品質を向上させたという事実は、冗長性制限が品質低下をもたらす変更としたポストモーテムの診断を裏付けている。

より広範なエンジニアリング上の教訓は、AIモデルまわりのプロダクトレイヤー変更をリリースするすべてのチームに当てはまる。Anthropicの内部評価とドッグフーディングが3つの問題のいずれも検出できなかった理由は、内部スタッフが異なるビルドを使用していたこと、キャッシュのバグが特定の状態(古くて使えないセッション)でのみ発現したこと、評価スイートがプロンプト変更による3%の品質低下を検出するには狭すぎたことにある。今後Anthropicはより多くの内部スタッフに公開ビルドとまったく同一のものを使用させること、システムプロンプトの変更ごとにモデルごとのより広範な評価スイートを実行すること、ソーク期間と段階的ロールアウトを追加すること、システムプロンプト変更のバージョン管理をより慎重に行うことを義務づけると述べている。

Stella Laurenzo氏はGitHubで独立監査を公開し、6,852件のClaude Codeセッションファイル、17,871個のthinkingブロック、234,760回のツール呼び出しを分析した。彼女の所見ではClaudeの行動がリサーチファーストからエディットファーストへとシフトしており、推論の深さが測定可能なほど低下していることが示された。彼女の報告のすべての主張が事後検証で検証されたわけではないが、報告された症状はAnthropicが特定した3つの原因と密接に一致している。

作者について

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

BT