調査を続けるエージェント

Kernelが11月18日に公表した分析によると、競合システムが数分で終えたソフトウェアの不具合修正課題に、Gemini 4 Carbonは1時間近くかかった。評価者はモデルの動作を段階ごとに追跡し、Carbonの遅れは、トークン生成の遅さやネットワーク遅延だけによるものではなく、主に課題に必要な範囲を大きく超えて作業していたことが原因だと結論付けた。

この非公開評価では、既知のバグが修正される前のコードベースと、症状だけを記した報告を各エージェントに渡した。エージェントには、原因を特定し、対象を絞った修正を行い、無関係な変更を避けることが求められた。この設定で試されるのは、コードの知識だけではない。関連する処理経路を見つけ、別の説明を退け、行動するのに十分な証拠がそろったと認識する判断力も問われる。

Kernelによると、Carbonが余分に要した時間のうち、推論の遅さで説明できた割合は、Astraとの比較で16~30%、Opusとの比較で45~49%だった。残りの差は、より長い行動の連なりから生じていた。Astraに比べ、Carbonのステップ数は平均で約7倍、ファイルの読み込みやコマンド実行などのアクション数は約11倍だった。膨らみ続ける会話が各ステップで再送されるため、処理した入力も16倍以上になった。

繰り返しと、修正判断の遅れ

分析では、Carbonのステップのおよそ半分が、依頼されたチケットの範囲外の作業に向けられていた。例示されたある実行では、両モデルとも早い段階で原因とみられる箇所を見つけた。Astraは数分後に修正を書いたが、Carbonはコードを編集するまで、さらに約25分間調査を続けた。

条件を変更した試行では、5ターンごとに「修正するための材料は、もう十分にそろっていませんか?」という問いを追加した。この試行でCarbonの完了時間は37分から28分になり、原因を特定してから編集するまでの間隔は約25分から約10分に短縮した。Kernelはこの結果を、技術的知識の欠如ではなく、モデルの動作上の振る舞いが遅れの大きな要因だったことを示す証拠と解釈した。

機械的な処理の選択も問題を増幅した。Astraは1つのステップで複数のツール呼び出しを行うことが多かったのに対し、Carbonは通常、1回の呼び出しで1つのファイルを読んだ。また、Carbonは同じコードを読み直す頻度もはるかに高かった。読み込んだ行の39%は、その実行ですでに登場した行で、Astraでは7%だった。Kernelは、まとめて処理する度合いの低さと繰り返しの読み込みが、Carbonの余分な実行時間のおよそ4分の1を占めたと推定した。

これらの結果は、幅広い公開ベンチマークではなく非公開評価に基づいており、モデルの普遍的な順位として扱うべきではない。ただし、エージェントの速さを、1秒当たりの出力トークン数だけに還元できない理由は示している。能力の高いモデルでも、答えにたどり着いた後でためらい、並行処理できる作業を順番に実行し、すでに確認した文脈を何度も読み込めば、遅く感じられ得る。確認の問いを挟む実験は、基盤モデルを変えなくても、エージェント実行環境の設計によって完了時間を大きく変えられる可能性も示唆している。