モデルを取り巻く仕組みを再帰的に改善
Google Researchは、AIモデルを取り巻くソフトウェアシステムを改善するためのオープンソースフレームワーク、Harness²を公開した。このプロジェクトは「再帰的なエージェント・ハーネシング」に焦点を当てる。これは、モデルの学習済みの重みを変えずに、エージェントが自らの実行基盤であるハーネスへの変更を提案し、試験し、採用できるようにするものだ。
ハーネスには、モデルを、タスクに対して行動できるエージェントにするための構成要素が含まれる。Harness²では、システムプロンプト、ガードレール、メモリー、ツールの利用指針、サブエージェント、スキル、スクリプト、プラグインの8つを編集対象として公開している。これらは総体として、文脈の組み立て方、利用可能なツール、作業の委任方法、モデルの行動ループ中に何が起こるかに影響する。
このフレームワークは、2つの水準での反復を結び付ける。タスクの水準では、複数のハーネス変更候補を並行して探索したり、あるタスクに照らして順次改良したりできる。より広いハーネシングの水準では、採用した変更と完了済みタスクから得た証拠をシステムが保持し、それ以前の改良を後の作業に生かせるようにする。掲げる目標は、元のハーネスを設計した時点では新しいタスクが分かっていなかった、開かれた環境への対応だ。
Google Researchによると、Harness²で1段階の改善を行ったところ、3つの専門業務ベンチマークと、モデルとハーネスの4つの構成にわたり、GLM-5とGemini 3.5 Flashの結果が向上した。報告された最大の伸びは、WorkBuddy-Benchで11.5ポイント、JobBenchで4.5ポイント、LABで用いられる部分合格指標で11.8パーセントポイントだった。リポジトリーによれば、タスク水準での再帰処理の予算を増やすと、さらに改善した。これらはプロジェクト側が報告したベンチマーク結果であり、意味のある比較には構成をそろえる必要がある。
オープンなツールだが、本格運用には相応の準備が必要
今回の公開版は、OpenCodeとCodexの実行環境、およびJobBench、LAB、WorkBuddy-Benchに対応する。ローカルの実演では、モデルの認証情報を使わずに、決定論的な編集処理と実際のPython実行を利用する。モデルを使った本格的なベンチマーク実行には、より大がかりな準備が必要だ。Linux、Python 3.12、uvが必須で、一部の構成ではNode.js、Google Cloudのツール、ベンチマーク固有の依存関係も必要になる。WorkBuddy-BenchにはDockerも必要だ。
Harness²は、タスクの要約、採用したハーネス、証拠、評価結果をrunsディレクトリーに記録し、コマンドを再実行することで処理を再開できる。文書では、採点と報告には、改良過程と同じベンチマーク、実行環境、タスクの部分集合、再帰処理の予算、モード、乱数シードを使わなければならないと注意している。また、API費用が発生し得るモデル利用の評価を始める前に、ドライランを行うことを勧めている。
リポジトリーは、評価上の重要なリスクも指摘する。実行環境には無制限のネットワークアクセスが認められる場合がある一方、公開ベンチマークの採点基準はオンラインで入手できる可能性がある。利用者には、試験中にエージェントが解答や採点基準を取得できないよう、ネットワーク接続を制限することが推奨されている。
Apache 2.0ライセンスで公開されたHarness²は、Googleが公式にサポートする製品ではなく、研究プロジェクトと位置付けられている。その主な貢献は、モデル自体を再学習させることなく、エージェントの基盤を体系的に変更することで改善を得られるかどうかを試験する、具体的な枠組みを提供する点にある。
