対話するLLMのチームはポケモン対戦で勝率向上、ただしトークン消費は大幅増

Pokémon Showdownを使った新たな実験は、大規模言語モデル（LLM）のエージェント同士が対話することで連携が大きく改善する可能性を示した。ただし、成績向上には相当の計算コストが伴う。研究者のオリバー・グラブナーは、同ゲームの2対2形式を4人でプレイできるようにし、2つのLLMエージェントが同じチームに所属して非公開のメッセージを交わし、それぞれ独立して行動を選ぶ仕組みを構築した。

この環境では、公式のPokémon ShowdownシミュレーターをGym形式のインターフェースで包んでいる。4人の参加者はそれぞれ、3匹からなる手持ちのうち1匹を操作する。各ターンに、エージェントは対戦状況を自然言語で記述した説明と、選択可能な行動の番号付き一覧を受け取る。味方にメッセージを送るか、行動を確定することができ、確定するとその選択が味方に伝えられる。

ポケモンの対戦は情報が不完全で、結果にランダム性も含まれるため、連携を試すのに有用な場となる。相手が使える技は隠されており、味方同士で攻撃対象を分担する必要がある。優れた作戦には、目先のダメージが最大になる技を選ぶだけでなく、一方がもう一方を支援したり守ったりすることも求められる。この構成は、固定された処理の流れに沿って、あるエージェントが次のエージェントに個別の作業を引き渡す一般的なマルチエージェントの作業方式とは異なる。

グラブナーはQwen3.8-27Bのエージェントを用い、ダメージが最大になる技を選ぶスクリプト制御の相手に対して、4種類の通信条件を比較した。自由に対話できる味方同士の勝率は64％だった。対話できないエージェントの勝率は42％だった。各エージェントが1回だけメッセージを送れる条件では52％となり、1つのモデルに2匹とも操作させた場合は54％だった。

実験では乱数シードを設定した対戦を用い、抽選されたすべてのチームの組み合わせを双方の立場から対戦させることで、どの通信条件でも同じ状況に直面するようにした。この結果は、対話そのものが改善に寄与したという見方を支持する。両方の選択を把握できる1つのモデルは、会話せず独立に動くエージェントより良い成績を収めたが、行動を確定する前にメッセージのやり取りを続けられる2つのエージェントには及ばなかった。

通信には大きなコストがかかった。自由に対話する条件では1対戦あたり約97万8,000のプロンプトトークンを消費し、対話なしの条件の約25万9,000トークンの3.8倍となった。メッセージを1つ追加するたびに、対戦状況とそれまでの議論を読み直すモデル呼び出しがさらに必要になった。エージェント同士のやり取りを繰り返して課題を解くよう設計されたシステムでは、連携の質と推論コストが直接的なトレードオフになる。

追加の対戦では、この環境によってモデルの能力差を区別できることも示された。パラメーター数270億のモデルを用いたチームは、20億パラメーターのモデルのチームに対して96％、90億パラメーターのチームに対して74％の勝率を収めた。これに対し、最大ダメージを選ぶスクリプト制御の相手への勝率は64％だった。

このプロジェクトはなお探索的なベンチマークであり、現実のあらゆるマルチエージェント用途で同じ向上が得られることを示すものではない。グラブナーは、対話の価値を、単に相棒が選んだ行動を知ることの価値と切り分け、モデルをまたぐランキングを整備し、強化学習の手法を調べる計画だ。それでも今回の結果は、自律的なチームメート同士に会話させる利点とコストの両方を、条件を統制して測定したものとなっている。