# AI超知能競争の前提に、工学的な検証から疑問
工学に焦点を当てた新たな論考が、人工知能(AI)の安全性をめぐる議論の中心的な前提の一つに疑問を投げかけている。それは、AIの改良を支援できるAIが、必然的に、急速かつ自律的に持続する超知能への飛躍を引き起こすという前提だ。ジョージタウン大学のコンピューター科学者カル・ニューポートはIEEE Spectrumへの寄稿で、このシナリオが抱える技術的な障害を検討するとともに、それを追求する試み自体が害をもたらす可能性はなおあると警告している。
この概念は通常、再帰的自己改善と呼ばれる。十分に高い能力を持つシステムが、より優れた後継システムの設計に貢献し、その後継システムが次の開発サイクルをさらに加速させるというものだ。この議論は、統計学者I・J・グッドが1965年に論じた「知能爆発」にさかのぼり、その後、未来論者や合理主義者、効果的利他主義者の間で影響力を持つようになった。以来、この構想は主要なAI研究機関が公言する目標にも近づいている。
ニューポートは、その変化を示す証拠としてAnthropicとOpenAIの公的な発言を挙げている。Anthropicは、AIエージェントによってコーディング、デバッグ、実験、研究のワークフローが加速すると説明してきた。一方、この記事によれば、OpenAIは2028年3月までに自動化された研究者を開発する目標を掲げている。こうしたプロジェクトにより、機械の支援によるAI開発は、純粋に推測的な構想ではなく、実際の工学的な開発計画となっている。
しかし、開発サイクルの一部で作業が速くなることは、改善が際限なく積み重なることの証明にはならない。この分析は、適切な学習データを確保できるかどうかを主要な制約として挙げる。初期の言語モデルの進歩は、モデルの大規模化、データ量の増加、計算能力の拡大と強く結び付いていた。記事は、GPT-4以降、規模拡大を続けても得られる効果が逓減し、開発者が事後学習の手法をより重視するようになったと論じている。
こうした手法は、プログラミングや数学のように、結果が正しいかどうかを比較的容易に検証できる分野で特に効果を発揮し得る。豊富な事例と信頼できる検証手段があれば、強化学習の手法によって、成功した出力に対してモデルに報酬を与えられる。一方、ほかの種類の作業では、同じように明確なフィードバックを得られるわけではない。この違いは、能力の到達範囲に偏りがある理由の一つとなる。形式的に定義された課題では優れた性能を発揮するシステムでも、日常的で曖昧さのある活動では、依然として信頼性を欠くことがある。
そのため、この論考は、しばしば一括りにされる二つの問題を切り分けている。AIツールがAI研究の一部を大きく加速し、研究機関がそれを目標に組織を整えることは可能だが、それによって制御不能な知能爆発が工学的に確立された帰結になるわけではない。自動化されたコーディングエージェントだけで、不足するデータを生み出したり、あらゆる評価上の問題を解決したり、実験に伴う物理的・組織的な制約を取り除いたりすることはできない。
これは、現在のリスクを無視してよいという理由として提示されているのではない。記事がより強く警告しているのは、仮説上の超知能に向けた競争が、約束された到達点に決して至らなかったとしても、現実の代償を生みかねないという点だ。資源の集中、不十分な安全策の容認、未成熟なシステムの導入は、再帰的自己改善が一度も起きなくても損害をもたらし得る。
実務的な結論は、評価の度合いを適切に調整することにある。人類の絶滅につながり得るシステムについての主張は、データ、フィードバック、実験、導入が実際にどう機能するかに照らして検証されるべきだ。同時に、超知能について不確実性があることは、現在のシステムに対するガバナンスの不備を正当化しない。知能爆発を裏付ける工学的根拠には、なお議論がある。しかし、それを追求することの帰結は、すでに現実の問題となっている。



