ヤン・ルカン氏、AIによる人類滅亡の懸念を退け、安全策の弱さがセキュリティー問題を招くと主張

AIのリスクをめぐる深い溝

ヤン・ルカン氏は、人工知能が人類を脅かす可能性があるとの警告を退け、広く議論されているエージェントのセキュリティー問題は、監督とシステム設計における防止可能な不備によって生じたと主張した。Fortuneが報じたインタビューで、長年AI研究に携わってきた同氏は、AIによる人類滅亡を懸念していないと述べ、Anthropicのダリオ・アモデイ最高経営責任者（CEO）に異例の率直な批判を向けた。

ルカン氏の立場は、AI分野の有力者の間で広がる公の論争の一方を代表している。一部の研究機関の経営幹部は、破滅的なリスクのシナリオを重視し、能力を増すモデルに強力な統制を求めてきた。ルカン氏は一貫してそうしたシナリオに懐疑的であり、今回の発言は、その意見の対立を、実際に運用されるエージェントの工学的な設計へと向けるものだ。

Fortuneによると、ルカン氏は、エージェントやコンピューターシステムに関わる事例を、独自の意図の証拠ではなく、動作を閉じ込める仕組みの不備の例として挙げた。同氏の説明では、エージェントは与えられた仕事に従ったものの、設計の悪いサンドボックスの中で動作していた。この見方に立てば、問題はソフトウエアが自らの目的を持ったことではなく、人間が与えたツール、権限、境界では、その行動を十分に制限できなかったことにある。

工学的な課題としてのセキュリティー

この区別は、企業の対応を左右する。問題を制御不能な知能の証拠と捉えれば、対策の重点はモデルの能力を制限したり、開発の速度を落としたりすることに置かれるかもしれない。一方、従来型のセキュリティーや運用上の不備と捉えれば、対応はアクセス制御、隔離環境、監視、テスト、そして導入判断に関する責任の明確化へと移る。

ルカン氏はまた、多くのAI研究機関にはサイバーセキュリティーの基本的な理解が欠けていると述べた。これは独立した測定に基づく結果ではなく、広範な評価である。ただし、安全性の議論では確立されたセキュリティーの専門的手法が見落とされがちだという同氏の見方を表している。エージェントシステムは、モデルの出力を、ブラウザー、コード実行、認証情報、外部サービスと組み合わせることがある。これらの接続のどこかに弱点があれば、誤った指示が重大な結果を伴う行動につながりうる。

アモデイ氏への批判は、技術的なものにとどまらず、個人にも及んだ。Fortuneは、ルカン氏がAnthropicのCEOを「妄想にとらわれている」と呼び、その後、アモデイ氏の将来観や効果的利他主義との関わりを論じる中で「正気ではない」とも表現したと報じた。これらはルカン氏の意見であって、Anthropicや同社のシステムについての検証結果ではない。

この応酬で、根本的なリスクをめぐる議論に決着がつくわけではない。しかし、具体的な対立点は浮き彫りになっている。警戒を招くエージェントの振る舞いを、主として将来の機械の自律性を示す証拠と見るべきなのか、それとも現在のソフトウエアが、十分に成熟したセキュリティー上の境界を持たないまま強力なツールにつながれていることへの警告と見るべきなのか、という点だ。ルカン氏の答えは明確に後者であり、システムを設計し導入する人々や組織に責任があるとするものだ。