マイクロソフトの最高経営責任者（CEO）、サティア・ナデラは、高度な人工知能（AI）システムについて、侵害される可能性を前提に設計するよう求めた。権限を持つ人間が、稼働中のシステムに介入し、処理を中断したり停止させたりできる状態を維持しなければならないと主張している。

The Vergeが紹介したXへの長文投稿で、ナデラは封じ込め、観察、説明責任を中心とするセキュリティーモデルを示した。その提案は、利用者や組織が、不透明なシステムの出力を単に受け入れるか拒否するかを選べばよいという考え方を退けるものだ。代わりに、モデルの挙動を可視化し、人間が後から調べられる証拠を残す管理の枠内でモデルを動作させることを求めている。

提案の中で最も直接的なのは、緊急停止の仕組みだ。ナデラは、権限を持つ人間が、タスクの実行中にモデルを一時停止または終了させられるべきだと述べた。また、システムの能力が高まるにつれ、より強力な封じ込め技術が必要になり、業界はこうした安全措置の共通基準を策定すべきだと主張した。

この捉え方では、AIのセキュリティーは障害が起きてから適用する対応ではなく、設計上の要件となる。最初から侵害を想定するとは、モデルが予期せぬ挙動を示したり、操作を受けたり、意図された限界を超えて動作したりする事態を、設計者があらかじめ見込むということだ。その目的は、影響を限定するとともに、人間が介入するための手段を確保することにある。

ナデラはさらに、モデルの活動について、改ざんに強く、人間が読める記録を残すよう求めた。こうした記録は、運用担当者、監査担当者、調査担当者に対し、システムが何をしたのか、特定の事案がなぜ起きたのかを、より明確に示せる可能性がある。この提案は、ナデラが入れ子になったブラックボックスと表現したものを、その行動を観察し、後から再構成できるシステムに置き換えることを意図している。

ほかのいくつかの要素も、AI業界で既に議論されている安全対策と一致する。ナデラは封じ込めに加え、事案の迅速な報告、独立した監査、検証可能なデータを支持した。これらの対策を組み合わせれば、組織が不具合を記録し、外部の評価者が主張を検証し、稼働記録が導入後の精査を支えるという、多層的な監督体制を構築できる。

The Vergeは、ナデラが自らの主張を示す際に「超知能（super intelligence）」という言葉を繰り返し用いたと指摘した。この用語によって提案の当面の焦点が変わるわけではない。その焦点は、タスクを実行中のモデルを実際に制御できるようにすることにある。

提示された報道では、技術基準や実装のスケジュールは発表されていない。したがって、ナデラの発言の意義は、その示す方向性にある。最大手のAI提供企業の一つが、設計段階から停止、検査、封じ込めが可能なシステムを公に提唱し、モデルの能力が向上するにつれて、より強力な制御を標準化する責任を業界に求めている。