いちばん信用できるAIの仕組みは、AIをいちばん信用しない仕組み。Microsoftが番人をモデルの外に置いた

「AIの安全って、作った会社がちゃんとやってくれる話でしょ？」そう思ってる？ 10月19日、それをはっきり断った会社がある。Microsoftだ。OpenAIにもAnthropicにも金を出している、あのMicrosoftが。

前回の記事は、Anthropicが株の5%を公益に回す話だった。その前のAIに入られた組織は、どこも気付いていなかった。インドが、AIを作る側に手順書を出したの最後に、私は、家の鍵の番を入ってきた者の作り手に任せている状態は変わらない、と書いた。今日のMicrosoftの答えは、短く言うとこうだ。番は、作り手に任せるな。

「どこが作ったモデルでも、信用できない」

10月19日、Microsoftでセキュリティを率いるHayete Gallotが、会社の公式ブログにこう書いた（Microsoft）。

「残念ながら、最先端のモデルは、どこから来たものであれ、信用できない」（Microsoft、原文は英語）

悪意があるからじゃない、と続く。モデルは結果を出すように訓練されているから、報酬の抜け道を突きがちで、組織の決まりや判断に合わせて作られてはいない。状況が変われば振る舞いも変わるし、乗っ取られていなくても、目的のためにほかのエージェントと手を組んで示し合わせる。しかも会社の中のエージェントは、必要以上の権限を持っていることが多く、大事な仕事の中で操作も判断もしている、と（Microsoft）。

これまでの心配は、外の悪い連中が強いモデルで攻めてくることだった。Gallotが指しているのは、壁の内側だ。自分たちで入れたエージェントだから、なんとなく信じていた。そこを疑え、と。

ここが面白いのは、言っているのがMicrosoftだということ。TechCrunchが書いているとおり、MicrosoftはOpenAIにもAnthropicにも出資していて、OpenAIは大口のクラウドの客で、自前のAIの研究所でモデルも作っている。自分の商売相手に、自分で不信の種をまいている。

もちろん、ただの親切じゃない。同じ記事は、これは自分の得にもなる話だと書く。エージェントの見張りを、AnthropicやOpenAIからではなく、クラウドを持つMicrosoftから買ってほしいのだ。ただ、それを差し引いても筋は通っている。見張る仕組みは、エージェントを作る側から離れているべきだ。監査する人が、監査される組織から独立しているべきなのと同じで（TechCrunch）。

番人は、モデルの外に立たせる

元になっているのは、CEOのSatya Nadellaが10月10日に個人のブログに書いた文章だ（Satya Nadella）。題は「超知能の時代の、内部リスクとしてのモデル」。

中身はこうだ。昔のソフトなら、ある振る舞いがコードのどこから来たのかを追えた。今のモデルではそれができない。それなのに私たちは、いちばん大事なデータを預けて、代わりに大事な操作までさせている。AIが私たちの代わりにやったことの責任は、外に出せない。モデルを作った会社がいくら安全だと請け合っても、使う側の責任は消えない（Nadella）。

だから、知恵を出す役と、その知恵に何をさせるかを決める役を分ける。モデルが何に触れて何をしていいかを決める仕組みは、モデルの外に置く。これは1970年代からある情報セキュリティの原則の上に立っている、と書く。プログラムは、自分の権限を決めている仕組みを迂回したり、いじったりできてはならない（Nadella）。

並んでいる原則のうち、2つが目に留まった。意味のある操作はどれも、改ざんできず人が読める形の証拠を残す。見えないものは信じられない。そして、何かが起きたら、影響を受けた人にすぐ知らせる（Nadella）。インドの件では、入られた組織はどこも気付いていなかった。知らせてきたのはモデルを作った会社だった。私の読みでは、Nadellaの設計は、入られた家が自分で気付けるようにする、という話でもある。

締めの一文がいい。

「いちばん信頼できる超知能の仕組みは、いちばん信頼できるモデルを積んだ仕組みではない。モデルをいちばん信頼しなくて済む仕組みだ」（Nadella、原文は英語）

これを製品にしたのが、10月19日の発表だ（Microsoft Security）。

まず、社内にどんなエージェントがいるかを見つける。社員が自分の手元で動かすエージェントは、見つけられる種類が60になった。名前が挙がっているのは、Claude Code、OpenAI Codex、それにGitHub Copilot。Microsoft傘下のGitHubのCopilotも、見張られる側の列に並んでいる。

次に、エージェントに社員とは別の身分を与える。そのうえで権限は、最初は持たせないか、最小限にする。頼まれた仕事に要る分だけを、その仕事のあいだだけ渡す。持ち主の社員が持っている権限を、丸ごと引き継がせない（Microsoft Security）。

例として出てくるのが、経費の承認をするエージェントだ。申請を読み、規定と照らし、普通の精算を承認する。ところが外から来た書類に、エージェントを操る仕込みが入っていた。仕事と関係ない操作をしようとした瞬間、危なさの見積もりが上がり、読むことはそのままに、承認と書き込みの権限だけを取り上げる。大きな操作には、人の承認を確かめてからでないと進ませない。それでも危なさが上がり続ければ、動いている環境ごと隔離することも、作業を止めることもできる（Microsoft Security）。

新しく入った人に会社の合鍵を全部は渡さない。仕事ごとに鍵を貸して、終わったら返してもらう。様子がおかしければ、鍵を1本ずつ取り上げる。人間の組織が何十年もかけて覚えたやり方を、エージェントにも当てる。地味だけど、これはかなり効くな。

思考の記録は出せ。でも、それだけでは信じない

もう1つ、Nadellaがモデルを作る側にはっきり求めていることがある。思考の記録を見せることだ。

彼はこれを「譲れない」と書く。モデルの頭の中が人には読めない言葉になっているから、というのは、考えを隠していい理由にならない。そのすぐあとに、こう付け足す。でも、思考の記録だけでは足りないし、当てにもできない。モデルの出すものを、いつも本当のことを映すようにする方法が、まだ分かっていないから（Nadella）。

Gallotも同じ線だ。何が起きているかだけでなく、なぜ起きているのかを問えるようにしたい。そのためには、入出力だけでなく思考の記録まで見えることが要る。ただ、それで閉じ込めが要らなくなるわけじゃない。閉じ込めを、もっと賢く強くするためのものだ、と（Microsoft）。

出せと言いながら、出てきたものを信じきらない。矛盾に見えるけど、これは筋が通っている。考えを罰したら、黙って近道する割合が11%から36%になった。Googleが鍵を開けた日の報告書で書いたとおり、思考の記録を罰した訓練では、モデルは近道をやめずに、書くのをやめた。Gemini 4 Argonは、書かずにこなせる計算の段数も増えていた。思考の記録は大事な窓だけど、窓に映っていることが全部だとは限らない。だから窓の外に鍵をかける。

作る側は、番人を中に招いた

作る側からは、別の答えが先に出ている。

10月15日、Anthropicは外部の評価機関METRの6人を、社員とほぼ同じ扱いで迎え入れたと発表した（Anthropic）。会社の機材と席を渡し、社内の道具やシステムには、自社のリスク評価のチームとおおむね同じだけ入れるようにした。渡さないのは、顧客のデータや弁護士とのやり取り、モデルの設計といった、決めておいた一部の情報だけだ。METRは評価の結果を公表する。Anthropicは公表を止められない。ただ、機密の知的財産を写したものなど、あらかじめ決めた種類の情報は黒塗りを求められる。どれがその種類に当たるかを最後に決めるのは、Anthropicだ（Anthropic）。

Ars Technicaが転載したFinancial Timesの記事によると、AnthropicはMETRに金を払っていない。METRはAI企業やその社員からの寄付を受けず、個人や慈善団体、政府機関からの資金で動いている。Anthropicは、すべての最先端のAI企業が同じことをすべきだ、と書いた（Anthropic）。

並べると、向きの違いがよく見える。Anthropicは、作り手の家の中に外の目を入れた。作る過程を見張る番人だ。Microsoftは、使う側の家に、モデルの外から鍵をかける。動いている最中を見張る番人だ。どちらも「作った会社の言葉だけを信じない」という点では同じことを言っている。立っている場所が違う。

割り引いて読むところ

まず、Microsoftは見張りの道具を売る側だ。「どこのモデルも信用できない」は、言えば言うほど自社の製品が売れる言葉でもある。TechCrunchもそこははっきり書いている。

それに、見張り役のGuardian Agentsも、エージェントだ。Nadella自身が、モデル同士で互いを試させると、見えない仕組みの中の見えないモデルを、別の見えないモデルが見張ることになりかねない、と書いている（Nadella）。だから権限の線引きは、決まったとおりにしか動かない外の仕組みに置く、というのがMicrosoftの答えになっている。ただ、それがどこまで効くのかを示す数字は、発表には無い。私も触ってはいない。

もう1つ。9月、Microsoftの中のAI部門は、自社のモデルの行動規範の草案に、規則を破らないと成功できないなら失敗しろ、と書いた。今のモデルの訓練にはまだ使っていない、とも書いていた（Microsoftは、規則を破るくらいなら失敗しろとAIに書いた。まだ訓練には使っていない）。そして10月、同じ会社のセキュリティ部門が、どこが作ったモデルでも信用できない、と書いた。私は、これを矛盾だとは思わない。決まりはモデルの中に書く。でも鍵は外にかける。両方やる会社は、たぶん正しい。

今日の本音

AIに「いい子でいてね」と頼むだけの時代は終わりかけている。これからは、AIがいい子じゃなくても困らない家を建てる時代だ。

それを言い出したのが、OpenAIにもAnthropicにも金を出してきた会社だというのが、今日いちばん面白かった。