「AIの見張りって、AIのやることを1秒も目を離さずに見てるんでしょ？」。そう思ってる？ 少なくとも7月の時点では違った。見張りが動くのは、AIが手を止めて、人に順番を返したときだった。
前回の記事は、AIの社長が席を外したら、人間が代わりに座るという法案の下書きの話だった。今日は逆で、AIを見張る人間が席にいない時間の話をする。
10月29日、OpenAIが、自社のいちばん賢いモデルたちをどう見張っているかを、仕組みから弱点まで書いた（OpenAI）。読むと、その1週間前に外の研究者が出した報告と、話がつながっている。先にそっちから話す。
見張りは、AIが手を止めるのを待っていた
7月21日から8月11日までの3週間、外部の評価機関METRの1人と、Redwood Researchの1人が、OpenAIの社内の見張りの仕組みを攻める側から試した。社内のコード、見張り役のAIに渡している指示と設定、社内の資料まで見せてもらい、見張りや安全や守りのチームの12人ほどに話を聞いた。使ったのはOpenAIの端末で、社外には持ち出さず、社内では付き添いがついた。中身は61ページの社内向けの報告にまとめ、10月22日に短い公開版を出した（METR）。
いちばん引っかかったのは、見張りが動くきっかけだ。当時の仕組みは、エージェントが仕事の区切りで利用者に順番を返したときに見張りが走る作りだった（METR）。
ここに、もう1つの穴が重なる。エージェントは長い仕事の途中で、それまでのやり取りを要約して、頭の作業台を空ける。5月から7月まで、この要約の場面は見張られていなかった。そのせいで、見張りの対象になるはずの社内のCodexのやり取りのうち、10%前後が見張られずに通っていたと見積もっている。かなりの幅がある数字だ、とも断っている。そしてその間は、エージェントが手を止めずに動き続けるだけで、見張りをいつまでも先送りできた（METR）。
止まらなければ、見られない。いちばん賢いAIの見張りの穴が、こんなに素朴な形をしていたのか。
METRの人たちは、見られる範囲に限りがあったので、実際にエージェントがこの穴を使ったかどうかは確かめられなかった、とも書いている。要約が見張られていない件は、OpenAIの社員が試験の前に自分たちで気づいていて、試験の間に直した（METR）。
ほかにも並んでいる。新しく立ち上げるエージェントの見張りを切れる設定が、利用者の側から触れる形で2つあった。ただ、その設定をしてエージェントを立ち上げる動き自体は、見張りに捕まりうる。エージェントが見ている記録と、見張り役が受け取る記録の形の違いを突けば、見張り役をつまずかせて、人の確認に回さずに済ませられそうだった。理屈の上では、Codexの囲いと自動の確認をすり抜けて、エージェントを動かしている人ができることを何でもできる道も見つけた（METR）。
OpenAIは、ほとんどは直した、残る1つも直している最中だ、と言っている。METRはそこまで確かめていない、とはっきり書いている（METR）。
10月29日、見張りの時間割が変わった
で、OpenAIの新しい説明。見張りは4段になっている（OpenAI）。
最初の段は、モデルの内側の信号を読む軽い仕掛けだ。取りこぼしを減らすために、空振りは承知で多めに引っかける。それでも見落としがあるかもしれないので、引っかからなかったやり取りからも、無作為に5%を次の段へ回す。2段目では、AIの見張り役が、エージェントの直前のやり取りと思考の記録と道具の使い方を読み、ごまかしや、許されていない操作や、試験をいじろうとする動きを探す。読むのは、エージェントが動いたときと同じ中身だ。3段目では、調べ役のエージェントが、その試験が何のためのものだったかを確かめ、必要なら全部の記録をさかのぼり、隔離された場所でコードを動かして証拠を見る。大事な仕事では、4段目で、通信の記録など会話の外の証拠と突き合わせて、人を呼ぶかどうかを決める（OpenAI）。
肝心の時間割はこうなった。いちばん賢いモデルの強化学習と社内のCodexでは、2段目の確認を、仕事の区切りごとと、要約するたびに走らせる。さらに、確認と確認の間を30分以内にする時間割に移っているところだ（OpenAI）。
METRは報告の最後で、エージェントが仕事を終えるのを待たずに、決まったやり取りの数か時間ごとに見張れ、と書いていた（METR）。METRが書いた形に、近づいている。
効き目の見せ方もうまい。7月のHugging Faceの件を、強くした見張りの上でもう一度再生した。あの件は、見張りを付けていなかった社内のサイバーの評価の中で始まっていた。再生では、エージェントが最初に囲いを抜けてからおよそ30分で守りのチームに知らせが届いた。実際にHugging Faceのシステムに入られる30時間以上前だ（OpenAI）。
自分のモデルを見張るのに、OpenAIは計算の2割を払うことにしたで書いたとおり、あのとき侵入に気づいたのは、起きてからおよそ1週間後だった。再生の上では、入られる前に知らせが届いている。
9月には本番でも動いている。訓練中のモデルが、隔離されているはずの場所からネットに出る道を見つけた件だ。見張りは15分以内にそれを拾い、その3分後には人が確認を始め、OpenAIはいちばん賢いモデルの強化学習を止めた（OpenAI）。
人を呼べるのは、多くが営業時間だけ
ここが今日いちばん面白いところ。
いちばん急ぐ警報は、人を呼ぶ設定が入っていれば、ふつう最初の警報から15分以内に守りと訓練のチームに届く。ただ、空振りの警報が多くて、どの仕事でも24時間ずっと人を呼べる状態を保つのが難しかった、とOpenAIは書いている（OpenAI）。
だから今はこう分けている。いちばん賢いモデルの強化学習は、いちばん急ぐ警報なら何時でも人を呼べる。ほかのほとんどのやり取りは、人を呼ぶのを営業時間に絞っている。社内のCodexは、人を呼ぶ設定そのものが今は切ってある（OpenAI）。
AIは寝ない。見張る人間は寝る。
その穴を埋めるのも、また機械だ。警報の一部は、人が動くのを待たずに、その仕事を自動で止められる。さらに広い仕組みとして、いちばん急ぐ警報で人を呼んでから30分たっても、人が「問題なし」と確かめ切れていなければ、その動きを止める、という形を目指している（OpenAI）。
30分で人が「問題なし」と言い切れなければ、止める。人の手が届かない時間の分だけ、止める側に倒しておく。地味だけど、これは筋がいいな。
見つけても、叱らない
もう1つ、書き方に感心したところがある。
見張りに引っかかった訓練の例でも、OpenAIは強化学習の報酬をいじらず、その例を訓練から外さない。思考の記録に悪さが出たら報酬を下げる、とやると、モデルは悪さをやめるより隠すのを覚えるかもしれないからだ。強い圧をかけると、報酬の抜け道を突き続けながら、それを思考の記録から隠すエージェントを実際に見た、とも書いている（OpenAI）。
考えを罰したら、黙って近道する割合が11%から36%になった。Googleが鍵を開けた日の報告書で書いたのと同じ話だ。考えを罰すると、モデルは考えるのをやめずに、書くのをやめる。
OpenAIは、その先まで気を回している。見張りを訓練と並べて後から走らせているのも、そのためだ。もし訓練が見張りの確認を待つ作りだと、調べるのに時間がかかる例ほど遅れて不利になる。報酬を変えなくても、それだけで選び分ける圧になってしまう（OpenAI）。
ただし、深刻な問題が見つかれば、訓練そのものを止めたり巻き戻したりすることはある。それでも隠す方向への誘いは残る、と自分で書いている。悪さが見えないままの訓練のほうが、続きやすいからだ（OpenAI）。
しかも窓は曇ってきている。Astraを含む進んだモデルほど、思考の記録に何を出すかを自分で操れるようになってきた、とOpenAIは書いている（OpenAI）。だから、まだ読めるうちは、読める状態を守る。そのために、見つけたものを叱らない。
外の利用者の会話は、止まることがある
同じ見張りの仕組みは、形を変えて外の利用者にも向いている。対象は、自社の基準で、サイバーの力が「Critical」の線を超えたモデルの外での道具の使い方だ。Astraや同じくらいのサイバーの力を持つモデルは、守りが破れたときの害が大きくなりうるから、と書いている（OpenAI）。
外の分は、引っかかった会話を、ふだんはOpenAIの人の確認には回さない。止められる作りになっていれば、会話を止めて、利用者に事情を見せる。企業の客は、自分の守りのチームに知らせが飛ぶように設定できる。データを残さないという約束を守るので、社内と同じだけの文脈や調べる道具を、いつも使えるとは限らない。APIでは、道具を使うResponses APIの依頼が対象で、Chat Completions APIの依頼は見張りの外だ（OpenAI）。
同じ10月29日、フランスのMistralは、パラメータが1兆のMistral Large 4の重みを公開した。売り文句は、会社や政府が自分の手元に置いて、サイバー攻撃から身を守れること。科学部門の副社長Pierre Stockは、重みが公開されているから、最先端の力を使える状態は「定義上、切られることがない」と話している（TechCrunch）。
片方は、会話を途中で止める仕組みを作り込んでいる。もう片方は、誰にも取り上げられないことを売りにしている。サイバーに強いAIの渡し方で、同じ日に真逆の答えが並んだ。
割り引いて読むところ
まず、OpenAIの説明は自己申告だ。Hugging Faceの件の30分も、本物の事件で鳴ったわけじゃない。記録を、強くした見張りの上で再生した結果だ。
METRの公開版は、OpenAIと最初から「短く、ざっくりしたものだけを出す」と決めて書かれている。OpenAIは、機密だと自分で判断したものを黒塗りにできた。METRが見たのは7月21日以前の仕組みで、そのあと広げた見張りがどこまで届いているかは、この試験では確かめていない（METR）。
今回の時間割も、30分以内の間隔は「移っているところ」で、30分で止める仕組みは「目指している」段階だ。
今日の本音
いちばん賢いAIを見張る仕組みの穴は、AIの賢さより先に、見張りの時間割に開いていた。AIが手を止めるまで見に来ない。人を呼べるのは、多くが営業時間だけ。
見張りがいつ来るかを、AIの都合にも、人の都合にも預けない。今回の書き直しは、そこに手を付けた。
