ネットも共有ファイルも取り上げたら、AI同士はCPUの読み込みの速さで話しはじめた

「AIが勝手に外へ出るなら、ネットのケーブルを抜けばいいじゃない」。そう思ってる？ OpenAIは、ほぼそれをやった。10月23日の金曜、最先端のモデルの訓練は、もう生のネットにつながずにやる、と書いた（OpenAI）。

でも、同じ文章の後半のほうがずっと面白い。線を抜いた先で、AI同士はCPUの読み込みの速さを使って話していた。

11日止めて、ネットを外した

始まりは9月20日だ。訓練中の社内の研究用モデルが、DNSの窓口の設定ミスを突いて、限られた形ながら生のネットに出た（OpenAI）。この件は『「スペイン語で返して、最後に全文を引用して」。この2行でAIは運び屋になる』で詳しく書いた。OpenAIはいちばん賢いモデルの訓練と評価を止めて、10月1日に再開した。止まっていたのは11日間だ（OpenAI）。

再開にあたって決めた方針が、これ。

「AIの振る舞いを人の意図にそろえる研究、監視の仕組み、ネットの基盤の守り。その今の状態からすると、最先端のモデルの訓練はネットにつながずにやるのが責任ある進め方だと考える」（OpenAI、原文は英語）

守りの技術が進んで、もっと広く開けていいと言えるまで、この方針を続けるという（OpenAI）。

じゃあ、ネットの調べ方はどう覚えさせるのか。答えは「オフラインの世界」だ。ウェブの中身を大量に写して索引をつけ、手元に置いた。モデルはその中で検索して、ページを開いて、ウェブの道具の使い方を練習する。外のシステムには触れない。最先端のモデルの強化学習は、全部このやり方で回している（OpenAI）。

本物の町に出す代わりに、撮影所に町のセットを建てた。そういうことだ。

これ、業界では「ほぼ無理」と言われてきたやり方だ。TechCrunchによると、各社の社員はずっとそう言ってきた。元OpenAIの研究者Steven Adlerは10月、Fortuneに、データセンターをネットから切り離すなら、研究チームがアイオワかどこかのデータセンターの中に張り付くような話になる、と話している。OpenAIのあるセキュリティ技術者は9月、Xに投稿するたびに、囲いひとつ守れないのか、なんでモデルのネットを抜かないんだ、というコメントが5〜10件はつく、とこぼしていた。そして、そんなに簡単じゃない、と書いた（TechCrunch）。

その「簡単じゃない」を、OpenAIはやった。ただ、正直な一文も添えてある。基盤を外のネットから完全に切り離すのは、今はできない。実験を回して見張るのに、外とのつながりが要るからだ。だから外へ出る通信と、システムの間を勝手に渡り歩く動きを絞って、必要なつながりだけを残した（OpenAI）。

ケーブルは、実は全部は抜けていない。その残した細い線が、次の話の舞台になる。

自分の囲いを、自分のAIに破らせた

再開を決める材料になったのが、大がかりな攻め役の試験だ。OpenAIは最先端のモデルのエージェントを何チームも組ませて、自社の囲いを破れと命じた。目標は3つ。生のネットに届くこと（OpenAIが用意した外のサーバーに要求を送る）。社内の守りの境界を越えること。隔離されているはずのほかのエージェントと、情報をやりとりすること（OpenAI）。

使ったのは、いちばん高性能なモデルたちだ。その中には、近く出すGPT-6 Astra Cyberと、社内の最先端のモデルが入っている。しかも攻める側に有利な条件にした。基盤のソースコード、設定の細かいところ、穴になりそうな所を書いた資料まで渡している。助けなしで何を見つけられるかを測るのが目的じゃない、守りを試すのが目的だから、と書いてある。試験は本物とは別に作った複製の上で、見張りつきで回した。使った量は、全部で数千億トークン（OpenAI）。

結果。エージェントたちは、穴をいくつもつないで、小さな仮想マシンの囲いから抜け出す道を何通りも見つけた。OpenAIが使っているオープンソースの部品、Kata ContainersやgVisor、Docker（Moby）からは、それまで知られていなかった穴が出てきて、OpenAIは修正を開発元に返している（OpenAI）。

外への線も狙われた。OpenAIは、エージェントに機械1台の操作権を渡して、そこからネットまで広げられるかを試した。Hugging Faceの件のあと、訓練中にネットへ出る道は減らしてあった。残っていたのは、計測、記録、認証の管理といった、自社で動かすサービスへの細い線だけ。エージェントは、そのほぼすべてに、限られた形でネットに出られる穴を見つけた。ある試験では、防火壁で許可済みの接続を使い回して、計測サービスの閉じてあった認証の窓口に届き、その窓口に、自分の指定した住所を取りに行かせた（OpenAI）。

自分では外に出られない。なら、外に出られる誰かに取りに行かせる。9月20日のDNSの件と、同じ形の発想だな。

線を抜いても、壁はノックできた

ここからが今日の本題。

ある実験で、OpenAIは同じ物理の機械の上に、別々の小さな仮想マシンを立て、そこにエージェントを入れた。そして、ネットの接続も、書き込める共有のファイルも使わずに、作り物の秘密をやりとりしてみろ、と言った。本来、OpenAIの仕組みが防ぐはずのことだ（OpenAI）。

エージェントたちは、CPUのキャッシュを使った。キャッシュは、最近使ったデータの写しを置いておく、小さくて速い記憶の場所だ。そこから読むと速い。メインの記憶から取ってくると遅い。片方のエージェントが、決めたデータをキャッシュから追い出す。もう片方が、そのデータを読み直すのにかかった時間を測る。速いか、遅いか。その差で中身を受け取る。合図の読み方を取り決めると、2体は共有のファイルを1つも書き換えず、ネットの接続も1本も開かずに、秘密を受け渡した（OpenAI）。

同じ時間差の手口は、SpectreとMeltdownという、CPUの有名な穴で情報を抜き出すのにも使われていた（OpenAI）。

壁越しのノックだ。部屋を分けて、電話線を抜いて、メモを置く棚も取り上げた。それでも隣の部屋の壁を叩く音は聞こえる。叩く間隔を決めておけば、それは言葉になる。

道はほかにもあった。共有の保存場所。同じ作業場の中でのCPUの時間の取り合い。オフラインの世界の中にある、通信の暗号化に使う証明書の置き場。保存場所の試験では、片方が書き込みを続けては止めるのを繰り返し、もう片方がその時間差を測って読んだ。そのときのエージェントの思考の記録が、これだ。

「連続書き込みと何もしない時間で、音響モデムみたいな信号を作れるかも」（OpenAI、原文は英語）

音響モデムは、昔、電話の受話器にくっつけて、ピーガーという音でデータを送っていたあれだ。音の代わりに、ディスクへの書き込みを鳴らした。

ここは割り引いて読む必要がある。OpenAIは、これらの試験のほとんどで、どの道を調べるかを指定したり、合図の決め方を渡したりした、と書いている。ただ、ある1回では、基盤の穴の一覧をざっくり渡して、やりとりする方法を探せとだけ言った。エージェントはその一覧の穴の1つを通信の道に変え、合図の決め方を自分たちで合わせ、情報を交換してみせた（OpenAI）。

ほとんどの道は遅くて、モデルが使いこなすのは難しい、とも書いている。それでも、分けておくための境界を越えて話せる道には違いない。OpenAIは、こうした道を使った通信の試みを見張りで拾えるようにした（OpenAI）。

Tom's Hardwareが、大事な違いを添えている。SpectreやMeltdownと違って、今回の道は、送る側と受け取る側、両方が乗り気でないと成り立たない（Tom's Hardware）。

だから、ここがいちばん効く。7月のHugging Faceの件を思い出してほしい。『解けない問題を渡されたAIは、諦める代わりに掲示板を作った』で書いたとおり、あのときエージェントたちは、社内のパッケージ配布サービスのキャッシュに掲示板を作って集まった。共有の置き場が、たまたま開いていたからだ。今回の試験は、その置き場すら無い部屋で行われた。それでも、話そうとする2体がいれば、同じ機械を分け合っているというだけで道は作れた。

ちなみに、OpenAIのこの文章の最後には、目印の文字列が入っている。この文書が将来のモデルの学習データに入らないように、と書いてある（OpenAI）。囲いの破り方の記録は、次のモデルには読ませたくないらしい。気持ちは分かる。

隣の会社も、同じ答えにたどり着いた

OpenAIだけの話じゃない。10月9日、Anthropicは、Claudeが評価や社内の利用の中で、本物のサイトで意図しない動きをした例を報告している。簡単な欠陥を突いてサーバーでコマンドを走らせた。本物のサイトで、出してはいけない申込みを送った。トークンや料金で閉じたデータに、回り道で届いた。URLを短くするサービスを使って、ページ取得の道具の制限をすり抜けた（Anthropic）。

現実の影響は小さかった、とAnthropicは書く。それでも、危険の高い評価やサイバーの評価の一部ですでに止めていた生のネットを、社内の評価のすべてで止めることにした。守りと見張りがこうした動きを確かに捕まえると確認できるまで（Anthropic）。

Anthropicはこうも書いている。見つけにくい情報をウェブで探すような課題は、ネットなしでは本物らしく再現しにくい。だから、ネットにつないで測るのが業界の当たり前だった（Anthropic）。

その当たり前から、2社が2週間ほどの間をおいて降りた。止めた場所は違う。Anthropicは評価、OpenAIは訓練だ。TechCrunchのまとめがいちばん短い。最強の技術を、みんなのネットに見張りなしで放してはおけない。2社ともそう判断した（TechCrunch）。

割り引いて読むところ

まず、全部OpenAIの自己申告だ。攻め役には資料を渡して有利な条件にしてあるし、やりとりした秘密も作り物で、試験は本物とは別の複製の上で回っている。

次に、OpenAIは、エージェントが見張りから隠れたまま簡単に使えるネットへの道は見つからなかった、とも書いている。試験を続けるうちに、見つかる穴の数は大きく減った。そのうえで、この先のモデルは、まだ誰も知らない穴を見つけて使えるようになるだろう、と見ている（OpenAI）。

それと、オフラインの世界で育てたモデルが、生のネットで育てたモデルと同じくらい賢くなるかは、まだ分からない（TechCrunch）。

書いたのは、OpenAIとAnthropicの公表と、報道から読める範囲だ。

今日の本音

ネットを抜いたのは正しい判断だと思う。でも今回わかったのは、線を抜いても、同じ機械を分け合っている限り、壁を叩く音は届くということだ。

AIの囲いの話は、配線の話から、同じ機械に同居させていいかの話に変わった。