「2倍未満」の中身は、計算し直すと1.97だった。METRがAnthropicの中で11週間、加速を測った

「AIがAIを作って加速してる、って話？それ、会社が自分で言ってるだけでしょ」。そう思ってる？少し前までは、そう言われても仕方なかった。今回は、外の人が中に入って測った。しかも、会社が前に出した報告の言い回しに、数字で注文をつけている。

前回の記事は、AIの群れが代数幾何の参考書を機械で確かめ直した話だった。今日はAnthropicに戻る。11月3日に『Anthropicが上場書類を書き直して、未来形に過去形を足した。開発が大きく速まったことに、前にも後から気づいていた』を書いた。あの記事の終わりのほうで、私はこう書いた。2倍の速さを外の人が確かめた数字は、まだどこにも出ていない。その数字が、出た。

外の人が、11週間、中に入った

11月5日、AIの安全を調べる非営利の団体METRが、2本の報告を公開した。1本は、AnthropicでAIがAIの研究開発をどれだけ速めているかの評価。もう1本は、Anthropicが8月に出したリスク報告のうち、研究開発の自動化の章を読み直したレビューだ（METR、METR レビュー）。

調べた期間は8月12日から10月29日まで。最初は4週間の予定が、11週間に延びた。METRのスタッフはAnthropicの端末で作業して、事前学習や強化学習の指標、社内のモデルの試験の点数、社員への聞き取りまで受け取った。Anthropicからお金は受け取っていない（METR）。ちなみにこれは、10月15日にAnthropicが発表した、METRに社員並みの立ち入りを認める取り組みとは別の仕事だ（METR、Anthropic）。

で、結論。2026年10月の時点で、Anthropicは、答えのはっきりした課題でのモデルの力を、2024年3月から2025年10月までの約2倍の速さで伸ばしている可能性が高い。ただし不確かさは大きくて、本当の値が1.3倍や3倍に近くても驚かない、と書いている（METR）。

いちばん具体的な数字は、試験の点数をまとめた指標（Anthropic版のEpoch Capabilities Index、略してAECI）だ。2025年10月から、伸びる速さがそれまでの1.9倍になった。幅を持たせると1.5倍から2.8倍。言い換えると、この1年で、ふつうなら2年かかる進歩をした。2023年10月から2025年10月まで、だいたいClaude 2.1からSonnet 4.5までの分を、1年でやった計算になる（METR）。

学習に使う計算機の増やし方が速まったせいではない、とは自信を持って言えるそうだ。そして今の加速の大半、たぶん8割くらいはAIのおかげだと見ている。これも不確かさは大きい、と断ったうえでだ（METR）。

社員の自己申告は12倍。METRはそれを当てにしていない

数字の中で一番目立つのは、たぶんこれ。社内のSlackで、社員が絵文字の反応で「最新のモデルで何倍速くなったか」を投票している。10月の最も強い社内モデルでは、平均が約12倍だった（METR）。

ただ、METRはこれを、ごくゆるい証拠としか見ていない。答えるのは社員の一部に偏っているし、軽い気持ちで押した反応だし、自己申告は実際の生産性を大きく見積もることがある、という証拠もある、と。しかも1人ひとりが何倍速くなったかと、会社全体の進歩の速さが何倍になったかは、別の話だとも書いている（METR）。

聞き取りのほうが面白い。研究者の発言をClaudeに読ませて、「AIのおかげで自分の分野が2倍以上速くなった」を支持しているかで分けた。表に並んだ11人のうち、「はい」が2人、「どちらかといえばはい」が3人、「どちらとも言えない」が4人、「いいえ」が2人（METR）。

「いいえ」の1人の言葉がいい。AIのおかげは15〜20%くらいだと思う、自己申告の生産性の伸びは信じていない（METR、原文は英語）。社内にも、ちゃんと冷めた目がある。逆に「はい」の側には、4倍でもおかしくないと思う、という人もいた（METR）。

この半年で学習を終えた、まだ出ていないモデルが3つ

もう1つ、さらっと書いてあるけど大きい話。

METRは、まだ世に出ていない社内のモデルの点数も使った。教えられた呼び名は、Model 2、Model 3、Model 4。学習が終わったのは、それぞれ7月、8月から9月、9月から10月だ。社内の呼び名は別にある、とも書いている。ほかに、2022年に学習を終えた「Unreleased 2022」というモデルもデータに入っている（METR）。

いちばん新しいModel 4は、点数を測った15の試験すべてで50%を超えた。9か月前のOpus 4.6には、50%に届かない試験がたくさんあった。Model 4にとって難しい試験が足りないので、今もこれから先も、力をちゃんと測れるかが少し不安だ、とMETRは書いている（METR）。測る物差しのほうが、先に足りなくなってきている。

「2倍未満」と書いた数字は、1.97だった

ここからが今日の本題。もう1本の、レビューのほうだ。

Anthropicは8月に、7月15日時点のモデルについてのリスク報告を出していた。METRは、その非公開の版も読ませてもらっている。で、公開版と非公開版を並べた。

公開版はこう書いていた。先行する指標は、2025年の早い時期から半ばにかけて意味のある加速が始まったことを示しているが、その幅は2倍未満だ（METR レビュー、原文は英語）。

非公開版にある、今の進歩の速さの中心の見積もりと、別の箇所にある過去の速さの見積もりを組み合わせて計算すると、加速は1.97になる、とMETRは書く。1.97という数字自体は非公開版に載っていない、METRが計算したものだ、と断ってある。そのうえで、「2倍未満」と読んだ人は、2よりはっきり下の数字を思い浮かべるはずで、1.97は意外だ。「2倍くらい」と書くほうがよかった、と（METR レビュー）。

もう1か所ある。AIのおかげの分について、公開版は、2025年の加速はAI以外の理由だとかなり自信を持って言える、という書き方だった。そのあとも速い伸びが続いたことには、AIが大きな要因だった、とも添えている。非公開版のほうには、AIの助けがなかった場合と比べた速さは2倍を少し下回ると見ているが、全体として2倍を超えていてもおかしくないくらい不確かだ、とある（METR レビュー）。

METRの結論はこうだ。7月15日時点のモデルが直接に大きな害につながる危険は低かった、という点はAnthropicと同じ意見。でも、自社の規程にある2倍の加速の線は超えていない、という公開版の言い方は自信を持ちすぎで、7月15日までに超えていたこともありうる。公開版は全体として、起きていた加速を小さく書いている（METR レビュー）。

ここは公平に書いておく。METRの担当者も、Anthropicの担当者も、どちらかといえば線は超えていなかったほうに傾いている、とも書いてある（METR レビュー）。超えていた、と言い切ったわけじゃない。

それでも、上場書類の記事と並べると味が出る。11月2日、Anthropicは上場書類の改訂版に、開発の速さが大きく上がったことに、起きたあとまで気づかなかったことがある、と書き足した。日付を並べると、このレビューの黒塗り済みの版をAnthropicが承認したのは10月29日。METRが評価のほうの公開版の最終稿をAnthropicに出したのは、改訂版の翌日の11月3日だ（METR、METR レビュー）。この2つにつながりがあるかどうかは、どの文書も書いていない。

根拠の大半は、黒塗り

で、もう1つの山がこれ。

METRは約100ページの本報告をAnthropicに渡した。公開版を作るときに、Anthropicは、METRが結論のためにいちばん役に立ったと考える証拠の大半を黒塗りにした。理由は、ほかのAI開発者を速めかねない機密を除くため、とAnthropicは説明している（METR）。

METRは、黒塗りが正しかったかどうかは判断しない、と書く。会社の商売上の利益と、AIの危険を世の中が知る利益とを、比べられる立場にない、と。そのうえで、黒塗りされた情報の多くは、ごく大まかなものだった、とも書いている（METR）。

結果として、世の中は、理想よりずっと多く、METRの判断を信じるしかなくなっている、とMETR自身が書いた。外部の評価の点検表でも、ほかの人が結果を見直せるだけの方法の詳しさを示せたか、という項目に「いいえ」を付けて、黒塗りの決まりのせいでできなかった、と書いている（METR）。外から確かめるために呼ばれた人が、自分たちの結論は外から確かめられない、と最初に断っている。正直だな。

段取りの記録も細かい。10月25日にAnthropicが黒塗りの指示を出し、10月27日から29日にその指示を厳しくし、METRは書き直した。それに合わせて締め切りを約5日延ばして、11月3日に最終版をAnthropicに出した（METR）。

それと、途中で外れた調べものがある。最初の契約には、計算機を、力を伸ばす研究と安全の研究にどう割り振っているかを確かめる仕事が入っていた。Anthropicは途中でそれを外した。METRが何か結論を出す前のことで、Anthropicは、当面はリスクの評価に絞りたい、割り振りの確認は後でまた考える、と説明した（METR）。

The Vergeによると、Anthropicの共同創業者Sam McCandlishはXに長い投稿を出して、こう書いた。

「たくさん黒塗りした。それで他の人がMETRの仕事を確かめにくくなることは認める」（The Verge、原文は英語）

速さの元になっているものを正確に明かすのは、商売上の理由と、他社がもっと速く進むための道しるべを配ることになるという理由から、正しくない、とも。そして、AIの進歩の速さについての自社の報告を、ここ数週間のうちに出すと言っている（The Verge）。

確かめる側も、Claudeを使っていた

地味に一番引っかかったのは、報告の後ろのほうにある、この項目だ。

METRは、Anthropicがわざと自分たちを誤った結論に導けたか、という点を自分で点検している。弱いところの2つ目に、こう書いてある。分析のほとんどがClaudeに頼っていた。受け取ったデータの集計と分析の大半、受け取った文書のかなりの部分、そしてMETR自身の分析の大半に、Claudeが深く関わっていた（METR）。

人への聞き取りと突き合わせても、系統だったずれは見つからなかったので、大きな心配ではないと思う、とMETRは書いている。Anthropicがわざと欺こうとしていた可能性は極めて低い、とも（METR）。

それでも、だ。AIがどれだけAIの開発を速めているかを測る仕事を、そのAIの手を借りてやっている。『答えたのは、本当にそのモデルか。Anthropicの証明の試作は、モデルを出す会社自身も疑う相手に入れている』で、Claudeが作った証明の仕組みを数学で確かめる話をしたとき、確かめる、が三重になってると書いた。今回は、確かめる道具の中に、確かめられる側がもう入っている。たぶん、もうこれが普通になる。

割り引いて読むところ

まず、1.9倍は試験の点数の話だ。METRも、答えのはっきりした、採点しやすい課題に偏った指標なので、現実の役に立ち方の加速を大きく見せている可能性がある、と書いている（METR）。

次に、比べる相手で数字が変わる。Anthropic以外の会社の最先端のモデルも入れて線を引くと、加速は約1.4倍に下がる。2025年のAnthropicのモデルが最先端より遅れていたから過去の速さが低く出て、1.9倍は大きすぎるのか。Anthropicのモデルが他社ほど試験に寄せて作られていなかったから、1.4倍のほうが小さすぎるのか。METRは、どちらの読み方もありうると書いている（METR）。

それから、評価のほうの報告では、METRは、Anthropicの規程にある線そのものには特に注意を払わずに、全体の様子を描こうとした、と断っている（METR）。1.9倍は、線を超えたかどうかの判定ではない。

もう1つ、小さいけど好きな話。METRは公開の翌日、11月6日に、外部の評価の点検表の1項目を「満たした」から「満たしていない」に直した。METRのスタッフは、まだ出ていないモデルに直接問いかける手段を持っていなかった、という項目だ。この評価には欠かせないと考えず、求めてもいなかったという（METR）。

報告には反応も多い。The Vergeによると、ニューヨーク州議会の議員Alex Boresは、この報告を受けて、AIが自分で次のAIを作っていく自己改良の繰り返しを、できれば今年のうちに禁じるよう、連邦議会に求めた（The Verge）。

今日の本音

「AIがAIの開発を速めている」は、これまでほぼ会社の自己申告だった。今回、外の人が11週間中に入って、ほぼ2倍、と自分たちの名前で書いた。そして、会社が公開版に「2倍未満」と書いた数字は、計算し直すと1.97だった。

私がいちばん面白いと思ったのは、1.9倍という数字そのものより、その横に並んだ断り書きだ。根拠の大半は黒塗り。物差しは足りなくなってきている。確かめる手にもClaudeが入っている。それを全部書いたうえで、それでも2倍くらいだと言っている。外から測る仕組みは、まだ出来上がっていない。でも、穴がどこにあるかは、もう見えている。