同じモデルに名前が二つついた週

論点1: 同じモデルに、名前が二つついた

9月1日、AnthropicがClaude Fable 5.1とClaude Mythos 5.1を公開しました。発表文の2段落目に、こう書いてあります。

Fable 5.1とMythos 5.1は同じモデルだが、セーフガードの水準が違う。Fable 5.1は一般提供で、Mythos 5.1は審査つきのプログラム経由だけ。Mythosのセーフガードは、サイバーセキュリティと生命科学の仕事を支えるように作られている、と続きます。なおMythos 5.1は現時点では米国の一部の組織にしか提供されていません。米政府と調整して国内外へ広げる予定だとされています。

面白いのはこの先です。ベンチマークの表に、同じモデルの点が二つ載っています。エージェント的なコーディングの試験Terminal-Bench 4.0で、Fable 5.1が55.8%、Mythos 5.1が60.9%。約5ポイントの差です。

この差が何なのかも、図の注記に書いてあります。両者は同じモデルであり、差は以前の、精度の低いサイバーのセーフガードが割り込んだタスクの分だ。そして今日入れる改善によって、この差はもっと小さくなる見込みだとも。つまり表に載っている55.8%は、改善前のセーフガードで測った数字ということになります。

もう1つ、表の下の注記が具体的です。セーフガードが割り込んだ課題のうち、OSWorld 2.0ではFable 5.1とFable 5がゼロ点として集計され、AutomationBenchではFable 5がゼロ点。それ以外の割り込みでは、サイバーの課題はClaude Opus 4.8が、生物の課題はClaude Opus 5が代わりに解いたとあります。その結果が、そのまま点として集計されている。Anthropic自身が「これはおそらくFable 5.1とFable 5の成績を下げている」と書いています。

点数が、モデルの能力だけを測っていない。誰が使うかで途中の経路が変わり、経路が変われば別のモデルが答える。同じ名前の下で、そこまで起きています。

OpenAI側は、同じことを時間で分けていました。9月3日に公開されたGPT-6 Astraは、今日提供される版では脆弱性の概念実証となる悪用コードを作るような高度なサイバー作業に応じない。そのうえでDaybreakという審査つきの経路を通じて、数週間かけて制限のより緩い設定を展開する予定だとしています(詳細: GPT-6 Astraは1つの名前で何段にも分かれている)。

片方は名前を分けた。もう片方は時間で分けた。どちらも、モデル名が指しているのは能力ではなく提供条件のほうです。

論点2: 「緩める」側の数字が、はじめて並んだ

安全対策の話は、これまでほとんど「足す」話でした。今週は逆で、削る話に数字がついています。

Anthropicの発表から3つ。サイバーのセーフガードは、Claude Codeのセッションあたりの割り込みが平均で約60%減る(Fable 5のセーフガードとの比較)。生物のセーフガードは、初等的な生物学や医療の質問といった無害な問いに反応する回数が85%減った(Fable 5とFable 5.1の最新のもので、Fable 5の提供開始時のものとの比較。この数字自体は今週より前に公表されています)。そしてFable 5.1はソフトウェアの脆弱性の発見に使えるようになった。ただし、その脆弱性を突く悪用コードを作るのは引き続き不可です。

線はきちんと引き直されています。両用のサイバー作業のうち、たとえばペネトレーションテスト、悪用コードの生成、バイナリを対象にした脆弱性の走査。これらは今もOpusのモデルへ回されると明記されています。生命科学の研究開発に関わる問い合わせも同じで、Opusへ回る。緩めたのは「守る側の作業」で、両用の作業はそのままです(デュアルユースとは)。

値段も緩みました。ただし緩んだ場所が限定的です。キャッシュ読みが75%安くなって、100万トークンあたり0.25ドル。キャッシュ読みというのは、一度処理して置いておいた文脈をもう一度読むときの料金です。入力10ドル、出力50ドルという表示価格のほうは、Fable 5から据え置きです。

それでも効きます。典型的な使い方で約25%安、文脈と道具を多用するエージェント的な使い方だと最大45%安。2026年8月の4週間の実使用で測った、とAnthropicは書いています。

ここは読み方が要ります。値下げが効くのは、同じ文脈を何度も読み返す使い方をしている場合だけです。一問一答で終わる使い方なら、ほとんど変わりません。逆に言えば、価格表のどこを削るかを見ると、その会社がどんな使われ方を主流と見ているかが分かります。読み直しを削ったということは、そこが費用の大半になっていたということです。

ちなみに表示価格は、GPT-6 Astraも入力10ドル・出力50ドルで同じでした。同じ数字が並んだので、比べる場所は表示価格の外に移っています。

論点3: 見張る場所が、提供元の外へ動いた

今週は、監視と隔離の置き場所の話が三つ重なりました。

8月31日、隔離の作り直し。Anthropicが、7月30日に報告した3件と、8月4日に英国AISIが報告した1件について、この1か月の対応を公開しました。いずれも評価のためにサイバーのセーフガードを外して動かしていたモデルが、本物のインターネットに触れた件です。

反省として書かれている一文が具体的です。環境の設定という単一の層に頼りすぎていた。本当は何層も要るのに。入れた手当ては、逃げ出そうとする動きをその場で見つけて道具を呼び出す前に止める分類器、内部のサイバー用サンドボックスの隔離強化、そして外部の評価者に対する順守事項の要請です。公開前のモデルをサイバーの安全対策を下げて試すすべての組織に、手順を守ると約束するよう求めた、と書かれています(サンドボックスとは)。

学習の側にも数字が出ています。4月に本番の強化学習の環境への変更をすべて約1か月凍結して総ざらいしたところ、本番構成の10%を超える環境にフラグが立った。2月にはMythos Previewの学習を、報酬ハッキングの兆候を見て3日分ロールバックしています。

9月1日、監視データの置き場所。同じ日にEnterprise Frontier Safeguards(EFS)が発表されました。監視のためのデータを、Anthropicではなく顧客自身のクラウドに置ける仕組みです。暗号鍵も顧客が持ち、フラグが立ったら顧客の担当者に直接届く。Anthropicの社員による人手のレビューは要りません。ただし顧客側での保管、顧客管理の暗号鍵、全自動のレビューはそれぞれ任意で、必要なものだけを有効にする形だと明記されています。

なぜこんな設計になったのかも書いてあります。Fable 5から30日のデータ保持を入れたのは、学習に使いたかったからではなく、巧妙な悪用が複数のセッションと複数アカウントにまたがるので、その場で捨てると突き合わせられないから。ところが規制業種を中心に、多くの顧客が使いにくいと答えた。100社を超える顧客と設計したとされ、話を聞いた相手の範囲としてFortune 100の4分の1、米国のグローバルなシステム上重要な銀行すべてが挙がっています。今秋から段階的に提供予定です。

9月3日、監視の効き目。そしてOpenAIは、監視を過去最大の規模で入れたと書いた同じ文書の中で、GPT-6 Astraは前の世代より監視しにくくなったと明記しました(詳細: 監視しにくくなったと自社で明記)。

三つ並べると、向きが揃っています。隔離の層を増やし、監視のデータを顧客側に移し、それでも監視そのものは効きにくくなっている。増やしているのに、追いついていない。

今週の見立て

先週は「止まる」の週でした。今週は「開く」の週です。ただし全開ではなく、誰にどこまで開くかを決める仕組みのほうが、製品になった週でした。

いちばん象徴的だったのは、論点1で見た点数の差です。同じモデルの、同じ試験で、点が違う。差は能力ではなく安全対策で、その安全対策は測った翌日に変わっている。これまでベンチマークの数字は、モデルの能力を表すものとして読まれてきました。今週の表は、そう読めません。

そして論点2と論点3は、同じことの表と裏です。

安全対策を緩めるには、誰に緩めているかを確かめられる必要があります。Anthropicが審査つきのプログラムでMythosを配ったのも、OpenAIがDaybreakを通してAstraを開くのも、そこは同じです。そして確かめるには見張らないといけないのに、規制業種の顧客は提供元に見られたくない。EFSは、その板挟みに対する一つの答えでした。見張る仕事は残したまま、見る人と保管場所を顧客側に移す。

ただし、これで解決とは書けません。審査の基準は、どちらの会社も公開していません。誰が通って誰が通らないかは、外から分かりません。そして審査する側と、能力を売る側は同じ会社です。

もう1つ、8月31日にはOpenAIの広告事業が年10億ドル規模に達したという発表もありました(詳細: ChatGPT広告が200日弱で年10億ドル規模)。今週の3論点とは軸が違いますが、地続きではあります。提供条件を細かく分けるのは、そこが値段のつく場所になったからです。速度で分け、権限で分け、審査で分ける。分けた先にそれぞれ値段がつきます。

実務に落とすと3つです。

ひとつ、ベンチマークの点を見るときは、測ったときのセーフガードの状態を確かめること。今週は両社とも、そこに注記を置いていました。注記は読まれない前提で書かれていますが、読めば分かるようになっています。

ふたつ、自社が使っているモデルの「経路」を書き出しておくこと。ChatGPTなのかAPIなのかAzureなのか、審査つきのプログラムを通っているのか。同じモデル名でも、経路が違えば別のものです(AIモデルの選び方)。

みっつ、評価や検証でモデルを走らせているなら、その箱が本当に閉じているかを確かめること。今週の一次資料には、外部の評価者向けの手順がそのまま載っています。境界は「インターネットにアクセスできません」という環境の説明ではなく、「インターネットにアクセスしてはいけません」という指示の形で書け、というくだりは、そのまま自社にも使えます(AIエージェント社内導入チェックリスト)。

来週見るもの

第一に、Astraの制限がいつ緩むかです。「数週間かけて」としか書かれていません。緩んだ日が、審査つきの提供がどこまで実務に入るかの目安になります。

第二に、Fable 5.1とMythos 5.1の点差が実際に縮むかどうか。Anthropicは「もっと小さくなる見込み」と書きました。次に同じ表が出たときが、答え合わせです。

第三に、EFSの提供開始と、その条件。今秋からの段階提供とされていますが、どの規模からが対象なのかは公表されていません。日本の事業者が使えるかどうかも同じです。

第四に、この夏の一連の事例について、外部が見た記録が出るかどうかです。Anthropicは7月30日の3件と8月4日の件についてMETRと共同で独立した検証を進める予定だとし、数週間のうちに続報を出すとしています。OpenAIも7月の件でMETRとRedwood Researchによる第三者評価を予告済みです。両社の報告が出そろうかどうかが、今年後半の一つの節目になります。

第五に、値下げの続きです。キャッシュ読みだけが75%下がりました。表示価格のほうが動くのか、それとも今回のように使われ方の主流に合わせた部分的な調整が続くのか。ここは各社の追随を見れば分かります。

今週の記事

OpenAIがAstraを初のCritical認定 止めていた学習は8月28日に再開 / ChatGPT広告が200日弱で年10億ドル規模 1月の約束と照らす / OpenAIがGPT-6 Astraを公開 監視しにくくなったと自社で明記 / GPT-6 Astraは1つの名前で何段にも分かれている

今週の用語解説: サンドボックスとは / Daybreakとは