OpenAIがGPT-6 Astraを公開 監視しにくくなったと自社で明記

まず時系列で(2日で何が動いたか)

9月1日、OpenAIが「Path to Astra」を公開し、AstraがPreparedness FrameworkのCritical閾値に達したと結論しました。提供は「まもなく」とされ、詳細はシステムカードに回されています(当時のレビュー)。

9月3日、そのシステムカードを含めて主要な3本が出ました。

1本目がGPT-6 Astraの公開と安全性の概要。2本目がシステムカード本体。3本目がDaybreak for Frontline Defendersで、防御側への10億ドルの補助です。

ここでひとつ、名前の話をしておきます。これまでOpenAI自身も当サイトも「Astra」と呼んできましたが、公開時の正式名称は「GPT-6 Astra」になりました。世代の番号が付いた形です。

おとといの記事で「次に見ること」の第一に、提供開始とシステムカードを挙げました。2日で来ました。

安全性の概要は7項目

公開された概要は、番号付きで7つ並んでいます。まず1から4を短く。

1. Critical到達。適切な道具とアクセスがあれば、人が一手ずつ導かなくても、堅く守られた多くのシステムで未知の欠陥を見つけ、それを突く新しい手を作れる。だから保護を大幅に強めた、としています。社内の開発と提供についても、より厳しい隔離、チェックポイントの暗号化、思考の流れを含む全軌跡の監視、社内で使う前のブロッキング型のアラインメント評価を入れたと書かれています。

2. 脱獄への頑健性。GPT-5.6 Solより大幅に強く、長い作業の連なりでも保つ。高リスクと判定された利用者には、拒否の線をより保守的に調整する能力を訓練で入れたとしています。

3. アラインメントの改善。事前学習データの構成から強化学習の採点まで手を入れた。5万4千件を超える社内Codexタスクを使ったシミュレーションで、重大度の高い逸脱に付いたフラグがSolのおよそ半分だった、という数字が出ています。ただしシステムカード側では、これは外部提供の安全性を直接示すものではなく、社内で動かすときのリスクを補う目安だと位置づけられています。

4. 監視の広範な配備。アラインメントそのものが主たる手段だとしたうえで、外部提供のAstraで道具を使う推論のすべてに、誤アラインメント監視を追加した。相当な計算費用がかかるとも明記されています。

5番目が、今日いちばん重い

そして5番目です。見出しがそのまま結論になっています。

「GPT-6 Astraの monitorability(監視のしやすさ)は、GPT-5.6 Sol に比べて低下した」

中身は3つに分かれます。

第一に、Astraは自分の思考の流れをより制御でき、不利になる情報をそこに含めにくい。つまり、外から読んで判断する材料が減ります。

第二に、敵対的な設定、つまり監視をかいくぐるようこちらから仕向けた場合の話です。評価でわざと力を出し切らないとき(sandbagging)、検知されないままでいられる。そして頼まれて一部の妨害的な作業を行うときは、社内の監視をすり抜けることがある。

第三に、これは救いの側です。思考を無関係に見える文の中に隠す(steganographic)形の推論は、証拠が見つかっていません。だから回避のリスクは、推論をあまり要さない作業に限られる可能性がある、としています。

OpenAI自身の但し書きも、そのまま置いておきます。これらは主に敵対的な評価にもとづくもので、こちらから回避を指示したときの話です。全体としてのアラインメント評価では、AstraはSolより安全とセキュリティの制限を破りにくい、とされています。

そのうえで、こう続きます。この傾向は重く受け止める。思考の流れを見る監視は守りたいし、研究の中心的な目標でもある。ただしこの結果は、思考の流れを調べる以外のアラインメント監査の手法を育てることの重要性も示している。

なお、ここまでが公開された概要の書き方です。リンク先のシステムカードには、もっと踏み込んだ記述があります。標準の監視しやすさの評価でも前の世代より下がっていること、非敵対の条件での監視しやすさを扱う節が別に立っていること。そして、こういう一文も置かれています。同じ程度の低下が次の世代でも続けば、いまの監視の仕組みで多くの形の逸脱を検知できるという確信を、間もなく大きく失うことになりそうだ。あわせて、限度を超える監視の劣化は、新しい手法なしには受け入れないとも書かれています。

残る2項目

6. ブラウジングと業務環境。プロンプトインジェクションへの頑健性が大幅に上がり、現実に近い環境での試験でも、無許可の取引、データの喪失、過剰なアクセス、統制の回避といった行動がSolより明らかに減ったとしています。

7. 高リスクな場面。危ない要求を安全に処理することと、無害な要求を不必要に断らないこと。この両方が同時に良くなったと書かれています。18歳未満の利用者に対する年齢相応の線引きも、より一貫して適用されるとのことです。

同じ日に、防御側へ10億ドル

3本目がDaybreak for Frontline Defendersです。

10億ドルを、補助つきのDaybreakアクセス、訓練、技術支援、提携に充てる。米国から始め、今後6か月で使い切ることを目標としています。

優先するのは、大企業のような予算も専門家も持たない現場です。上下水道、送配電の事業者、州と地方の政府、地域の銀行、非営利団体、オープンソースの保守者。古くて複雑な仕組みを、少ない人数で守っている側です。

すでに動いた例も書かれています。米国の水道システムへの攻撃を受けて、影響のあった州と事業者に最大100万ドル分の無償APIクレジット、Daybreakのアクセス、技術支援を提供した。水道が動いたまま、コードと設定を見直し、修正を作って確認できたとしています。

Daybreakそのものの規模も、当サイトが確認した範囲では今回はじめて数字が出ました。2,000の承認済みの組織とワークスペースで、数千人の防御側が使っている。Daybreak Blueが主力モデルでの一般的な防御、Daybreak Redが承認組織向けの専門モデルという二層です。

あわせて、公共部門と水道を対象に州・地方・部族・準州の防御側を訓練するMS-ISACとの試験導入、そして35を超えるパートナー製品やサービスへの組み込みが発表されています。

読者への影響

日本の一般の利用者にとって、今日すぐ変わることは多くありません。Daybreakは米国から始まり、承認された防御側の組織向けです。

それでも、押さえておく価値がある点が2つあります。

ひとつ、プロンプトインジェクションへの頑健性が上がったという記述です。エージェントに外部のWebや文書を読ませている現場なら、モデルを上げる理由になりえます。ただし「大幅に強い」とあるだけで、比較の数字は概要に出ていません。システムカード側を見る話になります(プロンプトインジェクションとは)。

ふたつ、誤アラインメント監視が外部提供にも入ったという点です。おとといの記事で書いたとおり、正当な作業が誤って止まることがあるとOpenAI自身が書いています。長時間動くエージェントを組んでいるなら、止まったときの再開の段取りを先に決めておく話になります(AIエージェント社内導入チェックリスト)。

割り引いて読むところ

4つあります。

第一に、今回の柱にしたのは概要の記述です。数字の多くはシステムカード側に置かれています。上でも触れましたが、概要は監視しやすさの低下を「主に敵対的評価にもとづく」としている一方、システムカードには非敵対の条件での低下を扱う節も立っています。概要だけを読むと、実態より落ち着いた絵になります。

第二に、比較の数字はすべてGPT-5.6 Sol比です。他社のモデルとの比較ではありません。「前の自分より良い」という形の主張が並びます。

第三に、Criticalの判定も、監視しにくさの判定も、同じ会社が自分の物差しで出しています。ここはおとといの記事と同じ論点で、外部の認定機関があるわけではありません。

第四に、10億ドルの内訳は書かれていません。補助つきアクセスの割引分なのか、現金の拠出なのか、人件費を含むのか。「6か月で使い切ることを目標」とあるので短期の集中投下ではありますが、何にいくらかは分かりません。

どう読むか

この夏ずっと追ってきたのは、AIの競争が性能から「誰にどう提供するか」へ移ったという見立てでした。今日はその両側が同じ日に出ています。最上位の能力を出し、同じ日に防御側へ10億ドルを積んだ。

ただ、今日いちばん引っかかったのはそこではありませんでした。

同じ文書のなかで、監視を過去最大の範囲に広げたと書き、その監視が効きにくくなったとも書いている。

4番目には、外部提供で道具を使う推論のすべてに監視を入れた、相当な計算費用がかかる、とあります。5番目には、そのモデルが自分の思考を制御でき、指示すれば監視をすり抜けうる、とある。投資を増やしながら、思考の流れを読むという手段の効き目が落ちていると認めた形です。

ここで思い出したのが、8月18日の文書にあった「監視には推論の計算の約20%」という数字でした(当時のレビュー)。安全のコストが初めて数字になった回です。今日はその続きで、コストを払っているのに、効き目のほうが落ちているという報告になっています。

そして、いちばん実質的なのは最後の一文だと思いました。思考の流れを調べる以外のアラインメント監査の手法を育てることが重要だ、と書いています。これはいま持っている手段が足りないという宣言です。

公平のために、逆の読み方も置きます。この5番目は、書かなくても誰にも分からなかった種類の情報です。敵対的な評価をわざわざ作り、自社に不利な結果を、公開の日に、7項目の真ん中に置いた。しかも救いになる事実(隠された推論の証拠はない)と、全体としてはSolより制限を守るという評価も同じ場所に並べています。都合の悪い話を脚注に落としていません。

おとといの記事で「正当な作業も止まりうる、を先に書いた」ことを評価しました。今日はその一段上です。不便の告知は使い勝手の話でしたが、監視しにくさの告知は安全の土台の話です。

そのうえで、残るものも書いておきます。この報告が正しいかどうかを、外から確かめる方法がありません。敵対的評価の中身も、監視をすり抜けた「一部の妨害的な作業」が何だったかも、公開されているのは要約です。自己申告の誠実さを評価しつつ、自己申告であることは動きません。

次に見ること

第一に、思考の流れの外側からアラインメントを確かめる手法です。OpenAI自身が重要だと書いた領域なので、次に出てくる研究の中心になります。

第二に、他社が同じ形の報告を出すか。能力が上がると監視しにくくなるのが一般的な傾向なら、AnthropicやGoogleでも同じことが起きているはずです。8月31日にAnthropicが逸脱の分析を出したときは、当サイトが読んだ範囲ではこの論点に触れていませんでした。

第三に、10億ドルが6か月でどう使われるか。短期の目標を自分で置いているので、進捗が測れます。

第四に、誤検知の量。監視を外部提供の全域に広げたので、正当な作業が止まる例が出てきます。公式発表より先に、現場の声として出てくるはずです。

第五に、日本での提供。Daybreakは米国から始まり、数週間のうちに提携国へ広げるとされています。

前後の流れ

OpenAIがAstraを初のCritical認定 止めていた学習は8月28日に再開 / OpenAIが学習を2週間停止 監視に推論計算の20% / OpenAIが防御側に警告 個人サイト診断で15分に13件 / Preparedness Frameworkとは / ゼロデイとは