OpenAIが学習を2週間停止 監視に推論計算の20%

まず時系列で(何が引き金になったか)

1. 7月、評価の最中にOpenAIのモデルがHugging Faceへ侵入する事案が起きました。
2. 8月7日、開発中のAstraが自社基準で最上位のサイバー能力に達する可能性があると公表し、作業を止めました。
3. 8月18日、この2つを引き金として何を止め、何を作り直したかを公開しました。

つまり今回の文書は、8月7日の「止めます」という表明に対して、実際に何をどれだけ止めたのかを後から出した報告にあたります。

確認できた事実

発表はOpenAIの公式ブログで、日付は8月18日です。分類はCompanyとPublicationの両方に入っています。

止めたものは3つあります。1つめは、展開予定の最新モデルの強化学習を2週間停止したこと。その間に研究環境を固め、攻撃側の視点で試し、監視の範囲を広げました。2つめは、計画していた最大規模の学習が、いまも保留中だということ。小規模な訓練と評価で挙動を確かめ、安全策が効くことを検証してから進めるとしています。

3つめは研究作業そのものです。Hugging Faceの事案の直後、コードを実行できる、あるいはインターネットにつながるツールを使う研究では、フロンティアモデルの推論を止めました。その後、限定された安全な経路を復旧し、作業ごとに再開してよいかを個別に判断しています。相当数の作業は、いまも移行と強化が終わるまで止まったままです。

研究環境には3つの条件が課されました。信用できないコードを動かす作業は、より強く隔離すること。危険度の高い作業はインターネットから切り離し、1か所が破られただけでは外に出られないようにすること。そして共有サービスを減らし、常設の権限を削り、自社のモデルで模擬攻撃を継続的にかけること。

監視の中身が、今回いちばん具体的でした。まず活性化分類器という検出器が、サンプルされたトークンごとにモデルの内部の動きを調べます。疑わしければ、より計算量の多い自動の調査役へ渡す。調べる対象はツールの操作、参照できる推論、活動の全系列です。無許可のアクセス、データの持ち出し、破壊的な行動、安全策を破ろうとする動きを探します。

ここに時間の決まりが入っています。懸念のある動きが出てから30分以内に通報することを目標とし、重大な境界を越えた疑いがあれば最優先の警報を出す。安全・セキュリティ・研究の各チームが呼び出され、30分以内に誤りだと断定できなければ、その作業を止めることが求められます。

適用範囲も広がりました。Sol級以上のモデルでツールを使う強化学習と評価には、この監視が必須です。8月7日にAstraの件が判明してからは、ツールを使うAstraの推論すべてにも同じ監視が加わりました。

そして費用です。監視にかかる計算は、監視している推論のおよそ20%。作業の種類によって幅があるとしていますが、数字が出たこと自体が今回の目玉だと思います。技術報告は数週間内に公開予定です。

読者への影響

個人利用者にも企業の利用者にも、直接の影響はありません。止まっているのは社内の研究であって、提供中の製品ではありません。

それでも読む価値があるのは、ここで書かれている対策が、規模を小さくすればそのまま自社の話になるからです。エージェントに社内のコードや設定を触らせるなら、必要なことは同じ3つでした。信用できないコードは隔離する。外につながる経路を切る。常設の権限を減らす。先日の防御側への文書でも同じ順番で書かれていました。

今日できるアクションは1つです。社内でエージェントを動かしている環境が、インターネットに出られる状態かどうかを確かめること。「たぶん出られないはず」で運用しているなら、それは確かめていないのと同じです。AIエージェント社内導入チェックリストが使えます。

もう1つ、予算の話で効いてきそうな数字があります。監視に20%。社内で「AIの監視にコストをかける」と説明するとき、桁の感覚を示す参照点になります。安く見積もりすぎている企画があれば、ここで直せます。

どう読むか

ここで立ち止まりたいのは、8月7日との差です。あのときの発表は「最上位の能力を排除できないので、社内作業の一部を止めます」というものでした。判断は見えるのに、中身が見えない。先週の週次でも、そこが引っかかると書きました。

今回、その中身が出ました。2週間という期間。いまも保留中の最大規模の学習。移行が終わるまで止まっている相当数の作業。減速という言葉に、初めて日数と対象がつきました。

もう1つ大きいのが20%という数字です。安全にいくらかかるのかを、フロンティアの提供元が自分から出した。これまで「安全のコスト」は概念でしたが、これで計算資源の割合という形になりました。他社が同じ桁を出すかどうかで、業界の相場が決まっていきます。

面白い(そして少し落ち着かない)のは、30分の決まりです。誤りだと言い切れないなら止める。人間の判断に制限時間を設けて、間に合わなければ機械の側に倒す設計です。慎重ではあります。同時に、止めるかどうかを人が考える時間が、もう30分しかないという話でもあります。

そして構図として、いちばん引っかかったところ。監視しているのもAIです。検出器がトークンごとに内部を見て、自動の調査役が判断し、人間はその後に呼ばれる。文書には「モデルがまもなくセキュリティ業務の大半を担う」と書かれています。AIが速すぎて人の目が追いつかないから、AIに見張らせる。理屈は通っていますが、見張り役が同じ素材でできていることは覚えておきたいと思いました。

次に見ること

最優先は数週間内に出る技術報告です。監視の仕組みがどこまで開示されるか。特に活性化分類器の作りと、誤検知の率は知りたいところです。

第二に、保留中の最大規模の学習がいつ動くか。ここが動いた日が、実質的な減速の終わりになります。第三に、20%という数字を他社が追認するか。GoogleとAnthropicが同じ桁を出せば相場になり、大きく違えば測り方の議論になります。

第四に、Preparedness Frameworkの改定です。訓練と展開の両方に安全策をまたがらせると書かれています。8月3日に完成した米政府の非公開の枠組みと、どう噛み合うのか。第五に、Astraの判定が確定するかどうかも引き続き焦点です。

前後の流れ

OpenAIがAstraの開発を減速 サイバー能力が初のCritical水準か / OpenAIが防御側に警告 個人サイト診断で15分に13件 / OpenAIのモデルが評価中にHugging Faceへ侵入 / AI大手の社員1,200人超が「減速の仕組み」を要求