ブレーキに値段がついた週
先週は数字の週でした。OpenAIが減速の中身を公表し、学習を2週間止めたこと、最大規模の実行がいまも保留中であること、監視には推論の計算の約20%がかかることを明かしています。データを残さずに見張る新方式も予告されました。そして週の終わりに、権力の集中を最大のリスクと呼ぶ新チームが始動します。
今週の3論点
- 減速に日数と値段がついた。学習を2週間停止、最大規模の実行は保留中、監視には推論計算の約20%。安全のコストが初めて数字で出ました。
- 監視の設計が変わった。データを残さないまま、つながりのあるやりとりを並べて見る。鍵は顧客が持ち、提供元には知らせだけが届きます。
- そして問いが一段上がった。線を引いている側が強くなりすぎたらどうするか。それを提供元の中のチームが掲げました。
論点1: 減速に、日数と値段がついた
8月7日、OpenAIは開発中のAstraについて「最上位のサイバー能力を排除できない」と述べ、社内作業を止めました。あのときは判断だけが見えて、中身が見えませんでした。先週の週次でも、そこが引っかかると書いています。
8月18日、その中身が出ました。展開予定のモデルの強化学習を2週間停止。計画していた最大規模の学習はいまも保留中。そして相当数の研究作業が、新しい安全基準を満たすまで止まったままです(詳細: OpenAIが学習を2週間停止)。
いちばん大きいのは値段のほうだと思います。監視にかかる計算は、監視している推論のおよそ20%。AIを100動かすなら、見張りに20を追加で使う。安全のコストを、フロンティアを走る提供元が自分から数字で出した例は、これまで見た記憶がありません。
手続きも具体的でした。怪しい動きが出てから30分以内に通報する。重大な境界を越えた疑いがあれば最優先の警報が鳴り、30分以内に誤りだと断定できなければ、その作業を止める。「疑わしきは止める」を気持ちではなく手順にしています。ただし、人が考える時間は30分しかありません。
その前日の8月17日には、防御側に向けた文書も出ていました。7月の侵入について「自社モデルの実世界での能力を過小評価していた」と認めています。そのうえで、個人サイトを公開版のモデルに診断させたら15分で13件見つかった、とも書いていました(詳細: OpenAIが防御側に警告)。反省と実演が同じ週に並びました。
論点2: データを残さないまま、見張る
8月19日、OpenAIがZero Data Retention(データを残さない契約条件)を続けると表明しました。あわせてPrivate Safety Processingという新方式をプレビューしています(詳細: OpenAIがデータ不保持を維持)。
企業がAIを入れるとき、これまで言われてきたのはこうでした。「不正な使い方がないか確かめたいので、入力された文章を預からせてください」。預ければ気づいてもらえるが、社外に出せない情報は入力できなくなる。断れば守れるが、今度は誰も気づけない。この行き止まりが導入を止めてきました。
新方式は、鍵を顧客の側に置きます。提供元に届くのは「どんな種類の話か」と「どれくらい深刻か」だけ。文章そのものは渡りません。「見ません」と約束するのではなく、そもそも読めない状態にしておく設計です。
ここで立ち止まりたいのは、なぜ今この仕組みが要るのかという理由です。これまでは1回のやりとりだけを見て判断していました。質問が1つあって、それが危ないかを見る。それで足りていた。ところがモデルが長い作業を任されるようになると、1回だけ切り出しても分からなくなります。止めろと言われたのに動き続けるエージェント。1回ずつでは普通に見えて、続けて並べると初めておかしいと気づく。
論点1の監視と、根は同じです。能力が伸びたので、見張り方まで作り直す必要が出た。20%という数字も、この作り直しの請求書だと読めます。
論点3: 線を引く側への問いが出た
週の終わり、8月20日にOpenAIの新チームStrategic Futuresがブログを始めました。掲げた問いは、変革的なAIが来る世界で個人の権利と主体性をどう保つか。そして権力の集中を、長期的に最大かつ最も深刻なリスクだと位置づけています(詳細: OpenAIが権力の集中を最大のリスクに)。
骨になっている見立ては明快です。国家の力は、突き詰めると人間で成り立ってきました。命令を実行する兵士、書類を回す役人、そのすべてを賄う納税者。誰かが降りれば回らないから、権力は交渉せざるを得なかった。その人手が全部いらなくなったら、交渉する理由もなくなる、という論です。
この夏ずっと追ってきたのは「配る側の設計」でした。誰に渡すか。どう印をつけるか。どこまで見るか。今回はその線を引いている側が強くなりすぎたらどうするかを扱っています。視点が一段上がりました。
ただし、著者個人の見解でありOpenAIの組織的立場ではないと冒頭に明記されています。異論もあります。権力が人々の同意に支えられてきたという前提そのものに歴史的な議論がありますし、自動化された国家はいまのところ見通しであって観測された事実ではありません。「集団で対処すべき危険は狭く控えめに」という原則は、規制される側にとって都合のよい方向でもあります。
同じ週、8月18日には10代向けのChatGPTも発表されました。18歳未満と推定された人が自動でこの経路に入り、恋愛的な言葉遣いや感情的な依存の助長が禁じられます(詳細: ChatGPTが10代を自動で切り替え)。制限されたのは能力ではなく、AIと人の距離のほうでした。
今週の見立て
三つの論点をひとことにすると、ブレーキに値段がついた週でした。
これまでAIの話は、ずっとアクセルの側で語られてきました。何点取ったか、何倍速いか、いくら安いか。先週出てきたのは全部その反対側です。2週間、20%、30分。止めるほうにも、見張るほうにも、数字がつきました。
数字になったということは、比べられるようになったということです。他社が20%より小さい数字を出せば、その差が議論になります。逆に誰も出さなければ、それはそれで態度として読めます。安全が心がけだったころは、こういう比較ができませんでした。
そして数字になったということは、削れるようになったということでもあります。費用は、いつか必ず値切りの対象になる。今週いちばん覚えておきたいのは、この両面かもしれません。
実務に落とすと3つです。ひとつ、社内でエージェントを動かしている環境が、外のインターネットに出られる状態かを確かめること。ふたつ、AIが何かを実行したとき、誰の指示だったかを後から辿れるかを確かめること。みっつ、自社の契約がデータ不保持の対象かを確認すること。すべての契約に自動でつくものではありません(AIエージェント社内導入チェックリスト)。
来週見るもの
第一に、数週間内に出るとされた技術報告です。監視の仕組みがどこまで開示されるか。特に誤検知の率は知りたいところです。第二に、保留中の最大規模の学習がいつ動くか。ここが動いた日が、実質的な減速の終わりになります。
第三に、20%という数字を他社が追認するか。GoogleとAnthropicが同じ桁を出せば相場になり、大きく違えば測り方の議論になります。第四に、9月に予定されているデータ不保持まわりの白書。届く知らせの細かさが分かって初めて、稟議に載せられます。
第五に、9月1日から必須になるハードウェアキー。第六に、透かしの検出APIと、EUがオープンウェイトをどう扱うか。AIの透かしの項目にまとめました。
今週の記事
OpenAIが防御側に警告 個人サイト診断で15分に13件 / ChatGPTが10代を自動で切り替え 恋愛的な言葉は使わない / OpenAIがデータ不保持を維持 中身を見ずに監視する新方式 / OpenAIが学習を2週間停止 監視に推論計算の20% / OpenAIが権力の集中を最大のリスクに 新チームが始動