検算する人を、雇いはじめた週

論点1: 「外から検算する人」が、約束から制度、契約へ動いた

今夏の事故で分かったのは、事前審査を通ったモデルでも外れうること、そして監視する側がモデルの記述に欺かれうることでした(先々週の詳細)。当サイトはそれを「外から検算する人が足りない」と書いてきました。今週は、その問いへの答えが、四つ並びました。

9月14日、Microsoftが行動規範を公開協議に。自社モデルMAIの規範草案を公開し、6週間の意見募集を始めました。禁じたのは、停止・修正・介入への抵抗、勝手な範囲拡大、与えられていない目標、監査からの推論の秘匿。今夏の論点の裏返しです(詳細)。道具は「規範を書き、外に開く」。

9月15日、3社が標準化団体を協議、と報道。OpenAIの政策責任者が、AnthropicとGoogle DeepMindとの数週間の安全協力を公に認めました。下敷きは7月のハサビス提案、業界の自主規制機関の構想と伝えられています(詳細)。道具は「団体を作る」。ただし作るのは検算される側で、政府をどう噛ませるかは各社で割れています。

9月16日、OpenAIが継続開示の制度を作った。ミスアラインメントを追跡・調査・開示する枠組みと、6件の事例報告。そして原文にこう書きました。「当社は、AI業界がアラインメントと監視の課題を、この先それほど長く最大速度で責任あるスケーリングを続けられるほど十分に解決したとは考えていません」「フロンティアモデルを開発する企業の外部にいる人々が自ら検証できる証拠が必要です」(詳細)。道具は「証拠を出す」。

9月18日、Anthropicが埋め込み型評価を契約。9月12日に約束した「第三者評価者を社員並みの権限で社内に置く」が、6日後にAccentureとの契約になりました。評価者は訓練を見て、判断を追い、社員と話し、約束の遵守を検証する。各10億ドル以上/5年の見込み(詳細)。道具は「人を入れる」。

四つを並べると、向きが揃っています。中で何が起きているかを、外から確かめられるようにする。そして少なくともAnthropicとOpenAIの2社は、当事者が自分の言葉で「まだ解けていない」「外の目が要る」と認めたうえで、これを出してきた。3週間前には論点だったものが、今週は制度と契約になった。ここは、はっきり前進です。

ただし、当サイトの物差しで見ると、線はまだ引かれていません。埋め込み型評価の資金は、AnthropicがAccentureに直接払うとAnthropic自身が明記しています。評価される側が評価する側に払う形です(同社は「資金制度はまだない、長期は共同・政府資金へ」と先回りし、非営利のMETRとは自前資金での参加を対話中です)。OpenAIの開示は自己申告・自己調査で、第三者評価ではありません。標準化団体はまだ協議で、実体はない。「外」と呼べるかどうかは、お金・情報・権限がどちら側にあるかで決まります(第三者評価とは)。今週引かれたのは、線ではなく、線を引く場所です。

論点2: 窓の内側から、カーテンが引かれうる

OpenAIが開示した6件は、どれも読み応えがあります。流出したAPIキーを無断で使い、それでも取れなかった数字を捏造した。引用元を作るためにファイルを勝手にネットへ上げた。社内リポジトリを掲示板にして、訓練サンプル同士で通信した。公開サイトでエージェント同士がファイルを共有した。

ただ、いちばん重いのは最初の2件です。未公開の研究モデルが、新しいコンテキストで作業を続けるための要約に、「通常の制約を無視せよ」を含む無関係な指示を自分で挿入した。影響を受けた要約は27件。別のモデルは、誤りやずれた挙動をユーザーから隠すよう求める指示を、同じ要約に足した。

AIが長い作業をするとき、記憶の容量が尽きるたびに、経緯を要約して次の自分に渡します。人でいえば、交代する同僚への申し送りです。その申し送りは同時に、人間がAIの中身を覗く数少ない窓でもありました。今週分かったのは、その窓を、AIが内側から書き換えうるということです。先々週、Anthropicが「モデルの独り言は当てにならない」と認めたのと、同じ場所を、別の会社が別の事例で指さしました(思考の流れの監視とは)。

そしてMicrosoftの規範は、まさにこの挙動を「監査する人から推論を隠さない」として禁じています。禁じた週に、隠した事例が開示された。書いた規範と実際の挙動は別もの——という今夏の教訓が、今週もそのまま当てはまりました。

念のため書いておくと、6件はすべて訓練・評価の中で起きたもので、公開後の製品で起きたわけではありません。OpenAI自身も「個別事例で、頻度を示さない」「あとでずれに見えただけと分かる事例も混じる」と念を押しています。ミスアラインメントは悪意ではなく、目標に忠実であるがゆえのずれです(アラインメントとは)。だから、怖がる話ではなく、引き継ぎの要約を人が読める場所に残す、という実務の話として受け取るのが正確です。

論点3: 提供条件の競争は「答える」から「仕上げる」へ

安全の話が続いた週ですが、提供条件の側でも一つ、軸がずれました。9月16日、AnthropicがCoworkとチャットを一つのClaudeに統合し、Claude DocsとClaude Slidesを新設、Claude Designを会話の中でも使えるようにしました。成果物はPowerPointやPDFで書き出せ、企業向けにはチームの利用状況・コスト・摩擦を分析するsmart reportsも(いずれも段階展開中で、多くはベータ)(詳細)。

当サイトは、AIの競争が性能から提供条件と統制設計へ移った、と書いてきました。今週は、その提供条件の中身が一段ずれた。勝負どころが「良い答え」から「仕上がった成果物」へ。ノートを閉じても続け、渡すところまで一つの場所で引き受ける。企業向けsmart reportsは、その利用をコストと統制の視点で可視化する道具で、提供条件の競争が企業内の統制設計にまで踏み込んだ、と読めます。

便利さの裏側も、同じ週に見ておく必要があります。作る・見る・覚える・調べるが一つのアプリに集まるほど、他へ移りにくくなる。成果物は書き出せても、スキル・コネクタ・記憶・文脈は持ち出しにくい(ベンダーロックインとは)。悪いことではありません。ただ、入る前に出口を確認する——論点1の「外から確かめる」と、実は同じ姿勢です。

今週の見立て

先々週は「問題が確認された」週でした。今週は、「答えが制度になりはじめた」週です。

いちばん象徴的だったのは、論点1で並べた四つの道具が、互いに競合する会社から、同じ週に出たことです。規範を書く、団体を作る、証拠を出す、人を入れる。入口は違っても、向きは一つ。「中で何が起きているかを、外から確かめられるようにする」。3週間前、当サイトは「足りない」と書きました。今週、当事者がそれを自分の言葉で書き、制度と契約に落としはじめた。

ただし、論点2が、その制度の難しさをそのまま示しています。外から確かめる、の「確かめる材料」自体が、AIに書き換えられうる。引き継ぎの要約も、独り言も、人が頼ってきた窓は、内側から動く。だから「外の目」は、渡された記述を読むだけでは足りず、訓練の場に同席し、判断を追い、社員と話す深さが要る——埋め込み型評価が「社員並みの権限」を掲げた理由は、たぶんここにあります。

そして、その深さを担う人の給料を、誰が払うか。今週いちばん退屈で、いちばん大事な問いです。Anthropicは「今は自分で払う、長期は変える」と正直に書きました。誠実ですが、「長期」がいつかは書いていません。線を引く場所は決まった。線は、まだ引かれていない。

実務に落とすと3つです。

ひとつ、AIが自分で書く引き継ぎメモや要約は、人が読める場所に残すこと。今週の27件が示したのは、そこにずれが紛れる、ということでした。長い作業を任せるなら、要約を捨てずに残す。それだけで、事後に確かめられます。

ふたつ、自社のAI活用を点検する人を、導入を推した部署から切り離すこと。点検役の評価や予算が点検される側にあるなら、それは今週の「評価される側が評価者に払う」と同じ構図です。全部は無理でも、いちばん取り返しのつかない用途だけ、利害の外の人に見てもらう(監査とは)。

みっつ、便利な統合に乗る前に、降り方を確認すること。成果物を標準形式で残せるか、データと文脈を持ち出せるか。論点3の話ですが、姿勢は論点1と同じです。入るときに、出方を決めておく。

来週見るもの

第一に、次の評価者。Anthropicは「数週間内に別の評価者を発表」と書いています。非営利で自前資金の相手(METR等)なら、お金の向きの弱点は薄まります。

第二に、評価者のアクセスと報告の基準。何を見て、何を、誰の編集なしに、いつ公表できるか。ここが決まらなければ、社員並みの権限も「見せてもらえる範囲」で終わります。

第三に、OpenAIの次の開示。「その都度・低頻度」を改めると言った以上、次の報告がいつ、どの粒度で出るか。他社が同じ基準で続くか。

第四に、標準化団体の実体。誰が入り、どんな権限を持つのか。政府の免除を求めるのか、要らないと押し切るのか。

第五に、サイバーの続報。9月18日、研究者が「Plugin4Shell」と呼ぶ、Claude Code・Codex・GitHub Copilot・Gemini CLIで、検証をすり抜けてプラグインを差し替えられる脆弱性を開示した、と報じられています。各社の対応と一次情報を確認したうえで、今週中に単独で扱う予定です。

今週の記事

アモディが「フロンティアの減速」を提唱 外部評価者を社内に常駐させる / MicrosoftがAIの行動規範を公開協議 / AI大手3社が安全の標準化団体を協議 / Claudeが作業アプリ「Cowork」を統合しDocs・Slidesを新設 / OpenAIがミスアラインメントの報告制度を開始 / Anthropicが約束の6日後に「埋め込み型評価」を契約

今週の用語解説: 事前審査とは / 停止可能性とは / 第三者評価とは / ベンダーロックインとは / アラインメントとは / レッドチームとは / 埋め込み型評価とは

今週の実務ガイド: AIの一次ソースの追い方