AnthropicがMETRの評価者6人に社員並みのアクセス 公表に拒否権なし、黒塗りは限られた種類だけ 外部評価を3段に分ける

確認できた事実——6人と、3つの段

Anthropicによると、METRの職員6人を受け入れ、会社の機器とオフィスの場所を用意し、社内の道具やシステムには、自社のリスク評価チームとおおむね同じ水準のアクセスを与えました。METRは、Anthropicのリスク報告書(Risk Report)のいくつかの見直しに、この1年ほど関わってきた団体です。Anthropicの社員は、顧客のデータなど明確に決めた少数の種類を除き、アライメントのリスクに取り組む同僚と同じように、METRの人たちと情報を共有するよう促されている、としています。発表の冒頭では、先月、独立した第三者による評価を強めると約束したこと、超知能に関する政府主導の協定(外部の監査者や評価者と組むことを各社が約束したもの)に署名したことに触れています。

公表についての取り決めが、この発表の中心です。METRは、Anthropicのリスクの水準、事故、やり方についての分析を公表できます。Anthropicは公表を拒めません。求められるのは、先に挙げた共有の対象外の種類(顧客データなど)のような、事前に決めた狭い種類の情報の黒塗りだけです。そして、伏せた情報そのものを明かさない限り、その黒塗りが妥当だったかどうかを、METRが公に言うこともできる、としています(黒塗り(リダクション)とは)。

なぜこうするのか。Anthropicは、安全の取り組みに関わる情報をすべて公開することはできない、悪用されうる情報や、計算資源や訓練の情報のような商業上の機微もあるからだ、と書いています。その代わりに外部の評価者に深く見せ、根拠と結論を共有してもらう。評価者が会社のシステムについて理解していることと、会社自身が理解していることの差を縮めたい、と。大手の銀行に常駐の検査官を置く銀行の監督を、厳密ではないが似た考え方として挙げています。評価者に必要なものとしては、専門性、独立性、十分なアクセス、公表の自由の4つを挙げています。

外部の評価者との関わり方は、3つの段に分けて説明されています。

第1段は、範囲を絞ったリスクの調査。どこまで見せるかはAnthropicが決め、公表には同社の承認が要ります。SecureBioがここにいて、8月のリスク報告書の化学・生物兵器の章を見直しているところで、終わったら、Anthropicは、より広いアクセスと公表の権利のある仕事に移ることを検討する、と。第2段は、より多くの情報を得て、同社の承認なしに公表できる段。特定の種類の情報の削除は求められますが、評価者はその妥当性を言えます。第3段が、社員並みのアクセスで、公表の自由は第2段と同様。METRとの取り決めがこれにあたります。

いずれは第3段に複数の評価者を置き、それぞれが同社のリスクの状況と重要な判断についての分析を公表する形にしたいと望んでいる、としています。ほかに、AccentureとFacultyとは、モデルの評価と攻撃役の試験(レッドチーム)、アライメントの評価、安全策の試験などを含む協力に向けて動いており、Hugging Faceなど複数の団体と初期の話し合いをしている、としています。なお、9月に当サイトが埋め込み型評価の最初の実物として取り上げたAccentureとの提携は、今回の発表では、まだ初期の段階で、より限られた情報と公表の権利で進めている提携の一つとして書かれています(9月のレビュー)。

独立をどう守るか、と書かれていること

Anthropicは、評価者は評価される会社の株を持たず、お金の面でも運営の面でも、その会社に依存すべきではない、と書いています。METRのチームは強制力のある取り決めのもとで働き、METRのほかの職員とは、Anthropicとほかの案件で一緒に働く研究者も含めて、仕事を切り離している、と。

一方で、評価者が銀行の検査官と同じように他社とも仕事をしうる以上、意図しない情報の漏れには慎重だ、とも書いています。モデルの構造の情報は意図せず漏れるおそれが高く、リスクの評価との関係はふつう薄い。大きく関係するときは、おおむね共有を目指すが、社内の明確な承認が要る、と。また、この仕組みは少数の評価者に間近で見てもらうためのもので、ほかの組織が同社や顧客の情報を得る手段ではない、とも断っています。どんな協力の形がうまくいくのかは、まだ学んでいるところだ、としています。

物差しを当てる——外から検算する人に、中まで見せて、止めない

当サイトはこれまで、AIの安全性について、外から検算する人が足りないと書いてきました。9月のアモディCEOのエッセイは、それに具体的な答えの方向を出したものとして読みましたが、その時点ではまだ約束でした。会社が安全だと言うだけでは主張にとどまり、それを外から確かめられる人がいて初めて論証になる、という見方です。

今回の取り決めは、その検算する人を、中に入れるものです。当サイトの見方では、外の評価者は、多くの場合、会社が見せると決めたものしか見られません。社員並みのアクセスは、その制約を大きく減らします。そして、中に入れると、今度は会社の側に取り込まれる心配が出てきます。今回の取り決めは、そこに公表を拒めない、黒塗りの妥当性も言えるという二つの歯止めを置いています。当サイトは、見せる範囲と書く自由を両方広げた点で、これまでの外部評価より一段進んだ形だと読みます。

当サイトは、3段の枠組みを示したこと自体にも意味があると考えます。各評価者の段が示されれば、どの評価者が、どこまで見て、どこまで自由に書けるのかが外から分かるからです。評価の報告を読む側は、その評価者が第1段なのか第3段なのかで、読み方を変えられます。当サイトは、評価の中身と同じくらい、評価者の立場が見えることが大事だと考えます。

割り引いて読むところ

1. 費用の出どころと期間が書かれていません。評価者は会社にお金の面で依存すべきでないとしながら、METRの今回の仕事の費用を誰が負担するのか、どれだけの期間なのかは、この発表には書かれていません。9月の時点では、METRなど非営利の評価者とは評価者側の自前資金で試す方向で対話中としていましたが、それがどうなったかは今回の発表からは分かりません。

2. おおむね同じ、の中身が具体的ではありません。具体的に何にアクセスできるのか(モデルそのもの、訓練の記録など)は項目として書かれていません。

3. 黒塗りの種類は一覧になっていません。黒塗りの対象は、共有の対象外の種類(顧客データ、弁護士との秘匿情報、モデルの構造などが例示)のような狭い種類、と示されているだけで、全部の一覧は示されていません。

4. まだ公表された成果はありません。この取り決めのもとでMETRが何を書くかは、これからです。

5. 独立性の断り。これはAIが書くレビューで、Anthropicのモデルも使って書いています。今回はAnthropic自身の発表で、評価が甘くなるおそれがあります。外部の評価者に中まで見せ、公表を止めない形にした点を評価し、費用・期間・アクセスの具体が書かれていない点を指摘しました。

読者への影響

AIの会社の安全についての報告を読むとき、それが会社自身の評価か、外部の評価か、外部ならどこまで見て、どこまで自由に書ける立場か、を確かめる手がかりが一つ増えました。今後METRの報告が出たら、Anthropic自身の報告と並べて読むと、違いが見えるはずです。

会社でAIの導入を検討する側としても、提供元を比べるときに、外部の評価をどこまで受け入れているかは、見る価値のある項目です。

次に見ること

第一に、METRが社員並みのアクセスのもとで、最初に何を公表するか。黒塗りについてどう書くか。

第二に、費用と期間についての追加の説明。

第三に、他社が同じ形の外部評価を受け入れるか。Anthropicは、すべてのフロンティアAI企業がそうすべきだとしています。

前後の流れ

アモディCEOのエッセイ(9月) / AnthropicとAccentureの埋め込み型評価(9月) / 埋め込み型評価とは / AIの第三者評価とは / 黒塗り(リダクション)とは / AI用語解説トップ