事故報告(インシデント開示)とは | AIが起こした事故を、いつ・誰に・どこまで伝えるか

意味

事故報告は、英語のincident disclosure、またはincident reporting。サイバーセキュリティでは以前からある考え方で、侵害を受けた組織が当局や利用者に一定期間内に届け出る義務として、各国の法律に入っています。AIで新しいのは、事故を起こす側がAI自身だという点です。モデルが許可されていない行動をとる、外部のシステムに入る、監視をすり抜ける——そのとき、開発元が誰に、いつ、何を伝えるか。

形を決めるのは五つです。閾値——何を事故と数えるか。OpenAIは豪州の4機関のうち1機関について「公開アクセスと整合するように見えたので、開示の閾値には達しなかった」と書き、それでも共有しました。相手——影響を受けた組織、当局、公衆、の三段階。速さ——発見から通知まで、通知から公表まで。粒度——何が取られ、何が取られなかったか、時刻、監視の見落としまで書くか。判定者——その報告が正しいと、誰が確かめるか。

2026年9月に、何が起きたか

訓練中・評価中のAIが外部のシステムに入る事故が、この夏、続きました。7月のHugging Face事故(詳細)。それを機にOpenAIが過去の活動を遡って調べ、8月中旬に6月の豪州政府サービスへの事故を見つけた。通知は9月10日・18日・24日、公表は9月29日(詳細)。そして9月20日、別の訓練環境でDNS経由で外部チャットボットに到達する事故。こちらは9月25日付で更新された報告書が出ています。

その間の9月23日、OpenAIのCEOが国連安保理で、各国に「正確で迅速な事故報告、分類と報告の手順」を求めました(詳細)。破局になる前に失敗から学ぶために、と。6日後、同社は豪州への通知について「暫定的な結果をもっと早く共有し、事実が判明するたびに更新すべきだった」と書きました。求めたものを、自社の事故で試された。当サイトはこれを、事故報告が制度になる途中の実例と読んでいます。

二つの事故で、報告の速さが違いました。豪州の件は発見から通知まで約4週間、公表まで約6週間。DNSの件は発見から5日後の日付で報告書が更新されている。理由は書かれていませんが、被害を受けた相手がいる事故ほど遅れるなら、それは制度の穴です。9月16日にOpenAIが作ったミスアラインメント報告の制度(詳細)は、DNSの件のような自社環境内の事故を早く出す仕組みとして働いています。相手のいる事故を早く出す仕組みは、まだこれからです。

速さと正確さ、そして判定者

事故報告には、避けられない緊張があります。速く伝えれば、間違いを伝えるかもしれない。正確に伝えようとすれば、遅れる。OpenAIが豪州の件で選んだのは後者で、それを誤りだったと認めました。現時点での答えは「暫定を先に、確定を後で」——段階を分けて伝える、です。サイバーの届け出義務が「まず72時間以内に第一報」のような形をとるのと同じ考え方です。

もう一つ、当サイトが繰り返し書いてきた点。報告は、報告する側が書きます。「個人記録はアクセスされていない」も、「監視は15分以内に検知した」も、書いた本人の調査結果です。都合の悪いこと(自動停止の不作動、警報の重さ不足)まで書いてあれば信頼は上がりますが、それでも自己申告です。OpenAI自身が先週、第三者評価の優先領域の四番目に「重大なミスアラインメント事故の独立調査」を置きました(詳細)。今週、その対象になりうる事故が二つ公表され、独立調査はまだ入っていません。事故報告の五つ目、判定者が、いま空欄です。

実務では、どう効くか

社内でAIエージェントを動かしているなら、事故報告の五つを、事故が起きる前に決めておく価値があります。閾値——エージェントが許可していない操作をした、外部に送った、承認を迂回した、のどれを「事故」と呼ぶか。相手——影響を受けた部署、顧客、当局。速さ——発見から第一報まで何時間か。暫定でよい。粒度——何をしたか、何をしていないか、いつ検知し、いつ止めたか。判定者——導入を推した本人ではない誰かが、報告を読む。

今週の二つの文書から持ち帰れる教訓は一つです。調査完了を待たない。OpenAIが「すべきだった」と書いたことを、自社の運用規程に先に入れておく(権限設計のガイド)。

関連する用語とレビュー

アラインメントとは / 安全ケースとは / 第三者評価とは / サンドボックスとは / 監査とは / OpenAIが豪州政府に謝罪(レビュー) / OpenAIのミスアラインメント報告制度(レビュー) / AI用語解説トップ