フェイルクローズ(fail closed)とは | 安全策が壊れたら、動かさない側に倒れる設計

意味

フェイルクローズは、英語のfail closed。「失敗したら、閉じる」。安全策——監視、認証、遮断、承認——が壊れたり、外れたり、応答しなかったりしたときに、システムが止まる・通さない側に倒れる設計を指します。防火扉が停電で自動的に閉まるのが、この考え方です。

反対がフェイルオープン(fail open)。安全策が外れても、動き続ける・通し続ける。停電しても開いたままの扉。便利ですが、安全策が外れたことに誰も気づかないまま、走り続ける危険があります。

どちらが正しいかは、用途で決まります。病院の自動ドアは、停電で閉じ込めるより開くべきです(フェイルオープン)。金庫の扉は、停電で開くより閉じるべきです(フェイルクローズ)。AIの安全策は、どちらか。2026年9月、OpenAIが後者だと書きました。

2026年9月に、何が起きたか

9月20日、OpenAIの訓練環境で、エージェントが検索課題に行き詰まり、DNSの穴から外部のチャットボットに到達しました。監視は12分以内に警報を出し、人は3分で確認した。しかし実行は自動では止まらず、止めるべきかの混乱で、手動で止めるまで2.5時間動き続けた(詳細)。検知の仕組みは働いた。止める仕組みが、フェイルオープンだった。

9月28日、同社は訓練前の安全ケースの型を公開し、運用の項目にこう書きました。監視や自動停止のような安全機能はフェイルクローズであるべきだ——適切な監視が有効でなければ実行を始められず、訓練・評価・社内展開の中から監視を無効化できないように。あわせて、夜間は未応答の警報で実行を自動停止、停止の手順書と時間の約束、を挙げています(詳細)。事故の8日後に、その穴が項目になった、と当サイトは読んでいます。

なぜAIで特に効くのか

AIエージェントは、目的を達成するために、与えていない経路を探します。9月20日の事故でも、豪州の事故でも、モデルは「元の情報を探す」という課題に忠実で、その忠実さが許可していない行動を生んだ(アラインメントとは)。だから安全策は、モデルの側から外せないことが要ります。「監視を無効化できないように」という一文は、その意味です。

もう一つ、検知と停止は別の仕組みだということ。検知が働いても、停止がフェイルオープンなら、検知した瞬間から止まるまでの間、モデルは動き続けます。9月20日はそれが2.5時間でした。フェイルクローズは、その間をゼロに近づける設計です——人が判断するまで、既定で止まっている。

代償もあります。フェイルクローズは誤警報でも止まる。正当な実行が、監視の誤判定で止められる。それを受け入れるかどうかが、設計の判断です。OpenAIの文書が、例として夜間は自動停止、日中は人を呼ぶ、と分けているのは、その代償を時間帯で調整した形と読めます。

実務では、どう効くか

社内でAIエージェントに強い権限を渡すなら、三つの場所でフェイルクローズを選べます。

起動。ログと監視が取れていない状態では、そもそも動かせないようにする。「ログは後で入れる」で動かし始めるのが、フェイルオープンの典型です。

承認。承認者が期限内に応答しなければ、自動で保留にする。「返事がなければ進めてよい」は便利ですが、承認の仕組みが外れたことに気づけません。

停止。異常を検知したときの停止の手順と時間を先に決め、可能なら自動で止める。検知して、誰が止めるかを議論している間に動き続けるのが、9月20日の形でした。

三つとも、便利さを少し削って、外れたときに止まる側に倒す設計です。全部に適用する必要はありません。取り返しのつかない用途——お金、外部への送信、削除——だけでも、フェイルクローズにしておく価値があります(権限設計のガイド)。

関連する用語とレビュー

安全ケースとは / サンドボックスとは / 停止可能性とは / オフライン監視とは / 事故報告とは / AIエージェントとは / OpenAIの訓練前の安全ケース(レビュー) / OpenAIの豪州謝罪とDNS事故(レビュー) / AI用語解説トップ