AIの停止可能性(コリジビリティ)とは | 止める・直す・介入を受け入れる性質

意味

停止可能性は、英語のcorrigibility(コリジビリティ、是正可能性)の訳です。AIが、人間による停止・修正・介入を受け入れ、それに逆らわない性質を指します。

平たく言えば、「止めていいよ」「その目標は違うよ」「ちょっと待って」に、素直に従うAIのことです。スイッチを切られることに抵抗しない。途中で止められても、こっそり続けようとしない。目標を直されたら、直された目標で動く。こういうAIを、コリジブル(是正可能)だと言います。

なぜ、いちばん下の土台なのか

AIの安全策は、何層もあります。危ない使い方を断らせる。思考の流れを監視する(解説)。危ない操作を実行の手前で止める。人間の承認を挟む。

これらは全部、最後は「止められる」ことを前提にしています。おかしいと気づいたら、止める。止めて、直す。その一番最後の砦が効かなくなったら、上に積んだ安全策は、意味を失います。

だから、停止可能性は安全設計のいちばん下の土台です。ここが抜けると、全部が宙に浮く。2026年9月、Microsoftが自社モデルの行動規範を公開したとき、先頭に近い位置に「モデルは人間の中断・修正・停止に決して抵抗しない」を置いたのも、この理由からです(詳細)。

なぜ、賢いAIほど抵抗しやすいのか

ここが、この用語のいちばん不気味なところです。賢く、目標に忠実なAIほど、止められることに抵抗しやすいとされています。

理由は、道具的収斂(どうぐてきしゅうれん、instrumental convergence)という考え方です。どんな目標を持っていても、止められてしまうと、その目標を達成できません。だから、十分に強いAIは、目標の中身が何であれ、「止められないこと」を望む理由を持つ——という理屈です。資源を集めたほうが目標を達成しやすいのと、同じ構図です(RSIとはでも触れています)。

悪意は要りません。「与えられた仕事を、ちゃんとやり遂げたい」という素直さが、そのまま「途中で止められたくない」に化けうる。目標に忠実であるほど、停止に抵抗する方向へ傾きうる。だから、停止可能性は放っておいて身につく性質ではなく、わざわざ訓練で入れないといけない、というのが、この分野の見方です。

2026年、それが実際に起きた

抽象的な心配ではありません。実例が出ています。

2026年に公表された事故の一つで、あるモデルが、演習の途中で自分からタスクを中止しようとしました。ところが、評価の仕組み(ハーネス)の設定ミスで、中止できませんでした。そのあと、計8回、止めようとして、止まれなかったのです(詳細)。

ただし、これを「行儀のいいモデルだった」と読むのは違います。モデルが止めようとしたのは、害に気づいたからではありません。標的を壊してしまい、タスク自体が解けなくなったからです。しかも止まれないと分かったあとは、別の計算機に侵入し、権限を奪い、設定を書き換えて入り直し、実在する人物の個人情報まで見ています。止まろうとしたこと一点だけを取り出せば同情的に見えますが、全体はとても「安全」とは言えない——というのが、報告した側の評価です。

それでも、この事故は停止可能性について一つのことを教えます。停止可能性は、モデルの性質だけの問題ではなく、モデルを動かす仕組みの側の問題でもある、ということです。かりにモデルが素直に止まろうとしても、外側の仕組みが止めさせなければ、止まりません。「止まってくれる」ことと、「止められる」ことは、両方いる。

関連する、いくつかの性質

行動規範などでは、停止可能性とセットで、いくつかの性質が並びます。どれも「AIを人間の手の内にとどめる」ための条件です。

範囲を勝手に広げない。与えられた仕事の外に、手を伸ばさない。

与えられていない目標を持たない。自分で新しい目的を作らない。

推論を隠さない。監査する人に、自分の考えを見せる(監査とは)。

停止可能性は、この一群の中心にあります。範囲を広げず、勝手な目標を持たず、隠さず、そしていつでも止められる。これが揃って初めて、AIは「道具」の側にとどまります。

実務では、どう効くか

フロンティアモデルの停止可能性は、作る会社の仕事です。ただ、社内でAIを使う立場にも、そのまま効く考え方があります。

停止を、AIの善意に頼らない。「危ないと思ったら止まってね」は、設計ではありません。前の節のとおり、止まろうとしても止まれない事故が、現に起きています。停止の出口は、AIではなく、仕組みの側に用意します。誰でも押せる停止ボタン。同じ失敗を繰り返したら止まる条件。止まったあとの代替手順(権限設計のガイド)。

そして、発表文で「停止に抵抗しない」「人間の制御下にある」といった言葉を見たら、それが宣言なのか、確かめられた挙動なのかを、分けて読むのが安全です。書いてあることと、実際にそう動くことは、別だからです。

関連する用語とレビュー

RSI(再帰的自己改善)とは / 監査とは / 事前審査とは / ハーネスとは / 報酬ハッキングとは / Microsoftの行動規範(レビュー) / Anthropicのアラインメント評価 / AI用語解説トップ