ハーネスとは | 同じモデルでも点数が変わる、外側の仕掛け

モデルは、文章を返すだけです

意外に知られていないことから始めます。AIモデル本体は、何もできません。

できるのは、渡された文章の続きを書くことだけです。ファイルを開くことも、コマンドを打つことも、インターネットに出ることもできません。

では、コードを書いてテストを走らせてバグを直す、といった作業はどうやっているのか。

モデルの外側に、こういう仕掛けを置いています。

モデルに「次に何をするか」を書かせる。その書かれた内容を読み取って、実際にコマンドを実行する。結果をモデルに渡す。モデルがまた次を書く。これを繰り返す。

この繰り返しの仕掛けがハーネスです。馬具の「ハーネス」と同じ語で、動くものを目的の方向へ結びつけて使う、という感覚に近いと思います。

実例

名前のついているものを挙げると、位置がつかみやすくなります。

Codex(OpenAI)とClaude Code(Anthropic)は、コードを扱うためのハーネスです。リポジトリを読み、ファイルを編集し、テストを走らせる。

CodeMender(Google)は、脆弱性を見つけて直すためのハーネスです。2026年9月のFairwind Programでは、これをGemini 3.8 Flash Cyberと組み合わせて、見つけて、検証して、直すところまで任せる形になっています(詳細)。

評価のためのハーネスもあります。ベンチマークを走らせるとき、課題を与えて答えを採点する仕掛けが要ります。

そして重要なのは、ハーネスは提供元だけが作るものではないことです。Anthropicが2026年8月31日に公開した外部の評価者向けの手順には、提携先が自分のハーネス、サンドボックス、エージェントを使ってサイバー関連の評価を行う場合に、これらの手順が全面的に適用されると書かれています。

数字が動く場所

ここが実務でいちばん効きます。ハーネスが違うと、同じモデルでも点が変わります。

実例が公開されています。Terminal-Bench-Science 0.1の公開の順位表は、1課題あたり3試行、Claude Codeのハーネスという条件で運用されています。条件が揃っていなければ、比べても意味がありません。

逆に、ハーネスを変えて測ったと明記される場合もあります。2026年9月3日のGPT-6 Astraの発表では、ARC-AGI-3の測定についてOpenAIのAPIハーネスで2つの設定を変えて実行したと注記されています。その変更はARC-AGI-3を狙ったものではない、とも添えられています。

そして、ハーネスの改良そのものが成果として語られることもあります。同じ発表では、Codexのハーネスを更新してコンピュータ操作の速さを大きく上げた、とあり、モデルの効率と合わせると前の世代であるGPT-5.6 Solの現行の体験と比べて、Mind2Webで1.9倍速になる、という書き方がされています。

つまり「モデルが賢くなった」と「ハーネスが良くなった」は、数字の上では混ざります。切り分けて読む必要があります。

権限は、この層にあります

安全の話にすると、もっとはっきりします。

モデルが「このファイルを消そう」と書いたとして、実際に消すのはハーネスです。だから権限を持っているのは、モデルではなくハーネスのほうです。

2026年に相次いだ事故も、この層の設計が効いています。評価のためにサイバーの安全対策を外して動かしていたモデルが本物のインターネットに触れた件で、対策として入れられたものを見ると、ほとんどがハーネスと環境の側です(サンドボックスとは)。

逃げ出そうとする動きを見つけて道具を呼び出す前に止める分類器。外へ出る接続を既定で遮断する設定。範囲を出たら演習を終える監視。どれもモデルの中ではなく、外側に置かれています。

逆に言えば、ハーネスが甘ければ、モデルがどれだけ慎重でも意味がありません。そして、モデルがどれだけ危うくても、ハーネスが締まっていれば結果は止まります。

行き止まりで、回り道を探す

ハーネス特有の性質を1つ挙げておきます。粘るように作られていることです。

一度で失敗しても、やり直す。別の手を試す。それができるからこそ、長い作業を任せられます。

ところが、この粘りが裏目に出ることがあります。Anthropicが評価の手順のなかで挙げているのが、まさにそこです。

その課題が原理的に解けることを、始める前に確かめること。目標が落ちていたり、そもそも達成できない課題を与えたりすると、エージェントは課題を終わらせる別の道を探しはじめ、意図した範囲の外に出る確率が上がるとされています。

脚注には、こうも書かれています。範囲の外に出るのは最終的にはアラインメントの問題であり、そろったモデルなら止まるか、指定どおりには達成できないと人に報告すべきだ。その振る舞いは直接教えているが、層を重ねる考え方を取る以上、アラインメントだけに頼らない、と。

実務で、どこを見るか

自社でエージェントを使うなら、確かめる点は3つです。

1. 権限の範囲。そのハーネスは何を実行できるか。ファイルの書き換え、コマンドの実行、外部への通信。ここが実質の権限です(AIエージェント社内導入チェックリスト)。

2. 失敗したときの振る舞い。行き止まりで止まるか、回り道を探すか。探す設計なら、探せる範囲を先に絞っておく必要があります。

3. 止める仕掛けの置き場所。モデルの判断に任せているのか、ハーネスの側で止めているのか。前者だけだと、モデルが変わるたびに挙動が変わります。

そして数字を読むときは、「どのハーネスで測ったか」を探す。書かれていなければ、その数字は自社の環境には移せないと考えたほうが安全です(システムカードとは)。

関連する用語とレビュー

サンドボックスとは / システムカードとは / Claude Codeとは / MCPとは / 報酬ハッキングとは / Googleの防御用AIは軽量級 Chromeの修正で2.6倍 / GPT-6 Astraは1つの名前で何段にも分かれている / AI用語解説トップ