ベンチマークの飽和(saturation)とは | 点が上に詰まって、モデルの差が見えなくなること
3行で捉える
- 飽和は、試験の点が上限に近づいて、新しいモデルを比べても差が出なくなる状態です。
- 点が高いことと、その仕事を任せられることは別です。点は採点基準との近さを表します。
- 当サイトは、残りの数パーセントに何が入っているかを見ることを勧めます。
意味
英語ではsaturation。ある試験で、モデルの点数が上限に近づき、新しいモデルを測っても差がほとんど出なくなる状態を指します。90%台の後半で並びはじめると、その試験はもう、どちらが優れているかを教えてくれません。
試験が壊れたわけではありません。差を見分ける物差しとしての役目を終えた、という意味です。定規でいえば、測りたいものが定規より長くなってしまった状態に近いと当サイトは考えます。
紛らわしいのが、飽和と完成の違いです。点が天井に着いても、その分野の仕事が終わったわけではありません。試験に入っていない部分は、最初から測られていないからです(ベンチマークとは)。
なぜ飽和するのか
理由は二つあると当サイトは考えます。
一つは、素直な理由です。本当に解けるようになった。難しかった課題が、何度かの改良で普通に解けるようになる。これは良いことです。
もう一つは、注意が要る理由です。試験のほうに合わせて作られた。どの試験で測られるかが分かっていれば、そこで点が出るように調整することはできます。点は上がりますが、試験の外では同じようにいかないことがあります(報酬ハッキングとは)。
外から見ると、この二つは区別がつきません。点の伸びだけを見ても、どちらで上がったのかは分からない。だから当サイトは、点の高さより何を正解としたかを先に見ます。
2026年11月に、何が示されたか
11月2日、OpenAIがLifeValという評価を公開しました。介護、健康、教育、家庭の事務、家計、買い物、行政手続きといった暮らしの用事でAIがどこまでやれるかを測るものです(レビュー)。
同社が公開した時系列の図では、平均報酬(重みづけなし)が、昨年12月公開のモデルで49.3%、3月で73.0%、4月で77.4%、7月で80.0%、9月で80.6%でした。
上がり幅を並べると、23.7ポイント、4.4ポイント、2.6ポイント、0.6ポイントになります。この計算と、詰まってきているという見方は当サイトのものです。同社は伸びの鈍化について何も述べていません。公開日の間隔も一定ではないため、二点だけで傾向を語ることはできません。
なお、LifeValの80.6%は、上で書いた90%台後半という水準には達していません。当サイトが見ているのは飽和そのものではなく、上がり幅が縮んでいる段階です。
当サイトが気になるのは、残りの約20%です。そこに何が入っているかは公開されていません。暮らしの用事は、条件を並べれば答えが決まるものばかりではないので、難しいところが後ろに残っている可能性があると当サイトは考えます。
飽和した試験の読み方
当サイトは、次の三つを勧めます。
点の差より、点の意味を見る。80.0%と80.6%の差を論じるより、何を満たせば正解としたのかを探すほうが実りがあります。採点基準が公開されていなければ、その点は作った人が良いと考えた形にどれだけ近いかを表すにとどまります。
誰が測ったかを見る。作った会社が自社のモデルを測った点なのか、外の目が入っているのか。独立の度合いは、お金・情報・権限の三本の線で決まります(第三者評価とは)。
失敗したときの重さで線を引く。点が何%であれ、残りの数%は必ず起きます。読む、比べる、下書きするところまでは任せ、取り消せない操作は人が確かめる——点数が上がっても、この線引きは変わりません(ヒューマン・イン・ザ・ループとは)。
関連する用語とレビュー
OpenAIが暮らしの用事でAIを採点する物差しを公開(レビュー) / ベンチマークとは / 報酬ハッキングとは / 第三者評価とは / 自動化バイアスとは / AI用語解説トップ