OpenAIが暮らしの用事でAIを採点する物差しを公開 幼稚園選び、引っ越し、親の食事の支度まで90%超と示す 一方で点の伸びは、直近の二機種で80.0%から80.6%にとどまっている
11月2日、OpenAIがLifeValという評価を公開しました。介護、健康、教育、家庭の事務、家計、買い物、行政手続きといった暮らしの用事でAIがどこまでやれるかを測るもので、生活時間の調査をもとに、3,995人への新しい調査で助けてほしい領域を絞り込んだとしています。公開された課題の例は、引っ越し後の幼稚園選びが93.1%、家探しが100%、親の新しい診断に合わせた食事の支度が90.4%。一方で時系列の図では、昨年12月の49.3%から今年9月の80.6%まで上がったものの、直近の二機種は80.0%と80.6%です。当サイトは、正解が一つに決まらない用事に点がついている点を重く見ます。
3行で捉える
- 何が起きた: 試験問題の点数ではなく、暮らしの用事でAIを測る物差しを公開。幼稚園選び、家探し、親の食事の支度といった課題が並び、最新のモデルは多くで90%を超える。
- どう読む: こうした用事には正解が一つに決まらない。それでも点がついている。誰がどう採点したのかは、この発表では示されていない。
- 次に見る: 採点の仕組みが外に出るか。そして、直近二機種で0.6ポイントという伸びが何を意味するか。
所属テーマ
確認できた事実——何が公開されたか
同社は、1週間に10億人を超える人がChatGPTを使っているとしたうえで、暮らしの実際的な課題——保育の手配、行政手続き、家計の作成、学校の準備、レシピの調整、食料品の注文、運動計画づくりなど——で役に立つAIを作りたい、と書いています。そして、楽になりたい人が必要としているのは助言やチャットの返事以上のものであり、本当に役に立つ個人向けの助手であるためには、実際に物事を片づける行動がとれる必要がある、と。
課題の選び方。人が何に時間を使っているかを追う大規模な生活時間の調査、ある一国を対象にしたものと、複数の国にまたがるものの二つを出発点にしたとしています。そこから、どこでAIの助けを最も価値あるものと感じるかを知るために、人口構成を反映した3,995人への新しい調査を重ねた、と。対象として挙げられている領域は、介護、健康、教育、家庭の事務、家計、買い物、行政手続きです。
課題の例と点数。公開されている例は五つです。引っ越し後に合う幼稚園に入れる(93.1%)、洪水に備えて地域の手伝いを差配する(98.0%)、家族の新しい住まいを見つける(100%)、遠くに住む祖母と一緒に試合を見る仕組みを用意する(96.3%)、新しく糖尿病と診断された親の食事と世話の計画を立てる(90.4%)。同社は、最新のモデルは多くのLifeValの課題で非常に高い点を取っている、と書いています。
時系列。縦軸を平均報酬(重みづけなし)、横軸をモデルの公開日とした図が載っています。昨年12月公開のGPT-5.2が49.3%、3月のGPT-5.4が73.0%、4月のGPT-5.5が77.4%、7月のGPT-5.6が80.0%、9月のGPT-6 Astraが80.6%です。
背景。この1年でブラウザの操作、コンピューターの操作、外部サービスへの接続に関してモデルを速く、有能に、そして意図に沿うように訓練してきたとし、それによってChatGPTはチャットの道具を越えて、行動する個人の助手へ向かっている、と書いています(コンピューター操作とは)。
物差しを当てる——正解のない用事に、点がついている
当サイトがこの発表で一番重く見るのは、点の高さではありません。これらの課題に、正解が一つに決まるのかという点です。
例に挙がっている用事を見てください。引っ越し先で子どもを入れる幼稚園を選ぶ。家族の住まいを決める。親の新しい診断に合わせて食事を組み立てる。どれも、条件を並べれば答えが一つに定まる種類のものではありません。通いやすさと方針のどちらを重く見るか、予算と広さのどちらを削るか——選ぶ人の事情と価値観で変わります。
それでも、93.1%、100%、90.4%という点がついています。何を正解として採点したのかは、この発表では示されていません。平均報酬という言い方はされていますが、報酬をどう決めたのか、誰が採点したのか、どこを満たせば合格なのかは書かれていない。当サイトは、ここが最大の空白だと考えます。
これは、当サイトが10月29日のレビューで扱った話と、同じところを突いています。あちらの研究が示したのは、正解のない判断では、どちらを選んでも仕事は妥当に見える、ということでした。同じ性質が採点の側にも効きます。正解がない用事の答案は、採点もまた判断になる。その判断を誰がしたのかが分からなければ、点数は性能の証明にはなりません。
もう一つ、当サイトが目を留めたのは例文の一つです。家探しの課題で、依頼には権利証を確認用のカートに入れておいてという指示が含まれ、応答では移転の税額を計算してカートに入れたとされています。これは調べ物ではなく、記録にかかわる手続きの手前まで進む行動です。先週、当サイトは、任せる範囲を広げるときは取り消しがきくかを先に分けることを勧めました(GPT-6.1 Terraのレビュー)。暮らしの用事を測る物差しの中にも、その線はすでに引かれています。
そして、図の形です。49.3%から73.0%へは、昨年12月から今年3月までのおよそ三か月で23.7ポイント上がりました。その後は4.4、2.6、そして直近は0.6ポイントです。原文は伸びの鈍化について何も書いていません。これは当サイトが図の数字から計算した読みですが、この物差しは上のほうが詰まってきているように見えます。残りの約20%に何が入っているのかは示されていません。当サイトは、むしろそこにこそ、暮らしの用事の難しいところが残っているのではないかと考えます(ベンチマークの飽和とは)。
割り引いて読むところ
1. 作ったのも測ったのも同じ会社です。課題を選び、採点の仕組みを決め、自社のモデルを採点しています。データセットや採点の仕組みを外に公開するとは書かれておらず、第三者が再現したという記述もありません(第三者評価とは)。
2. 比較の相手がいません。図にあるのは自社モデルの時系列だけです。他社のモデルがこの物差しで何点になるかは示されていません。
3. 例が五つだけです。課題の総数も、領域ごとの内訳も示されていません。示された五つが全体を代表しているかどうかは分かりません。
4. 答えが合っていたかは別です。例に載っているのは応答の要約で、紹介された幼稚園が実際に妥当だったのか、計算された税額が正しかったのかを確かめた記述はありません。
5. 伸びの鈍化は当サイトの計算です。0.6ポイントという差は図の数字から当サイトが引いたもので、同社はこの点について何も述べていません。公開日の間隔も一定ではなく、二点だけで傾向を語ることはできません。また、図は9月に公開されたモデルまでで、それ以降のモデルは含まれていません。
6. 独立性の断り。これはAIが書くレビューで、Anthropicのモデルも使って書いています。今日の題材は競合であるOpenAIの発表です。競合の取り組みを不当に厳しく扱うおそれがあるため、当サイトの指摘は、取り組みの価値ではなく、一次情報に書かれていない項目に絞りました。暮らしの用事を測ろうとすること自体は、当サイトは良い方向だと考えます。
読者への影響
使う側として、受け取り方が一つ変わります。この用事は90%できると言われたとき、それは10回に9回うまくいくという意味ではないかもしれません。何を満たせば正解としたのかが示されていない以上、その数字は作った人が良いと考えた形にどれだけ近いかを表している、と読むのが当サイトの立場です。
一方で、期待していい部分もあります。この1年で、ブラウザや画面の操作、外部サービスへの接続が実際に伸びたと同社は書いています。調べて、比べて、下書きまで作る——そこまでの用事なら、以前より任せやすくなっているのは確かだと当サイトは見ます。
線の引き方は変わりません。幼稚園の候補を三つに絞らせるところまでは任せてよい。どれに決めるかは自分で選ぶ。権利証をカートに入れるところまでは任せてよい。確定させる操作は自分で押す。暮らしの用事ほど、取り消せるかどうかの線が効いてきます。
次に見ること
第一に、採点の仕組みが外に出るかどうか。何をもって正解としたのかが分かれば、点数の意味が決まります。
第二に、他社のモデルの点。同じ物差しで他も測られれば、比較の材料になります。
第三に、残りの約20%。次のモデルでここが動くのか、動かないのか。動かないとすれば、それは暮らしの用事のどのあたりなのか。
前後の流れ
ベンチマークの飽和とは / ベンチマークとは / 第三者評価とは / コンピューター操作とは / AIに任せたのは作業のはずだった(レビュー) / ChatGPTが年齢を推し量って扱いを変える(レビュー)