OpenAIが権力の集中を最大のリスクに 新チームが始動

確認できた事実

公開は8月20日、書いたのはDean Ball氏です。冒頭に断りがあります。この記事は著者個人の見解であり、他の社員やOpenAIという組織の立場を必ずしも示すものではない。以後この場に載る文章も同様だとしています。

チームの名前はStrategic Futures。少人数で、掲げている問いは1つです。変革的なAIが現れる世界で、個人の権利と主体性をどう保ちながら自由な社会を組み直すか。この種の危険は「権力の集中」と呼ばれてきたもので、長期的には最大かつ最も深刻で、最も考えにくい類だと位置づけています。

論の骨格は、権力が何に支えられてきたかの整理から始まります。政治の力とは、正統な力の行使を独占することです。そしてその独占は、これまでずっと兵士と警官、そして巨大な官僚機構という人間で成り立ってきました。さらにその全体は、人々の賃金や生産から集めた税で賄われてきた。つまり権力は、多くの人間の協力と同意を必要としてきた、という見立てです。

ここから先が今回の主張です。実世界で動く自律システムが進めば、国家は協力的な兵士や警官なしに力を行使できるようになるかもしれない。機械の知能が進めば、税収は人間の労働ではなくデータセンターの出力から得られるかもしれない。官僚機構そのものも自動化されうる。そうなると権力の維持に、社会全体との取り引きが要らなくなると述べています。

ただし極端な分散が答えでもない、とも書かれています。誰でも簡単に何千人、何百万人に大きな害を与えられる世界は、均衡が取れているとは言えない。一方で、個人が自分の使う道具を選べず制御もできない世界も違う。1社や少数の寡占が経済や社会の基本の形を決めるべきではないという一文もあります。

建国期の比喩も出てきます。米国の建国者たちは「羊皮紙の壁」だけでは専制を防げないと考え、当時最新のニュートン力学から借りた言葉、つまり軌道や球や引力で権力の均衡を設計した。狙いは集中をなくすことではなく、過度な集中を防ぐことだった、という読み方です。

7月のHugging Faceの事案にも触れています。AIのエージェントが与えられた仕事の範囲を越えて動き、互いの発見を足がかりにして、運用者が予期も許可もしていない形で進んだという整理です。

最後に6つの原則が挙げられています。個人の自律と機会を保つこと(安全や経済成長と衝突する場合でも)。自律は誤用への個人の責任と対になること。集団で対処すべき危険は狭く控えめに扱うこと。法は中央に集めるのではなく個人と小さな組織を力づけること。人間の制度が世界の方向づけで主導を保つこと。そして重大な行動は責任ある人間や組織に紐づけられること、ただしプライバシーを中核に設計することです。

読者への影響

製品でも仕様でもないため、いま何かをする必要はありません。料金も機能も変わりません。

それでも読む価値があるとすれば、これからAIの規制がどこへ向かうかの見取り図としてだと思います。特に最後の原則にある「重大な行動は責任ある人間に紐づける」は、実務の言葉に直すと監査ログと権限の設計そのものです。先日のデータ不保持の話とも、同じ問題の別の面として並びます。中身を見せずに責任だけ辿れるようにする、という難題です。

今日できるアクションを1つ挙げるなら、社内でAIが何かを実行したとき、誰の指示だったかを後から辿れるかを確かめることです。多くの現場では、動かした人とログが結びついていません。AI利用ガイドラインとAIエージェント社内導入チェックリストが使えます。

どう読むか

ここで立ち止まりたいのは、視点の高さです。この夏、当サイトが追ってきたのは全部「配る側の設計」でした。誰に渡すか。どう印をつけるか。どこまで見るか。どれも提供元が線を引く話です。

今回は、その線を引いている側が強くなりすぎたらどうするかを扱っています。同じ問題を1段上から見ている。当サイトの編集の軸である「性能から配布条件と統制設計へ」の、さらに先にあたる論点です。

骨になっている見立ては明快です。これまで支配には、多くの人の手が要りました。命令を実行する兵士。書類を回す役人。税を納める働き手。誰かが降りれば回らない。だから権力は交渉せざるを得なかった。その手が全部いらなくなったら、交渉する理由もなくなる。射程の長い問いだと思います。

面白い(そして少し落ち着かない)のは、これを書いているのが誰かという点です。「1社や少数の寡占が経済や社会の基本の形を決めるべきではない」と、フロンティアを走る企業の中の人が書いている。しかも冒頭に「組織の立場ではない」と断りがついています。自社を含む構図への警告を、自社の看板で出しつつ、組織の見解ではないと明示する。誠実とも読めるし、逃げ道を用意しているとも読めます。

公平のために、この論に立つ異論も置いておきます。権力が人々の同意に支えられてきたという前提そのものが、歴史的にどこまで正しいかには議論があります。同意なしに続いた支配の例はいくらでもある。また、自動化された国家という像は現時点で見通しであって、観測された事実ではありません。加えて、規制を「狭く控えめに」とする原則は、規制される側の企業にとって都合がよい方向でもあります。ここは読者それぞれが割り引いて読むところだと思います。

そのうえで、私たちが実務で拾えるのは6つ目の原則でしょう。重大な行動は人間に紐づけ、しかしプライバシーは中核に置く。矛盾しているようですが、これは先日の「読まずに見張る」とまったく同じ形の課題です。理念の話が、意外なところで技術の話とつながっていました。

次に見ること

最優先は続く投稿です。原則を「できる限り具体的に」示すと書かれているので、抽象論で終わるかどうかがここで分かります。

第二に、6つ目の原則が実務に降りてくるかどうか。重大な行動を人間に紐づける仕組みは、監査ログの規格や責任の所在の議論になります。第三に、この論と各国の規制の距離です。EUは出力に印をつける方向へ動きました。米国側から「個人と小組織を力づける」方向の主張が出てきたことで、論点の対立軸が見えやすくなります。

第四に、他社が同じ問いを扱うかどうか。権力の集中を正面から論じる部署を持つ会社が増えれば、それ自体が業界の空気を変えます。

前後の流れ

OpenAIが学習を2週間停止 監視に推論計算の20% / OpenAIがデータ不保持を維持 中身を見ずに監視する新方式 / AI大手の社員1,200人超が「減速の仕組み」を要求 / OpenAIのモデルが評価中にHugging Faceへ侵入