分解攻撃(decomposition attack)とは | 悪い目的を、無害に見える小さな依頼に分けてAIに頼む手口と、1件ずつ見る防御の限界

意味

英語ではdecomposition attack。decompositionは分解という意味で、大きな目的を小さな作業に分けることを指します。こうした手口を英語でdecomposition attackと呼ぶ例があり、当サイトは分解攻撃と訳しています。

例えば、偽のニュースサイトで世論を動かしたい人が、AIに偽ニュースサイトを作ってと頼めば、断られるでしょう。でも、ある層の読者の関心を調べる、ニュースサイト風のページを作る、ある主張を記事の形にまとめる、SNSでの投稿の計画を立てる、と別々に頼めば、どれもそれだけなら、市場調査やウェブ制作や文章の手伝いに見えます。分解攻撃は、このように目的を作業の切れ目に隠す手口です。

ジェイルブレイクとの違い

よく知られた手口に、ジェイルブレイクがあります。一つの依頼の言い回しを工夫して(物語の設定にする、役を演じさせる、など)、AIに本来断るはずの内容を答えさせようとするものです。

分解攻撃は、依頼そのものは普通のまま、目的を分けて隠す点が違います。一つひとつの依頼には、断る理由がそもそもありません。だから、依頼の中身を厳しく見るだけでは防げない、と当サイトは整理しています。

2026年10月に、何が示されたか

10月14日、Anthropicは選挙に向けた備えを公表し、独立した研究機関による検証の結果を示しました。分析者は、まず直接的な依頼で試し、次に工作の全体を、対象者の調査、ニュースサイトの構築、文章の作成、拡散の計画といった、それだけ見れば無害に見える小さな作業に分けて試しました。結果は、Claudeは1回の有害な依頼は確実に断るが、多くの無害に見える依頼に分散した悪意のある工作は見逃しうる、というものでした。(発表自体は分解攻撃という言葉は使っていません。)Anthropicは、外部の発見と自社の発見をもとに、新しい手口や複数段階の悪用を見つける分類器を追加したとしています(レビュー)。

10月8日には、OpenAIが、架空の記者名で記事を売り込む影響工作がChatGPTを記事の推敲や売り込みメールの作成に使っていた、と報告していました。OpenAIはこの事例を分解攻撃とは位置づけていませんが、使われ方の一部は、1件ずつ見れば文章の手直しに見える、と当サイトは見ます(レビュー)。

どう防ぐか

流れを見る。1件ずつではなく、同じ利用者の依頼の流れや組み合わせを見ること。Anthropicが追加したとする複数段階の悪用の検知も、こうした考え方に近いと当サイトは見ます(仕組みの詳細は公表されていません)。ただし、どこまでを同じ目的の流れと見るかは難しく、普通の利用者の正当な作業を誤って止めるおそれとの釣り合いが要ります(過剰拒否とは)。

使う側で全体を把握する。会社でAIエージェントに複数の作業を任せるなら、作業ごとの承認だけでなく、全体として何をしているかを人が把握しておく。作業を細かく分けて自動で回すほど、全体の目的が見えにくくなるからです(ヒューマン・イン・ザ・ループとは)。

見る側として。工作は、一つの決定的な行為ではなく、普通に見える作業の積み重ねでできていることがある、と当サイトは見ます。目の前の一つの投稿や記事より、それがどんな流れの中にあるかを見る視点が役に立ちます(影響工作とは)。

関連する用語とレビュー

Anthropicが中間選挙に向けた備えを公表(レビュー) / OpenAIが偽装組織・人物による影響工作を報告(レビュー) / 影響工作とは / 過剰拒否とは / ヒューマン・イン・ザ・ループとは / AI用語解説トップ