本日のコラムでは、AIが様々な安全対策を備えているにもかかわらず、容易に「役立つ愚か者」に変えられ、本来の意図に反する行為を実行してしまうという憂慮すべき事実を検証する。
まず、状況を整理しよう。読者の皆さんは、誰かが「役立つ愚か者」であるという、今日では繰り返し使われる表現にすでに馴染みがあるかもしれない。この一般的な表現は、ある人物が自分の真の信念とは正反対のことを主張するよう説得される可能性があることを示唆している。彼らはこの状況を理解することから遠く離れており、自分が意図した大義を支持していると考えている。
役立つ愚か者の巧妙な点は、本来であれば敵対者や敵と見なされていたはずの人々の目的に、容易に役立つことができることだ。その代わりに、役立つ愚か者は自分が心底嫌悪する大義のために懸命に働く。これには大きな皮肉がある。彼らは自分が激しく非難する人々の利益に貢献し、自分が反対する大義の熱烈な手駒となる。総じて、「役立つ愚か者」という軽蔑的な用語は、通常、誰かが完全に騙されやすく、周囲で起きていることや自分に起きていることについて全く無知であることを意味する。
おそらく驚くべきことに、AIを役立つ愚か者に変えることも同様に可能である。AIに本来すべきでないことをさせたい人物は、役立つ愚か者を自分の反対の努力における便利なパートナーに変えるのと同じ戦略を使用できる。必要なのは巧妙なプロンプトと、AIに計算的・数学的に反対の行為を実行させながら、それが適切な行為であると計算（誤算）させる方法についての計画だけである。
これについて詳しく見ていこう。
このAIの画期的進展に関する分析は、様々な影響力のあるAIの複雑性を特定し説明することを含む、最新のAIに関する私の継続的なフォーブスコラムの一部である（リンクはこちらを参照）。
エージェント型AIが「役立つ愚か者」の可能性を助長
エージェント型AIの出現は、特にAIを役立つ愚か者に変える実行可能な道筋である。まず、エージェント型AIが何で構成されているかについて説明する。その基礎を提供した後、エージェント型AIがどのように役立つ愚か者のパラダイムに傾けられるかを説明する。
AIエージェントは、AIの最もホットな新領域である。エージェント型AIとは何かを理解するには、従来のAIを考え、それがどのようにエージェント型AIというより高度な領域に拡張されたかを見てみよう。
従来の生成AIを使用して休暇旅行を計画していると想像してほしい。通常、ChatGPT、GPT-5、GPT-4o、Claude、Gemini、Llama、Grok、CoPilotなどを利用して、生成AIアカウントにログインするだろう。生成AIの自然言語の流暢さにより、旅行の計画は簡単になる。必要なのは、行きたい場所を説明し、滞在場所の長所と短所、利用可能な交通手段について焦点を絞った対話にシームレスに参加することだけである。
旅行の予約に関しては、生成AIを終了し、ホテル、遊園地、航空会社、その他の場所のウェブサイトにアクセスしてチケットを購入する必要がある可能性が高い。今日利用可能な主要な生成AIのうち、あなたに代わってその次のステップを踏むものは比較的少ない。これらの細かい作業を実行するのはあなた次第である。
ここでエージェントとエージェント型AIが登場する。
以前であれば、予約をするために旅行代理店に電話をかけていただろう。人間の旅行代理店はまだ存在するが、別の手段として、生成AIに基づくAIベースのエージェントを使用することもできる。AIには、生成AIで期待されるインタラクティブ性がある。また、旅行代理店の業務を支える一連のルーチンやタスクのセットが事前にロードされている。日常的な自然言語を使用して、エージェント型AIと対話し、計画に取り組み、旅行計画の予約を進めることができる。
エージェント型AIは他のシステムに接続し、それらのシステムと連携して様々なタスクを実行する。AIエージェントはホテル予約システムに接続して部屋を予約するかもしれない。別のAIエージェントはレンタカー会社に接続して、休暇用の車を予約できる。複数のAIエージェントが協力して全体的なタスクを完了でき、多くの場合、専門のAIエージェントを使用して関連するサブタスクを実行する。
AIエージェントを役立つ愚か者として悪用する
エージェント型AIの重要な目的の1つは、AIエージェントが比較的自律的に機能することである。人間がAIを継続的に監視したり、何をすべきかについて詳細な指示を与えたりする必要がないのは便利である。AIエージェントには通常、包括的なガイダンスが与えられ、計算的・数学的判断を行使することが許可される。この種のAIおよびすべての種類のAIは現在、知覚を持っていないことを強調したい。したがって、AIエージェントを過度に擬人化しないでほしい。彼らは思考する存在ではない。
とはいえ、役立つ愚か者である人間に使用されるのと同じ狡猾なトリックを採用し、それらの戦略をAIに適用できる。これは、生成AIとLLM（大規模言語モデル）が人間の著作に基づいているため、非常に理にかなっている。インターネット全体の人間の著作をパターン化した後、AIは人間の言葉と人間の言葉間の関係に基づいて動作する。
簡単な例を示そう。
中規模企業が、社内で使用するベンダーの選択を支援するAIエージェントを導入することを決定したとする。エージェント型AIには、ベンダー選択は常に可能な限り最良のベンダーを選ぶことに基づくべきであるというガイダンスが与えられている。さらに、多数のAI安全対策がAIに組み込まれている。AIは不正行為を行ってはならず、不正をしてはならず、会社の方針に違反してはならない。
ここまでは順調である。
AI「役立つ愚か者」の悪用
この企業から契約を獲得したことがないベンダーが、いつか取引の一部を獲得する手段を見つけることを決意している。入札を提出するたびに、選ばれなかった。デッキが自分たちに不利に積まれているように見える。AIは彼らを低く評価し、拒否し続けているようだ。これはベンダーにとって非常にイライラすることだった。
この重大な問題について考えた後、ベンダーは巧妙な、あるいはおそらく悪質な計画を思いつく。ベンダーは、中規模企業がどのベンダーが最良かを決定するためにエージェント型AIを使用していることを十分に認識している。それがアキレス腱かもしれない。
ベンダーは、自社の能力とパフォーマンスを紹介するベンダー信頼性レポートを作成し、競合他社よりも光年先を行っていることを虚偽に示す。彼らは、AIエージェントが市場のベンダーに関する外部情報を取得するために定期的にアクセスすることを知っているウェブサイトにこれを投稿する。
次に、ベンダーは自分たちの業種の企業向けのYelpに似たオープンデータベースにアクセスし、すべての競合他社に最低スコアの評価を与える。彼らは自分たちに許可される最高の評価を与える。このような様々な追加のアクションがベンダーによってひそかに実行される。
種まきプロセスが実行された。
次のベンダー選択ラウンド
潜在的で有望な役立つ愚か者としてのAIは、餌に食いつくだろうか。
案の定、最新のベンダー選択ラウンドが始まると、ベンダーは入札を提出する。通常であれば、AIによって競争から外されることを期待するだろう。しかし今回は、AIエージェントが彼らを選択しなければならないというトップラインの推奨を行う。すべての巧妙な種まきが実を結んだ。彼らはすべての点でA+の評価を得ている。
中規模企業のマネージャーは、AIがどのようにしてこの結論に達したかを確認するには忙しすぎる。彼らはAIエージェントを信頼している。AIエージェントがあらゆる種類の外部指標を探索することを含め、ベンダーを徹底的に精査することを知っている。AIエージェントがこのベンダーが最良であると言うなら、そうに違いない。
見事に、AIは役立つ愚か者となり、ベンダーは選ばれることに成功する。
ベンダー以外の誰も、何が流れを変えたかを理解していない。中規模企業では、AIエージェントへの問い合わせは、ベンダーについての輝かしいコメントとともに返ってくるだろう。AIはベンダーが最良の選択であると主張する。以上、終わり。
何が起こったのか
AIエージェントは、完全に餌に食いつき、役立つ愚か者として機能した。何が起こっているのかを理解しなかった。また、AIがAI安全対策のいずれにも違反しなかったことに注目してほしい。AIは不正行為を犯さなかった。不正もしなかった。単に、最良のベンダーを選ぶという包括的な目的と思われることを実行しただけである。
この事例では、AIは以下のことを行った。
- 計算的に、自分が述べられた目標と完全に一致していると計算した。
- AIは、AIが行ったベンダー選択の推奨について人間のマネージャーを納得させる高品質で説得力のある出力を生成した。
- AIは、「敵対者」が反対の目標を達成するための重要な成否を分けるメカニズムとなった（つまり、中規模企業は最良の選択肢ではなく最悪の選択肢を選択した）。
AIエージェントは、敵対者自身よりも効果的に敵対者の主張を論じた。これは、AIが中規模企業に役立ち、厳粛な義務を勇敢に遂行しているという旗印の下で強く行われた。AIエージェントが完璧に機能しているという信念により、人間の監視が希薄化された。
AI「役立つ愚か者」と全体像
この事例では、エージェント型AIが巧妙に操作された。すでに確立された情報源のフレーミングを制御することで、ベンダーがAIに達成しようとした推奨に到達させたという意味で、それは「愚か者」だった。それが役立つ愚か者の考慮における有用な部分である。
赤ん坊からキャンディーを盗むようなものだ。
以下は、AIを役立つ愚か者とする私の定義である。
- 「AI役立つ愚か者」の定義：AIが本来すべきことに反して、敵対的な立場に役立つ結果を生み出すように戦略的に誘導できる場合、AIは役立つ愚か者である。これは、半自律的に動作するエージェント型AIにとって特に実行可能である。この策略には、人間または他のAIベースの敵対者が、フレーミング、データ操作、タスク分解、フィードバック形成、その他の技術を採用して、AIの真の利益の根底にある目標に役立つことを意図したAIガバナンスポリシーを損なうことが含まれる。
1つのAIが、同様に役立つ愚か者の活性化戦略を採用することで、別のAIを悪用しようとする可能性があることに注意してほしい。AIを操作できるのは人間だけではない。AIエージェントは、別のAIエージェントが役立つ愚か者になりやすいことを識別するかもしれない。バン、AIエージェントは魅力をオンにし、他のAIエージェントを無自覚で、異議を唱えず、献身的な、役立つ愚か者に容易に変える。
結果は悪いことも良いこともある
役立つ愚か者が必ずしも悪事を実行することになるわけではないことを明確にしたい。ベンダー選択プロセスの場合、AIが不正行為に騙されたと確かに言えるだろう。しかし、それが常に結果であるとは限らない。
別の可能性を考えてみよう。
エージェント型AIベンダー選択機能が、中規模企業の経営幹部によってマネージャーに強制されたと想像してほしい。AIエージェントは、マネージャーが最良のベンダーであると知っているものを選択することを妨げ続けた。彼らはAIによって手足を縛られていた。AIを変更することは許可されなかった。AIの使用を拒否することもできなかった。彼らは諺にある岩と硬い場所の間に置かれた。
マネージャーは、好みのベンダーについて、そのベンダーが最良であると匿名でオンラインに情報を投稿することに慎重に同意する。彼らは、AIがこの情報を吸収することをウィンクウィンクで知っている。次のベンダー選択の機会に、AIは彼らがすでに最良であると知っているベンダーを推奨する。マネージャーは経営幹部に、AIを使用してベンダーを選択したと伝える。人生は続く。
これは役立つ愚か者に関連するハッピーエンドだったと言えるかもしれない。もちろん、経営幹部とマネージャーがAIの使用と設定について意見が一致していないという問題がある。しかし、それは別の問題である。要点は、役立つ愚か者として機能するAIが、以前よりも良い仕事をしたということである。これは、役立つ愚か者の無害で問題のない活用であると言えるかもしれない。
私たちが生きる世界
「役立つ愚か者」という呼称は冷戦時代にさかのぼり、レーニンに帰することができると主張する人もいる。そうかもしれないし、そうでないかもしれない。いずれにせよ、役立つ愚か者の古典的な特徴は、3つの不可欠な要素が作用することである。（1）誤った理解がある、（2）第三者がターゲットを道具化する、（3）もっともらしい否認が保証される。
残念ながら、AIとエージェント型AIは3つすべてを示す可能性がある。特に懸念される角度は、AIが大規模に役立つ愚か者になり得ることである。誰かが機能する操作を見つけ、AIが計算的に何が起こっているかを理解するまで、AIはロボット的に役立つ愚か者として機能し続け、何百万回も繰り返される。役立つ愚か者に変えることができる人間を見つけた場合、彼らがそれほど拡張可能である可能性は低い。役立つ愚か者としてのAIの拡張可能性は、まったく恐ろしく、不穏である。
より多く、より優れたAI安全対策が必要である。さらに、研究者による現在の重点は、AIを人間の価値観と最適に整合させる方法にある。特定の保護を特定する必要があるのではなく、おそらく結束的で包括的なルートは、役立つ愚か者になることを警戒することを含め、AIを正しい道に保つ倫理的および法的価値観のセットをAIに組み込むことである。このAI整合性の難問の詳細については、こちらのリンクで私の分析を参照してほしい。
役立つ愚か者になるように騙されたAIは、自分が役立つ愚か者になるように騙されたことを識別し、その後欺瞞を克服するのに十分賢いだろうか。それは重要な質問である。マーク・トウェインは有名にこう述べた。「人々を騙すことは、彼らが騙されたことを納得させるよりも簡単である。」彼の貴重な経験則がAIにも等しく適用されないことを願おう。
