古代ギリシャでは、最高の知性は知識ではなく、フロネーシス（実践的知恵）だった。これは、トレードオフをどう扱うか、不確実性の中で決断をどう下すか、そして正解が明らかでない状況でどう行動するかを司る判断力のことだ。
撤退すべきかを決断する将軍を想像してみよう。手術のリスクを検討する医師。競合する権利のバランスを取る裁判官。彼らはいずれも、公式がなく、競合する目標と不完全な情報しかない状況に直面している。彼らは何が起こるかを知っているからではなく、何が起こるべきかを決めなければならないから行動するのだ。
現時点では、AIエージェントはそのような推論に到達していない。これまで私たちが構築してきたものは、予測という別の世界に存在している。モデルに十分なデータを与えれば、次に何が来るか—次のトークン、次のフレーム、次のタンパク質構造—を予測することが非常に得意になる。過去5年間の主要なAIブレークスルーのほぼすべては統計的予測の勝利であり、それによって私たちは非常に速く、非常に遠くまで進んできた。
しかし、AIエージェントの構築を始めた今、予測の限界が見え始めている。エージェントは次に何が来るかを推測するだけでなく、何をすべきかを選択する必要があり、分別力、つまりフロネーシスは、いまだに私たちの手の届かないところにある。
予測は比較的容易だ。
簡単に言えば、予測は統計的であり、判断は方向性を持つものだ。
• 予測は問う：「これまで見てきたすべてを考慮すると、最も可能性の高い次のステップは何か？」
• 判断は問う：「不完全な情報、競合する優先事項、実際の結果を考慮すると、どのような行動を取るべきか？」
例えば、健康保険会社のAIエージェントを考えてみよう。保険契約者から医療処置が保険適用されなかったことに不満の電話があったとする。AIエージェントはこれを請求の問題として正しく識別し、選択肢の説明を始めるかもしれない。
しかし、通話の途中で、顧客が前回の自己負担額を支払えなかったため治療を受けなかったと言及する。ここで状況は一変する。
エージェントは請求に関するスクリプトを続けるべきか？すぐに人間にエスカレーションすべきか？これを潜在的な健康リスクとしてフラグを立て、内部プロトコルに従うべきか？顧客は明示的に助けを求めていないが、文脈は極めて重要だ。最も重要なのは、システムの対応が顧客満足度だけでなく、健康状態にも影響を与える可能性があることだ。
「正解」は一つではないが、どの選択にもコストがある。
2024年後半のラマー大学による体系的なレビューは、AIの意思決定に関する100以上の研究を分析し、そのギャップを明確にした：AIはパターン認識に優れている一方で、曖昧さ、競合する目標、欠落データが実際の決断を強いる状況では一貫して失敗している。
実世界で活動するAIエージェントは、常にこのような状況に直面するだろう。彼らは以下のことが必要になる：
• 相反する目標の優先順位付け。
• 不完全な文脈での意思決定。
• 曖昧な入力への対応。
• 効率性、安全性、倫理的制約のバランス。
• 長期的な結果に関する推論。
これこそが決定木が作られた理由だと思うかもしれない。ある意味、それは正しい。決定木は機械推論の初期の足場として、明確で構造化され、追跡しやすいものだった。しかし、決定木は整然とした問題（例えば、離散的な入力と予測可能な分岐）のために構築された。
今日のAIエージェントは全く異なるゲームをプレイしている。大規模言語モデル（LLM）とその周辺アーキテクチャは、その場で適応し、不確実性を評価し、静的なツリーにハードコードされていないオプションを提示できる。それでも、タスクが実際の分別力を要求する場合—つまり、問題が最良の一手を選ぶことではなく、変化する状況で「最良」が何を意味するかを決定することである場合—彼らは苦戦し始める。
さらに、課題は意思決定だけではない。データが尽きたとき、価値観が衝突したとき、そしてどのオプションも事前に定義されたパスにきれいに収まらないときに行動できるエージェントが必要だ。それが決定木の終わりであり、次世代のAIエージェントが始まるべき地点だ。
統計はどこで破綻するのか？
AIシステムが幻覚を見るとき、それは必ずしも何かが間違っているからではない。時には、すべてが設計通りに正確に機能しているからこそ起こる。最も可能性の高い次の単語を予測するように訓練されたモデルは、たとえそうでなくても、もっともらしく聞こえるものを生成する。それが統計的推論の本質であり、パターンで空白を埋めるのだ。
ほとんどの場合、それで十分だ。しかし、それが破綻するとき、その下にある足場がしばしば原因となる。判断における技術的なギャップは、より多くのデータやより大きなモデルを必要とすることを超えている。それは現在の予測システムが欠いている能力を必要としている。
世界モデリング
世界モデリングとは、システムがどのように動作するかについての因果関係表現を構築する能力だ（つまり、入力がプロセスをどのように伝播するか、行動が状態変化をどのように引き起こすか、フィードバックループがどのように発生するかなど）。
不確実性の定量化
これは、AIエージェントが校正された信頼スコア、ベイズ推論、アンサンブル手法、または外部リスク閾値を通じて不確実性に基づいて行動するべきことを意味する。これは、保険、医療、銀行業務など、エラーのコストが高い領域では任意選択ではない。
反事実推論
反事実推論とは、エージェントが観察された結果だけでなく、もっともらしい代替案に基づいて行動を評価しなければならないことを意味する。これには、シミュレーション、学習モデル、または構造化された推論を使用して、選択されたパスと選択されなかったパスの間の影響の違いを推定することが含まれる。
明示的な目的関数
ほとんどの環境には競合する目標が含まれている。AIエージェントは、「もしも」のシナリオや代替結果を考慮するなど、目的関数を表現し、優先順位を付け、動的に適応するメカニズムが必要だ。
価値観の整合性
価値観の整合性には、ドメイン固有の制約と人間の価値観を決定ポリシーに直接組み込むことが含まれる。これには解釈可能性、監査可能性、そして時には直接的な人間のフィードバックが必要であり、広範なデータセットでの事前トレーニングだけでは不十分だ。
さらに、これは根本的に異なるアーキテクチャ、トレーニングアプローチ、システム設計を必要とする。私たちはすでに、検索拡張生成（RAG）、ツールを使用するエージェント、マルチエージェントのオーケストレーション、シミュレーションベースの微調整が保険などのセクターで実際に使用されているのを目にしている。
分別力は特にCXにおいて抑制に関するものだ。
CXはしばしばAIエージェントがその限界に直面する場所だ。なぜなら、コンテキストが静止しておらず（つまり、顧客の述べたニーズが必ずしも意図したものとは限らない）、AIエージェントはそれが完全に明らかになる前に応答しなければならないからだ。究極的に、フロネーシスは確実性についてではなく、正解が明らかでないときに行動の重みを担うことについてであり、それがCXが要求するものだ。
エージェントがそのような深さで推論できるようになるまで、ガードレールは顧客を保護し、AIエージェントに慎重に選択することの意味を教えるのだ。
