顧客が企業のAI戦略を目にすることはない。顧客が目にするのは、パーソナライゼーションモデルが自分のためだけに組み立てたホームページ、次に購入すべき商品を勧めるアプリ、AIが作成した検索結果、そして返金問題を解決してくれるか、あるいは堂々巡りに閉じ込めるサポートエージェントである。
現在、デジタル体験のあらゆるレイヤーにAIが組み込まれている。ウェブ、モバイルアプリ、コンテンツ、そしてインタラクションの双方で機能するエージェントも増えている。
筆者は過去2年間にわたり、企業がこれらすべてにAIを組み込む様子を見てきたが、ある不都合な結論に至った。AI活用に成功している企業と、失態を演じている企業の差は、戦略資料にほとんど登場しないある規律に行き着く。それは「品質」である。
AIが失敗するときは、公衆の面前で失敗する
エア・カナダの例を見てみよう。同社のサポート用チャットボットは、存在しない忌引返金ポリシーを捏造した。悲しみに暮れる顧客がそれを信じ、カナダの裁判所は、チャットボットは独立した法的主体であるという同社の主張を「驚くべき主張」として退け、ボットの発言に対する同社の責任を認める判決を下した。
また、あらゆるCFOが誘惑に駆られる賭けに出たクラーナ（Klarna）の例もある。同社は顧客サービスにおいて「AIファースト」を掲げ、自社のAIがエージェント700人分の業務をこなしたと宣伝した。しかし、同社のCEOがブルームバーグに対し、コスト削減を重視しすぎた結果、「最終的に品質が低下してしまった」と認め、再び人間の採用を始めたことで、その賭けは失敗に終わった。
両社ともAIへの野心や予算が不足していたわけではない。決定的な瞬間に不足していたのは、AI戦略に見合うだけの品質戦略だったのだ。
そのような品質のギャップを抱えることなく、AIファーストの体験を実現したいと考えるリーダーたちに、筆者は次のように伝えている。
顧客が実際に使用する方法で体験をテストする
従来のテストスイートは、想定通りの正常系（ハッピーパス）を検証するが、実際の顧客は誤字脱字、イレギュラーな事例（エッジケース）、感情的な表現を伴ってアクセスしてくる。
AI体験は、同一の意図に対する何千通りもの表現パターン、敵対的なプロンプト、そして単一のやり取りだけでなくカスタマージャーニー全体を通じて検証されなければならない。これは、人間のチームが手作業でシナリオを作成できる規模をはるかに超えている。
現実的な解決策は「合成ユーザー（synthetic users）」だ。これは、エンドユーザーとして機能し、さまざまな顧客層が実際に操作するであろう方法でシステムをテストする、AI駆動型のペルソナである。
合否（パス／フェイル）以上のものを測定する
対話型AIにおいて、合否によるチェックだけでは到底不十分である。技術的にはやり取りが完了していても、顧客にとっては失敗に終わっていることがあるからだ。したがって、重要となる品質の評価軸は、意図が実際に認識されたか、回答が事実に即しているか（あるいはハルシネーションか）、会話がどのように流れたか、解決までに何往復要したか、そして回答がポリシーの範囲内に収まり偏見がないか、といった全く別の点にある。
チャットや音声のエージェントについては、偏見の検出からファイルから抽出した情報の正確性に至るまで、多様な観点から品質を追跡することが重要だ。これらの一つひとつが、二者択一のテスト結果では隠されてしまう失敗のパターンをあぶり出すことができるからである。
必要になる前にオブザーバビリティ（可観測性）を構築する
AIエージェントのテストにおいて、最も重要となる付随要件の1つがオブザーバビリティ（可観測性）である。これは、AIが本番環境で適切に機能しているか、あるいは不調であるかを継続的に把握できる能力を指す。
モデルやプロンプト、基盤となるデータが変化するにつれて、AIによる体験も変化する。そのため、リリース前にテストした同じ品質指標を、本番環境のシグナルとして継続的に追跡する必要がある。これには、実際のインタラクションからサンプリングした回答の正確性、意図の認識率、有人対応へのエスカレーションの急増、センチメントの傾向、会話の長さの推移などが含まれる。
本番環境とテストのループを閉じる
オブザーバビリティによって検知されたすべてのエラーは、永続的なテストシナリオに組み込まれるべきだ。そうすることで、同じ過ちが二度と本番環境にリリースされるのを防ぐことができる。本番環境で得た知見を合成ユーザーのペルソナにフィードバックするチームは、個々のインシデントを永続的なテストケースへと変えている。
このループはリリースを重ねるごとに強化され、数カ月も経てば、テストスイートは単なる予測ではなく、実際に不具合が起きる箇所を検証できるようになる。
機械同士はすでに会話している
これらすべては、構造上の重要な結論を示している。対話型AIを大規模に検証する現実的な方法の1つは、別のAIを使ってテストすることである。
エージェントテストは、実際の顧客と同じように、顧客対応AIと対話し、精査し、負荷をかけることができる。これにより、従来の回帰テストスイートではほとんどカバーできない多様なパターンで合成ペルソナを実行し、上記の品質指標に基づいて各やり取りを評価する。
顧客が調査や交渉、購入を代行させるために、自身のAIエージェントを送り込むようになると、この能力は企業の死活問題となる。その時点では、自社のAIと他社のマシンとの会話そのものが顧客体験となり、そこには人間の監視は介在しないからだ。
自動化を設計する前に、人間への引き継ぎを設計する
アドビの2026年消費者調査によると、AI体験において顧客が最も重視する信頼要因は「いつでも人間に交代できること」であり、またアバイアの調査では、約4分の3の顧客がAIしか提供していないブランドから離れることが明らかになっている。
実務において、これは人間への引き継ぎ（ハンドオフ）が、ボット自体よりも開発上の注意を払うべきであることを意味している。引き継ぎは確実に作動し、会話の文脈をすべて保持したまま引き継がれ、引き継ぎ自体の満足度スコアによって測定されなければならない。
業界の分析でも、顧客ロイヤルティを予測する指標として、自己解決率（コンテインメント率）よりも引き継ぎの品質を重視する傾向が強まっており、筆者の経験もこれと完全に一致している。
CXとエンジニアリングでスコアカードを一本化する
さらに本質的な変化は組織的なものである。なぜなら、CX（顧客体験）チームが顧客への約束を担い、品質保証チームがその検証を担うなか、AIによって両者の距離が一気に縮まったからだ。
体験そのものが自動生成されるとき、誤った回答はバグであると同時に、ブランドイメージを左右する瞬間であり、法的義務を生じさせる可能性すらある。つまり、これら2つの部門は、回答の品質、引き継ぎの満足度、対応デバイスの範囲、および信頼性指標を網羅した共通のスコアカードを共有し、同じテーブルで議論する必要がある。
AIファーストの体験を構築している経営陣に、1つ問いかけたい。もし明日、顧客が最も利用しているAIの導線で密かに不具合が発生した場合、何がそれを検知するだろうか。もし率直な答えが「顧客からのクレーム」であるなら、貴社のAI戦略は品質戦略よりも先行しすぎている。一刻も早くそのギャップを埋めるべきだ。
