Nataliia Onyshkevychは、カスタマーサポートのアウトソーシング企業EverHelpのCEOである。あらゆるサポート業務に精通している。
AIというテーマは、ここ数年カスタマーエクスペリエンス（CX）分野で注目を集めている。しかし、この技術には信頼性の問題やエラーの可能性という欠点がまだ存在する。実際、デロイトによると、77%の企業がAIの幻覚によってサイバーセキュリティ戦略が妨げられることを懸念している。カスタマーサービスの文脈では、誤った情報や作り話の回答が顧客との関係に永続的なダメージを与える可能性がある。
AIの幻覚を完全に回避することは可能だろうか？いいえ。最小限に抑えることは可能だろうか？はい、その方法を説明しよう。
AIはなぜ、どのように幻覚を起こすのか？
AIは誤ったトラブルシューティング手順を送信したり、存在しない機能、割引、製品を作り出したりすることがある。例えば、実際には行われていないのに「40%オフのセール中」と伝えてしまうことがある。これはエア・カナダのチャットボットで実際に起きたことで、同社の忌引き旅行ポリシーについて誤った情報を提供した。顧客が約束された割引を請求したとき、その割引は予約後ではなく予約前にのみ有効であることが判明した。
当社のAIアシスタントは一度、顧客に対して「この問題を人間にエスカレーションします」と言って、自分がAIであることを告白してしまった。当社のAIは人間のように応答するようプログラムされていたため、顧客は人間のエージェントと話していると確信していたので、これは顧客を混乱させた。また、バックグラウンドで実行されるはずだった思考プロセス（チケットの分類とエージェントへのエスカレーション）も漏洩してしまった。
また、AIが返金処理を行う代わりに、銀行でチャージバックを申請するよう顧客に提案するという状況も経験した。別の混乱では、AIが英語ではなくイタリア語で返信してしまった。AIは製品の在庫状況や注文状況についても誤った情報を提供することがある。あるいは、保証条件や返品などを含む会社のポリシーを完全に作り変えてしまうこともある。
これらはすべて誤解を招き、顧客の時間を浪費させる。そしてこれが起こると、顧客を失うリスクがある。CyaraによるForresterレポートによれば、調査対象ユーザーの30%が、不十分な体験を受けた場合、購入を諦めて別のブランドに移ると回答している。
幻覚が起こるのは、AIのパフォーマンスが主に与えられたデータに基づいているからだ。AIは事実を検証するようには訓練されておらず、入力に関係なく応答を提供するように設計されている。回答の基となるデータがない場合、「わかりません」とは返答せず、以前に処理した類似の質問に基づいて回答を作り出そうとする。
サポートにおけるAIの幻覚をどう減らすか？
AIの誤りは評判、顧客維持率、そして文字通りの金銭的損失という形で高くつく。エア・カナダはAIのエラーにより、顧客に812カナダドルを支払う義務が生じた。これらのリスクを最小限に抑えるための戦略を採用することが極めて重要だ。
以下は、私のチームがAIの幻覚を軽減するために使用している主要な4つの実践方法だ：
1. ヒューマン・イン・ザ・ループ
ワークフローに人間を加えることで、AIの行動を制御し、複雑で重要な状況に介入することが可能になる。私たちはAIにチケットをエージェントにエスカレーションするよう訓練し、事前にできるだけ多くのシナリオを生成している。シナリオには、AIがデータベースに持っていない技術的な質問、否定的な感情が表現されたリクエスト、法的用語や機密情報などが含まれる。
以下はエスカレーション対象としてフラグを立てるリクエストの例だ：
1. 「すでに3回も連絡しているのに、まだ返金を受け取っていません！」（不満が検出された）
2. 「個人データが同意なく共有された場合、どのような法的措置を取れますか？」（ポリシー/責任問題）
また、AIが質問を理解できない場合に、作り話をするのではなく、人間にチケットを転送するよう設定している。これは骨の折れるプロセスだ。なぜなら、AIはLLM（大規模言語モデル）ベースで動作し、前述したように、その本質は回答を生成することにあるからだ。そのため、モデルがランダムな回答を生成しないよう、事前にあらゆることを考え抜くよう最善を尽くしている。
2. 企業データとの統合
正しく機能するために、AIは企業のデータにリアルタイムでアクセスする必要がある。最新データの取得に少しでも遅延があると、AIは正確な回答を提供できなくなる。
同様に重要なのは、AIがどこからデータを抽出するかだ。私たちは既存のデータベースを使用してAIを訓練することはしない。なぜなら、時間の経過とともに、どのデータベースも現在のデータと矛盾する古い情報を蓄積するからだ。その代わりに、当社のチームは正確でタイムリーな情報、AI用に特別に記述されたプロセス、そして知るべきではない記録がゼロの別個のナレッジベースを構築している。これはAIにとって唯一の信頼できる情報源として機能し、検証済みデータから逸脱することを防ぐ。内部データベースを更新する際、AIが機密情報を取得して顧客に開示する心配をする必要はない。
3. 明確な指示
AIが物事を誤解する可能性のある過度に複雑な指示は避けるべきだ。これには否定的および矛盾する構造も含まれる。私のチームは、否定的な言い回しを肯定的なものに変えることで、AIのパフォーマンスが向上することを発見した。例えば：
言わないこと：「顧客の支払い情報を共有しないでください。」
言うべきこと：「支払いについて話す際は、カードの下4桁と取引日のみを参照してください。」
矛盾する指示については、「これが起こったら、それをする」という例に従って、明確に定義されたアクション階層を作成する。
矛盾している例：「どの競合他社の価格にも対応する」と「13%までの割引のみ承認する」
明確な例：「競合他社の価格差が13%を超えるかどうかを確認する。13%未満の場合は、価格マッチをすぐに承認する。13%を超える場合は、競合他社の証拠を添えてマネージャーにエスカレーションする。」
継続的なモニタリングとフィードバック
調整なしで完璧に動作するモデルはない。AIの会話ログを定期的にモニタリングして、エラーを特定し修正する必要がある。当社では、人間とAIのモニタリングを組み合わせて使用している。つまり、精度を体系的にテストする自動チェックを設定し、最終レビュアーとして人間の専門家を配置している。AIは一部の一般的なミスを自力で検出できるが、文脈や感情認識の検証は常にエージェントによって行われる。
AIを成功に導くための設定
AIの幻覚は致命的な欠陥ではなく、既知の解決策がある課題だ。目標は、ミスが顧客に影響を与える前に検出するメカニズムを作ることだ。
慎重に実装することで、AIは日常的な質問やエラーを処理し、人間は複雑さとニュアンスをカバーすることができる。この労働分担により、正確性と効率性を高め、ブランドが顧客への約束を確実に果たすことができる。
