Calin Drimbauはbroadnの共同創業者兼CEOである。
今日、企業は反復的なタスクの完全自動化を約束する企業からの営業を頻繁に受けている。これらの企業は、人間が実際の作業を行う「AIエージェント」のセットを監督する未来について語る。
デモはいつも印象的だが、製品が本番環境に入ると、多くの問題が発生することが多いと私は気づいた。これにより、当初の約束をはるかに下回る結果につながる。問題はテクノロジー自体にあるわけではない。実際の構成と実装プロセスにある。
ハーバード・ビジネス・レビューによると、組織はAI支出の93%をデータ、テクノロジー、インフラに充てているが、業務再設計やトレーニングなどの人に関連する問題にはわずか7%しか投資していない。この不均衡が、多くの実装が期待に届かない理由を説明している。
「デモの罠」
問題は、AIエージェントが実世界の実装の複雑さに対処できるという期待にある。AIエージェントが助けなしにビジネスプロセスの複雑さを理解することはほぼありえない。人間が対処するエッジケースや予期せぬデータの不整合を理解することはないだろう。製造業のクライアント向けにAI実装を主導してきた私の経験では、これらの教訓が直接的に現れている。
ある製造業クライアント向けの営業見積もりエージェントの初期本番実装中に、私は厳しい教訓を学んだ。メールで営業見積もりを生成するエージェントを設計したが、テストでは優れていたものの、実際の顧客メールの30%で失敗した。モデルの能力の問題ではなく、ワークフローの適合性とデータの清潔さの問題だった。その気づきにより、私は現在、テクノロジーではなくプロセスから始めて、すべての新しい実装にアプローチするようになった。
プロジェクトが失敗するのは、未発達のテクノロジーではなく、ミスアラインメントが原因であることを学んだ。意図的にプロセスに従うことで、実装の摩擦を減らし、エージェントが本番環境で生き残ることを確実にするのに役立つ。
ステップ1：実際のワークフローをマッピングする
コードを書いたりテクノロジーを適応させたりする前に、実際のワークフローをマッピングすることが役立つ。これは、「ホワイトボーディング」セッションで顧客とサービスプロバイダーが並んで座って行うことができる。ハッピーパスを超えて、エッジケース、データの不整合、予期しないシナリオについて考えることが重要だ。
この段階でデータサンプルを取得することがよくある。人間は例外に慣れてしまうため、エッジケースを特定できるのはデータ分析を通じてのみだ。
私が主導したカスタマーサービスエージェントの実装では、クライアントのワークフローが進化したプロセスを含んでいることを特定した。人間は3つの異なるシステムとウィキでデータを検索し、時には生産ラインの専門家に電話する必要があった。これは、ワークフローを深く掘り下げる前に顧客が説明したものよりもはるかに複雑だった。
ステップ2：ボトルネックを測定する
どのワークフローを自動化するかの優先順位付けは、多くの場合、単純ではない。ROIを定量化するために、企業は時間、引き継ぎ、エラーを追跡する必要がある。すべての機会が同等ではないからだ。
私が見つけた最適な出発点は、明確なルールとワークフローのバリエーションが少ない、高頻度の使用事例を特定することだ。例えば、ケーブル製造業を経営している場合、性質が似ている一連の見積もり依頼を受け取る可能性が高い。それらを処理するプロセスは、明確で繰り返し可能なルールに従う。これは始めるのに最適な場所だ。
しかし多くの場合、課題はエッジケースの管理にある。これらは、非標準のプロセスに従う必要があるかどうかを評価するために人間の判断が必要な状況だ。そして、これらの状況に対応するソリューションを構築することが、実際の努力が必要な部分だ。
ソリューションの有効性を評価するための重要な質問は：それは時間を節約し、同時に品質を維持したか？ということだ。
ステップ3：製品ではなくプロセスとしてテストする
始める最良の方法は、常に最初に人間をループに入れることだ。これにより、AIエージェントが必要な精度を提供しないすべてのギャップを特定できる。ここから、ギャップを埋めるためにワークフロー、プロンプト、モデルを改善できる。
手動検証の後、スケールのためのオプションを評価できる。これには、オーケストレーションの改善、APIの構築、モデルの微調整などが含まれる。出発点は最小限の実用的なエージェントであるべきだ：最小限の価値あるスコープに取り組むエージェントだ。
個人的な経験から、ハイブリッドワークフロー（AIとルールベースのロジックを含むワークフロー）は、完全にエージェント型のワークフローよりも優れたパフォーマンスを発揮する。重要なのは、まずプロセスをテストし、次に製品をテストすることだ。
実用的AIのチャンピオン
最終的には、盲目的な技術採用ではなく、実用的な自動化のチャンピオンとして自分を考えることが重要だと私は気づいた。従うべき指針となる質問は：このソリューションは、新たな問題を作り出すことなく、より速く物事を完了するのにどのように役立つか？成功は常に節約された時間とユーザー満足度で測定されるべきだ。
エージェント型ソリューションは、管理されたデモだけでなく、実際の複雑な業務でも時間を節約できる。これは、サービスプロバイダーと顧客の両方がワークフローに注意を払い、ボトルネックを測定し、本番稼働前にプロセスをテストするときに実現する。
