オマー・ハフェズ氏はThink Big TechnologyのCEO兼創業者である。
AIスタートアップの開発を主導し、厳格な規制環境下で製品を構築するチームと密接に協力してきた者として、私は、有望なシステムが管理された環境を離れた途端にいかに急速に機能不全に陥るかを目の当たりにしてきた。
なぜ多くのAIシステムは理論上は優れたパフォーマンスを発揮するのに、実践では苦戦するのか
今日の市場にはAI製品が溢れている。コパイロットから自動化ツールまで、イノベーションは急速に加速している。しかし、これらのシステムが未開拓の業界に導入されると、その限界が明らかになる。問題はモデル自体にあるのか、それともそれらが配置される環境にあるのか。
多くのAIソリューションは、デモンストレーション環境では優れた性能を発揮する。入力を効率的に処理し、出力を迅速に生成し、多くの場合、非常に正確に見える結果を生み出す。AI駆動型の火災スプリンクラー設計図生成システムを開発・実演した我々自身の経験において、この力学は明確だった。
デモンストレーション中のフィードバックは圧倒的に好意的だったが、企業オーナーや業界リーダー、つまり不正確な設計図に関連する現実世界のリスクを理解している人々の間に、一定の躊躇が見られた。彼らは、カバレッジのわずかな誤りでさえ、システム障害、規制違反、最悪の場合には制御不能な火災被害や人命損失といった壊滅的な結果につながる可能性があることを認識している。
デモンストレーションは、システムが実際に使用される条件をどの程度反映しているだろうか。データが不完全または不整合である場合、規制上の制約に従わなければならない場合、または間違いのコストが無視できるものではなく重大である場合、何が起こるのか。こうした環境では、AIシステムが何ができるかと何をすべきかの区別が極めて重要になる。
我々は理想的な条件のためにAIを構築しているのか、それとも実際に動作することが期待される環境のためなのか
多くの運用環境や規制環境において、「ほぼ正確」では不十分である。ほとんどの場合うまく機能するAIシステムは、消費者向けアプリケーションでは許容されるかもしれないが、ハイステークスな業界では、わずかな誤差でさえ財務的、法的、または運用上のリスクをもたらす可能性がある。では、そのギャップを埋めるには何が必要なのか。単により優れたモデルなのか、それともこれらのシステムの設計方法の転換なのか。
チームは、現場で実際にどのように作業が行われているかを理解することにより多くの時間を費やし、その上で構築すべきである。検証レイヤーの追加、人間をループに組み込むこと、システムが既存の業務に適合することを確認することなどが、使用可能なものを作る上で大いに役立つ。
実際には、こうした環境向けにAIを構築するには、モデルのパフォーマンス以上のものが必要である。機械学習システムの上に階層化された構造化ロジック、明確な検証経路、そして多くの場合、人間による監視が必要である。また、無視できない業界標準やコンプライアンスフレームワークとの整合性も必要である。これらの要素がなければ、最も高度なモデルでさえ、意味のある採用を獲得するのに苦労する。
なぜAI製品は既存のワークフローに導入されると失敗するのか
多くのAIシステムは、実際にどのように作業が行われているかを十分に考慮せずに、孤立して開発されている。確立されたプロセスを持つ業界では、採用は単に新しいツールを導入することではなく、混乱を最小限に抑える方法で既存の環境と統合することが求められる。システムはレガシーインフラと並行して機能できるか。それらを置き換える前に、現在のワークフローをサポートできるか。段階的な採用のために設計されているのか、それとも即座の変革を前提としているのか。これらの考慮事項が、成功と失敗を分ける決定要因となることが多い。
同時に、これらの業界におけるAIへの需要は増加し続けている。オペレーターは自らのワークフロー内の非効率性をますます認識しており、精度を向上させ、手作業を削減し、スケーラビリティを高めることができるソリューションを積極的に求めている。しかし、その需要と並行して、懐疑的な見方も高まっている。有望なデモンストレーションが一貫したパフォーマンスに結びつかないのを目にした組織はどれだけあるか。実際の運用方法と統合されないツールに投資した組織はどれだけあるか。こうした環境で信頼を得るには何が必要なのか。
最大の転換点は、モデルそのものではなく、それが実際に使用される場所について考えることである。多くのチームは理想的な条件のために構築するが、現実世界は混沌としている。データは不整合で、ワークフローは標準化されておらず、間違いのコストは高くなり得る。
機能する製品を持つだけでは不十分である。信頼は、実証された信頼性、業界標準との整合性、そしてシステムが実際の条件下で一貫してパフォーマンスを発揮するという証拠を通じて構築される。
AIは実際にどこで価値を提供するのか
私の経験では、最も効果的なシステムは、人間の専門知識を増強するものである。目標は意思決定を排除することではなく、反復作業を削減し、一貫性を向上させ、専門家がより高い価値のあるタスクに集中できるようにすることである。このようにアプローチすると、AIは摩擦点ではなく、力の増幅器となる。
業界は現在、実験段階から実装段階へと移行している。成功するソリューションは、それらが奉仕することを意図された環境を深く理解して設計されたものになるだろう。これは元の問いに戻る。AIと現実世界のパフォーマンスのギャップをどう埋めるか。
答えは、我々が構築するものとそれが使用される場所との間のより良い整合性にある。デプロイメントをゴールラインではなく、構築プロセスの一部として扱うことが重要である。システムが実際の条件にさらされるまで、そのパフォーマンスを本当に知ることはできず、そこでほとんどの学習が起こる。
最も成功を収めるチームは、時間をかけて製品がエッジケースや不完全な入力をどのように処理するかを改善し続けるチームである。結局のところ、物事が完璧でないときに耐えられるものを構築することが重要なのだ。
