たとえば、銀行にとって潜在的な価値をもつ顧客がAIシステムによってローンを拒否される場合や、AIベースの採用システムが偏見や性差別的な結果を出すなども考えられる。
だが、AI主導のプロセスを止めるために人間が介入することを後から心配するということは、それはすでに手遅れであることを意味しているのかもしれない。レンセラー工科大学の教授で、同大学のフューチャー・オブ・コンピューティング・インスティテュート所長のジェームズ・ヘンドラーは、そもそもこのような段階にさえ至るべきではなかったと述べている。
ヘンドラーは、「AIを使用するシステムが対話的に使用されるよう正しく設計されているのなら、決定の覆しや取消しをネガティブに捉えるのは間違っています」という。「そもそもシステムと人間が協力して問題を解決すべきなのであり、特に人間の専門知識が必要な場合には、技術と人間の相互作用が重要なのです」
インフォシスのデータ・分析・AI部門のグローバル責任者であるユニル・セナンは、このような状況では、慎重に「設計段階から責任を組み込む」ことがAIシステムとのバランスの取れた人間の相互作用を確保するのに役立つかもしれないと述べる。「AIの決定を容易に覆せるようにすることは、特定のアプリケーションとそのリスクレベル、透明性、ユーザーの専門知識、そして進化するAI開発の状況に基づいて、設計段階から慎重に検討されるべきものです」
セナンは、AIによる決定を阻止するために人間が介入しなければならなかった事例を挙げた。「不正検出ツールによる誤検知を特定するために、フラグ付きのトランザクションを精査することから、自動運転車への安全介入、デリケートなソーシャルメディアのコンテンツに関する重要な判断を下すなど、人間が倫理的な考慮事項を整理し、クリティカルシンキングを行い、AIのトレーニングを超えた状況の処理を確実に行う必要のある分野があります」
もちろん、それはユースケースの重要性に大きく左右される。ORO Labsの製品マーケティング責任者であるティモシー・ハーフィールドは、人間の監視の程度は、「特定のタイプのAIと、特定の領域におけるリスク許容度に依存する」と述べている。「たとえば、マーケティングにおいては、機械学習は、単純なルールベースのアプローチよりも優れた性能を発揮するため、特定の人物に提示する適切なオファーの選択に非常に効果的であることが証明されています。もし失敗しても、相対的なビジネスリスクは低いのです」
