人工知能（AI）について、私たちは誤った想定をしている。AIに委ねるあらゆるプロセスを監督するために、人間が「ループの中に」いる必要があると考えてしまうのだ。しかし、マネージャーが人間の部下の仕事を一つひとつ確認するわけではないのと同様に、AIエージェントに対しても広範な監督を行い、目標、制限、監査証跡、トークン消費量、説明責任の構造を設定すればよい。
こう語るのは、セールスフォース（Salesforce）の最高倫理・人道利用責任者兼プロダクト担当EVPを務めるポーラ・ゴールドマン（Paula Goldman）だ。著書『Manage the Machine: How to Harness Human-AI Collaboration at Work』を持つゴールドマンは、マイケル・クリグスマン（Michael Krigsman）がホストを務める「CXOTalk」のエピソードに出演し、エージェントに何を任せるかの選択が結果、コスト、リスクを左右すると指摘した。
問われるべき質問は「どの意思決定をテクノロジーに任せ、どの意思決定に人間が責任を負うべきか」だと彼女は言う。ループの中ではなく、舵取り役として人間を置くことが、エージェントの目標、制限、エスカレーショントリガーを設定し、監査証跡の異常を監視できるようにする鍵となる。
人間を「ループの中に」置くことは、AIエージェントの世界では機能しないと彼女は指摘する。「エージェントの要点は、目標に至るまでの複雑な一連のステップを推論し、それを実行することにある。人間が5万件のデータポイントを一つひとつ確認して検証するのは現実的ではない。それではエージェントを持つ意味がなくなってしまう」
同時に、何かがうまくいっていない場合に人間がそれを察知できること、そして異常が人間のマネージャーにエスカレーションされるようパラメーターを事前に設定できることが不可欠だ。「これを私たちは『舵取り役としての人間』と呼んでいる」とゴールドマンは言う。「人間は依然として説明責任と制御権を持ち続け、適切な結果を得るためにツールを微調整できる。その一方で、エージェントの力を活用して自分の代わりに仕事を進めてもらうことができる」
ゴールドマンは、エージェントを設定・展開する際に次のステップを推奨する。
- エージェントの主要な目標を設定する。「何に取り組ませたいのか」
- エージェントの立ち入り禁止領域となるトピック、タスク、状況を特定する。
- 人間のマネージャーにエスカレーションすべきトピック、タスク、状況を特定する。
- 明確な説明責任の構造を確立する。「新しい店舗を開いたり新しい人材を雇ったりして、報告先を誰も持たせないということはしないだろう」。例えば、IT部門が基本的なテクノロジーを担当し、ビジネスマネージャーが知識や基準設定を監督する、といった具合だ。
同じく重要なのは、AIが自分たちの仕事をどう変えていくかを形作る場に、従業員が参画できるようにすることだと彼女は続ける。「現場に最も近い人々こそが、AIがどのように改善に役立つか、どこに落とし穴があるかを理解している」
AIエージェントの行動を追跡する監査証跡は、AI成功のもう一つの鍵となる要素だ。「監査証跡は非常に、非常に重要だ」とゴールドマンは言う。「だからこそ、特に大きなビジネス課題に対して、エージェントをただ投入するべきではない。これらのコントロールを組み込んでおきたい。監査証跡はいわば領収書であり、エージェントが何をしたかを正確に教えてくれる。多くの人々がAIエージェントとやりとりすることになる。それらすべての異なるやりとりと何が起きたかを把握したいはずだ」
舵取り役の人間は「どの異常を探しているかを正確に示すコントロールを設定できる必要がある。データ量が膨大なので、手作業では確認しきれないからだ」。
