AIは新たな段階に入りつつある。数年にわたる実験期間を経て、企業は現在急速にAIを実運用へと移しており、自律型エージェント（自ら判断して動くAIプログラム）が顧客対応、ソフトウェア開発、財務、業務運営の各分野で、実際の仕事を担い始めている。
しかし、そのエージェントがミスをしたら何が起きるのか。
ジェニファー・テハダは、数十年にわたり技術の大きな変革期に企業を率いてきた。彼女が拠点とするサンフランシスコのPagerDutyは、企業がITのインシデント（障害）を検知し、優先順位をつけ、対応するのを支援するデジタルオペレーション企業だ。テハダは同社の元CEO、そして会長として、2019年の新規株式公開（IPO）と、その後10年にわたる成長を牽引した。今はAIブームから生まれる機会に注力する一方で、20以上の高級美容ブランドを抱えるエスティ ローダー カンパニーズ（ELC）の取締役も引き続き務めている。
「私は1990年代後半、インターネットが大きな力になりつつあった頃にIT業界にいましたし、クラウド革命のときもこの業界にいました」と彼女は語った。「AIが実験段階から実運用へと移っていくのを今こうして目にできるのは、心躍ることです」。
こうして実運用が広がるにつれ、巨額の投資も呼び込まれている。BNP Paribasによれば、ハイパースケーラー（大規模なデータセンターを運営する巨大クラウド事業者）は2026年、AIインフラに過去最高となる7250億ドル（約117兆円）を投じる見通しだ。これは前年の設備投資見込み額のほぼ2倍にあたる。大規模なデータセンターの建設や、メタが展開する「アメリカズ・ワークフォース・アカデミー（America's Workforce Academy）」のような人材育成プログラムを通じて、その影響はシリコンバレーをはるかに超えて広がっている。
とはいえ、AIは能力を高めるほど、扱いも難しくなる。
テハダが指摘するのは、機動的な「ワン・アンド・ツーピザ・チーム」の台頭だ。これは、チームはピザ1〜2枚で足りるほど小規模であるべきだというアマゾン（Amazon）の哲学に由来する。企業が、それぞれ独立して動く専門特化型AIエージェントの集団を次々と配備するようになり、イノベーションは加速している。だがその一方で、問題に気づく人の目は減り、新たな運用リスクも生まれている。
従来のソフトウェアは、何かが壊れると通常はそこで動作を止める。ところがAIシステムは、本来意図された挙動から静かに逸脱しながらも、そのまま動き続けてしまう。
「AIが逸脱すると、それはむしろ見えにくい」とテハダは言う。「逸脱がいくつもの形で実行されてしまうまで、気づかない。そして気づいたときには、複数の障害へと発展してしまっている」。
この現象はモデルドリフト（model drift）として知られ、現実世界の状況が変化するにつれてAIシステムの精度が徐々に低下していくことで起こる。そのため、検知されないまま放置すれば、たった1つの誤りが、相互に接続されたアプリケーション、顧客、自動化された業務フローへと連鎖的に広がっていく。
その教訓は、昨年10月に起きた大規模なAWS障害で痛烈に示された。この障害では1000を超えるウェブサイトやデジタルサービスに支障が生じ、現代の企業がいかにクラウドインフラに依存するようになったかが浮き彫りになった。企業がAIエージェントを大規模に導入していく中で、これと同じような連鎖的障害を防ぐことは、やがて取締役会レベルの優先課題になる──テハダはそう考えている。
彼女が出した答えは、「AIにAIを見張らせる」ことだ。
「いずれ人間は、自分たちの代わりにエージェントを見張ってくれる何かを求めるようになります」と彼女は語った。「その何かは、エージェントがどう働いているかについて偏りのない見解を示し、気に入らない点があればエージェントの作業を中断・停止できるようにしてくれるものです」。
現在AIエージェントを試している人への彼女の助言はシンプルだ。安全策を組み込むこと。具体的には、エージェントに、動作を止めることと、逸脱し始めたら自ら報告することを教え込み、小さな問題が大きくなる前に介入できる仕組みを作っておくことである。
「この複雑さのすべての先には、医療から自動運転による輸送に至るまで、私たちが目にし始めている素晴らしい進歩という恩恵があります」とテハダは語った。「目指すべきは、重大な失敗を避け、小さな失敗から学ぶことです」。
