AIリスクをめぐる議論は、間違った問いを発し続けている。経営幹部たちは、モデルがどれほど賢くなるのか、人間を超えるのか、いつか制御不能になるのかを問い続けている。これらは確かに長期的な課題だ。しかし同時に、すでに目の前にあるリスクから目をそらす要因にもなっている。より差し迫った危険は、知能が高すぎるモデルではない。リスクは、通常の不完全なモデルが、何をすることを許されているのか、間違いを犯したときに誰が責任を負うのかを誰も決めないまま、実際の業務フローに組み込まれることにある。
この変化は今、深刻さを増している。なぜなら、AIが助言から行動へと移行しているからだ。いわゆるエージェント型システムは、メールの下書きを作成するだけでなく、それを送信し、請求書を承認し、生産ラインのスケジュールを変更し、トラックの経路を決定することができる。問題は、モデルが何を知っているかではなく、組織がそれに何をさせるかになる。
助言と行動は別物だ
ほとんどの企業にとって、AIは主に生成ツールだった。下書きを作成し、要約し、推奨し、回答する。有用であり、時には間違っているが、出力と結果の間には依然として人間が立っている。助言には判断の余地がある。
行動はその余地を取り除く。融資を承認し、保険金請求を却下し、生産スケジュールを変更し、医療記録を更新し、ロボットアームを動かすAIは、意思決定を提案するのではなく、実行する。チャットボットでは厄介な問題だったエラー率は、同じシステムが自らの出力に基づいて行動することを許された瞬間、真の責任問題となる。モデルがより危険になったわけではない。あなたが与えた権限が危険なのだ。
失敗は映画のようには起こらない。それは退屈なものだ
AIリスクの一般的なイメージは、暴走する超知能だ。現実的なバージョンははるかに平凡であり、それこそが危険な理由だ。近い将来のAI障害は、通常の業務上の障害のように見えるだろう。古いデータ、脆弱な統合、オーナー不在のプロセス、疲れたレビュアーが承認をクリックすること、誰もテストしなかったエッジケース、誰かが気づく前に1万回繰り返される小さなエラー。ドラマはない。ただ、複合的に蓄積される損害があるだけだ。
その大部分の根底にあるのは、名前の欠如だ。従業員が誤った判断を下したとき、説明責任の連鎖は通常明確だ。モデルが行動を推奨し、第2のシステムがそれを実行し、人間がそれを形式的に承認するとき、責任は溶解し始める。私が間近で見てきた導入事例では、失敗の原因はモデル自体であることはまれだ。それは、オーナーの不在だ。あなたの会社で最も危険なAIは、最も賢いものではない。それは、誰も所有していないものだ。
AIが画面を離れた瞬間、リスクは高まる。ソフトウェアでは、ミスは不適切な文書を生み出すかもしれない。工場、病院、その他の物理的環境では、設備を損傷し、ケアを混乱させ、人を傷つける可能性がある。
準備不足のギャップはすでに測定可能だ。グラント・ソーントンの2026年AI影響調査は、約1000人の上級ビジネスリーダーを対象とした調査で、経営幹部の78％が、自社組織が90日以内に独立したAIガバナンス監査に合格できるという完全な確信を持っていないことを明らかにした。言い換えれば、多くの企業は、誰がそれを所有し、どのように動作し、失敗したときにどう対応するかを証明できる前に、AIを実際の業務フローに深く押し込んでいる。
ガバナンスは法務部門を離れなければならない
ほとんどの企業は依然として、AIガバナンスを書類仕事として扱っている。利用規定、ベンダーチェックリスト、モデルカード、コンプライアンス承認。必要だが、十分ではない。AIが業務内で行動し始めたら、ガバナンスも業務的にならなければならない。定義された権限の制限、ログ記録、監査証跡、リアルタイム監視、エスカレーション経路、人間による上書き、そしてオーナーが紐付けられた緊急停止スイッチ。システムがなぜ行動したのかを誰も再構築できないなら、誰もそれを統治していない。
「ヒューマン・イン・ザ・ループ」は誰もが使う言葉だが、通常は曖昧すぎて何の意味もない。どの人間か？どのような権限、どのような情報、どれだけの時間、そしてシステムを停止させるどのような実際の権限を持っているのか？理解していない推奨事項に対して承認をクリックする人は、制御ではない。それは責任のパフォーマンスだ。ループが機能するのは、その中にいる人間がエラーを見て機械を止められる場合だけだ。
正しい基準
これらのいずれも、AIを完璧という幻想に縛り付けることを主張するものではない。人間もエラーを起こしやすく、適切に制限されたAIシステムは、それが置き換える手動プロセスよりも安全で監査可能である可能性がある。それが真のテストだ。モデルが完璧かどうかではなく、以前のものよりも優れ、追跡可能で、制御可能かどうかだ。その基準をクリアするなら、どこでどのように行動するかについての制御を伴って展開せよ。そうでないなら、減速せよ。
AIを重要な業務フローに組み込む前に、リーダーは平易な言葉で短いリストに答えられるべきだ。それはどのような決定を下せるのか？どのような行動を引き起こせるのか？どのくらいの頻度で間違うのか、そして誰がそのエラーを見るのか？誰がそれを止められるのか、そして誰が結果に責任を負うのか？一般的なケースでは見事に機能し、まれなケースで失敗したとき、何が起こるのか？
AIの未来は、モデルがどれほど知的になるかだけで決まるわけではない。それは、私たちがそれらをどこに配置し、どれだけの権限を与え、それらが行動するときに誰かが依然として説明責任を負っているかどうかによって決まる。真のリスクは知能だけではなかった。それは、規律なき展開だ。
