重要なお知らせ 「Forbes」の名称を使用した営業活動にご注意ください

AI

2026.10.10 07:11

AIの普及に追いつかない信頼、溝を埋める鍵は「説明可能性」

Adobe Stock

Adobe Stock

ここ数年、企業におけるAI競争は「モデルの優位性」を競う戦いとして語られてきた。各社はベンチマークを比較し、インフラに投資し、最新の基盤モデルを本番環境に投入しようと急いだ。高性能なAIへのアクセスが希少だった時代には理にかなっていたが、モデル性能が急速に向上し、エージェント型ツールが増加し、AIが企業の意思決定ワークフローに浸透しつつある今、それはもはや十分な理由とは言えない。

次なる差別化要因は「信頼」である。それは、情報がどこから来たのか、どのように管理されたのか、なぜAIシステムが特定の回答を出したのか、そしてその回答が最も重要な場面でも擁護できるかを示す能力によって実証される。

最近の出来事を見れば、この変化を無視することはますます難しくなっている。現在、業界で最も熱く議論されているのは、相次ぐAIの安全性への警告を受けて、最先端の研究所(フロンティア・ラボ)が開発ペースを落とすよう調整すべきかどうかという点だ。しかし、企業の内部では、より目立たない、しかし即座の変化がすでに起こっている。企業は、能力の問題ではなく、信頼と主権の問題を理由に、最先端モデル(フロンティア・モデル)の採用を手控えているのだ。The Informationの報道によると、Anthropic(アンスロピック)やOpenAIの法人顧客は、データの保持と使用方法に関する未解決の懸念を理由に、これらの研究所の最も高度なモデルの使用を制限したり、拒否したりし始めている。

市場の反応は、「AI主権(AI sovereignty)」を求めるものだった。つまり、データがどこに存在し、誰の法律がそのアクセスを管理するかを含め、データ、システム、およびそれらが生成する出力に対する所有権と制御を維持する能力である。多くの場合、これには、オンプレミス、クラウド、エアギャップ(外部ネットワークから隔離された環境)、またはエッジなど、データが存在する場所にデータを留めておく、高度に微調整された自己ホスト型の小規模なモデルが必要となる。企業におけるAIの普及を研究しているウォートン・スクールのイーサン・モリック氏は、汎用的な最先端モデルに追いつくレベルのモデルを維持することはコストがかかり、AIの能力が飛躍的に向上するたびに困難を極めるようになると、最近指摘している。そして、システム全体を自社で所有すること自体は、管轄権の問題を解決するだけであり、信頼の問題を解決するわけではない。組織が、自社のAIシステムが生成した内容を説明し、正当性を証明できるかどうかは、それが誰のインフラ上で動作しているかとは関係がないのだ。

きわめて高性能なモデルであっても、断片化され、古く、ガバナンスが不十分な情報に基づいて動作すれば、悪い結果を生み得る。顧客サービスでは、それは自信に満ちた誤回答を意味する。金融サービス、医療、防衛、その他の規制産業では、同じ失敗がコンプライアンス上、業務上、またはレピュテーション上の問題になり得る。企業が問うべき問題は、「どのモデルが最良か」から「このシステムに安全に依拠させられる情報は何か、そしてその理由を証明できるか」へと変わりつつある。モデルの周囲にポリシーレイヤーを追加するだけでは不十分である。組織には、データそのものに伴走する管理策が必要だ。誰がアクセスできるのか、いつ更新されたのか、どのような変更が加えられたのか、出力が当該意思決定の根拠と一致しているのか、という管理である。その文脈がなければ、回答は正確に見えても、検証不能なままである。

筆者の会社Prosper Insights & Analyticsによる最近の調査では、経営幹部および事業主の53.2%がすでに生成AIを使用していると回答しているのに対し、従業員は37.9%にとどまる。この差は、リーダー層がAIのメリットを捉えるべく迅速に動いていることを示唆している。

しかし、同じ経営陣もリスクに対して盲目ではない。40.2%が「AIが誤った情報を提供する可能性」を懸念しており、39.3%が「人間の監視が必要である」と答え、32.0%が「AIが使用するデータに関する開示と透明性の向上」を求めている。導入の広がりと不信感は同時に高まっているのだ。

この組み合わせは、企業のAIへの向き合い方を変えるべきである。リーダーが従業員、顧客、規制当局にAI支援による意思決定を信頼してもらいたいのであれば、ガバナンスはモデルが回答を生成する瞬間に始まるのでは不十分だ。情報がシステムに入る前の、もっと早い段階で始まらなければならない。

SeekrのCEOであるパット・コンド氏は次のように述べている。「AIが信頼されるためには、あらゆる回答の背後にある4つの要素、すなわち、AIが学習したデータ、与えられた文脈、それを生成したモデル、そしてエージェントがそれに対して取った行動について説明できなければならない。最先端モデルを含め、ほとんどのAIシステムは、よくてこのうちの1つか2つしかカバーしていない。彼らが提供しているのはデータの追跡可能性(トレーサビリティ)であり、それは実質的に『回答はこの情報源から得られたと思う』という程度のもので、しかもモデルはその情報源についても頻繁にハルシネーション(幻覚)を起こす。これでは、回答を説明するには不十分だ。来歴(プロベナンス)と系統(リネージ)は、これら4つの要素すべてを網羅していなければならない。つまり、情報がどこから来て、各段階でどのように変換されたのかである。これが実現して初めて、説明可能性が得られる。そして、その説明可能性が、データを管理する国の法律の下でデータとともに維持されるとき、主権が得られるのだ。説明可能性のないデータのローカライズ(所在地の維持)だけでは、主権とは言えない」

独立した調査もこれを裏づけている。マッキンゼーの2025年版「State of AI」調査では、AIを利用している組織の回答者の51%が、その利用によって少なくとも1つの悪影響を経験したと回答し、最も多く報告された問題は不正確さだった。説明可能性は、組織が経験したと報告したリスクの1つだったが、最も一般的に軽減策が講じられているリスクには含まれていなかった。導入は、結果を理解し、擁護するために必要な仕組みを上回るペースで進んでいる。

技術的な証拠も同じく厳しい。スタンフォード大学HAIの2026年版AI Indexは、ある新しいベンチマークにおいて、主要26モデルの幻覚率が22%から94%に及んだと報告した。モデルの能力だけでは検証の必要性はなくならず、システムが自律性を増すほど、その必要性は高まる。

エージェント型AIに関するProsperの調査結果も、同じ点を示している。経営幹部および事業主のうち17.5%がすでにエージェント型AIを使用していると答えており、同様に回答した従業員の6.6%の2倍以上となっている。

それでも、エージェント型AIを良いアイデアだと答えた経営幹部は33.8%にとどまり、35.7%はわからない、30.5%はそう思わないと答えた。早期導入者の間でさえ、信頼は能力に追いついていない。

コンド氏は、業界が信頼の問題を逆にとらえていると主張する。「ユーザーにAIを信頼するよう求めるのではなく、検証するための証拠を提供するべきだ。現在のAIのあまりにも多くが、前提とされた信頼の上で機能している。ベンダーが『機能する』と言い、回答が自信ありげに聞こえるから、皆がそのまま受け入れてしまう。企業は監査なしに上場することはないし、AIもそれと同等の厳格な精査と説明責任なしに、重大な意思決定を行うべきではない。自らのプロセスを証明し、結果に異議を唱え、修正できる組織こそが、AIを重要なワークフローに導入していくだろう。それ以外の組織はパイロット運用の段階から抜け出せない。なぜなら、規制当局や顧客、取締役会に対して『モデルがそう言ったから』という言い訳は通用しないからだ」

これが重要なのは、モデル層が静止し続ける可能性は極めて低いからだ。企業は複数のモデルを使用し、プロバイダーを切り替え、より小規模な専門システムを展開し、より自律的なエージェントを導入していくだろう。1つのモデルに結びついた戦略は急速に陳腐化する。信頼できる情報を中心に据えた戦略こそが、ビジネスとともに歩み続ける。

リーダーにとって、これは管理されたデータを戦略的資産として扱うことを意味する。影響力の大きいワークフローにおいて、どの情報源が信頼できるかを特定すること。データの来歴と系統を可視化すること。障害が発生した後ではなく、導入前に評価基準を確立すること。人間の関与(ヒューマン・イン・ザ・ループ)が必要な箇所を定義すること。そして、AIシステムが何を言ったかだけでなく、どのような情報がその回答を形成したかを示す証拠の痕跡を残しておくことだ。

企業AIの第1段階では、最良のモデルにアクセスできた者が報われた。次の段階で報われるのは説明可能性である。すなわち、どのモデルの出力についても、要求に応じて、その背後にある証拠と推論を示す能力だ。重大な失敗によってこの問いを突きつけられる前に、今この基礎作業を行うことが、AIを責任ある形で拡大することに真剣なあらゆる組織にとって優先事項であるべきだ。

開示:上記で言及した消費者意識調査は、筆者の会社であるProsper Insights & Analyticsによって実施された。これは全米小売業協会(NRF)も使用しているデータセットと同じものであり、Amazon Web Services(AWS)、Databricks、ロンドン証券取引所グループ(LSEG)からも経済ベンチマークとして提供されている。

(forbes.com 原文)

タグ:

advertisement

ForbesBrandVoice

人気記事