AI

2026.11.21 09:21

AIのバックログ解消は生産性向上の証拠にならない

Adobe Stock

Adobe Stock

BRANDVOICE | Paid Program

もっと見る>

AIによって従業員がプロジェクト提案書をより迅速に作成できるようになったコンサルティング会社を想像してほしい。より多くの申請が、少人数のシニア審査者のもとに届くようになる。

経営陣はより厳格な受付基準を導入する。数週間後、順番待ちリストは短くなり、承認までの時間も短縮された。次の業務レビューで、チームはそのルールを全社に適用することを提案する。

それは合理的な提案だ。専門家の時間は貴重でコストがかかる。重複した申請や準備不足の申請を排除すれば、より有用な業務のためのリソースが確保できる。

しかし、プレゼンテーションでは、新ルールによって除外された提案についてはほとんど語られていない。

方針を全社に広げる前に、経営陣は改善された数値が何を意味しているのかを知る必要がある。

待ち行列の短縮は有用なシグナルだ

AIによる生産性を真剣に捉えるべき正当な理由がある。学術誌『クォータリー・ジャーナル・オブ・エコノミクス(The Quarterly Journal of Economics)』に掲載された2025年の研究において、エリック・ブリニョルフソン、ダニエル・リー、リンジー・レイモンドは、5172人のカスタマーサポート担当者におけるAI支援を調査した。彼らは1時間あたりの課題解決数が平均15%増加したと推定している。この研究はある1社での段階的な導入を追跡したものであり、あらゆる場所で同様の成果が得られることを証明しているわけではない。Oxford University Press

重要なのは結果だ。単に生成されるテキストが増えることではなく、解決された顧客の課題である。経営陣はなお、自社のワークフローにおける結果を評価する必要がある。

待ち行列の減少は手がかりにはなるが、その改善がどのようにして起こったのかを説明するものではない。

申請がより迅速に審査を通ったのかもしれない。提出数自体が減少したのかもしれない。あるいは、取り下げられたり、他へ回されたり、審査なしで終了したりしたのかもしれない。バックログの数値が同じように減少していても、その背景にある変化はさまざまだ。

バックログの減少のうち、申請の受け入れを減らしたことではなく、有用な仕事を完了させたことによるものはどれくらいあるだろうか。

まずは、待機時間と、チェックや修正に費やした時間を分離することから始めよう。それらの変化を完了した成果や投入したリソースに関連付ける。また、方針の変更に伴って、人員配置や需要、受け入れる業務の難易度が変化していないかも確認する。

ルールによって見えにくくなるもの

意思決定に関する過去の研究が、見落としがちな要素を解明する手がかりになる。

ヒマビンドゥ・ラッカラジュらの2017年の論文では、「選択的ラベル(selective labels)」について分析された。意思決定によって、観察可能となる成果が決定づけられるという概念だ。一例としてスタートアップへの出資が挙げられる。新興企業が出資を受けられなかった場合、その支援を受けていればどのような成果を上げていたかを観察することはできない。PubMed Central (PMC)

この論文はAI生成による審査バックログを分析したものではないが、ここでの関連性は「エビデンス(証拠)」に関する問いにある。

冒頭の架空の会社に話を戻そう。新しい基準が、明確で短期的なリターンが見込める提案を優先するものだったとする。不確実性を伴うアイデアは、その可能性を評価するに足る証拠を提示できるようになる前に振るい落とされてしまうかもしれない。

その選択は限られたリソースを守ることにはなるかもしれない。しかし、有益な機会の発見を阻害してしまう可能性もある。バックログが減少したという事実だけでは、どちらの解釈が正しいかを経営陣に伝えることはできない。

却下ログに記録されるのは「決定」であって、その提案が支援を受けていれば達成できたはずの成果ではない。専門家の見積もりは判断の参考にはなるが、実現しなかった結果を観察可能な事実へと変えるものではない。PubMed Central (PMC)

仕事を却下することが正しい判断である場合もある

優れたマネージャーは、チームの時間を割く価値があるものを選別しなければならない。

すべての提案を活かそうとすれば、より優れた仕事を押し出してしまう可能性がある。逃したかもしれないあらゆる機会を調査しようとすれば、受付ルールによって減らそうとした負担を再現することになりかねない。

却下された提案の中に価値あるものが1つ見つかったからといって、そのルールが悪手であることの証明にはならない。その提案の価値は、審査者の時間を解放したことで実現可能になった業務の価値を下回っているかもしれないからだ。

役立つ問いはより限定的だ。「現在のプロセスと提案されたルールの間での意思決定を変え得る、欠落した情報とは何か」ということだ。

まずは、2つのアプローチで扱いが異なる申請に焦点を当てる。両方のアプローチで却下される申請であれば、その可能性について多くを突き止めても、比較検討における価値は乏しい。

かける労力はステークの大きさに見合ったものであるべきだ。信頼できる成果指標を備えた安定したプロセスであれば、追加の検証はほとんど必要ないかもしれない。一方で、全社的に貴重な専門家へのアクセスを変更するようなルールには、より厳格な比較検証が必要だ。

チェック方法そのものが変わっていないか確認する

受付段階での選別は、問題の一部に過ぎない。

この会社がさらに第2段階の審査ステップを廃止し、その後に不具合の報告が減ったと仮定しよう。成果物の品質が向上したのかもしれない。しかし、審査プロセス自体が問題を検出できなくなっただけかもしれないし、扱う件数が減ったり容易な申請ばかりになったりしただけかもしれない。

コリン・ベグとロバート・グリーンズは、1983年の学術誌『バイオメトリクス(Biometrics)』の論文で、関連する測定上の問題を分析した。確実な事後確認が行われた症例のみで医学的検査を評価すると、その正確性の推定が歪む可能性がある。これは医学的検査における手法上の注意点であり、職場の審査削減が必ず害を及ぼすという証拠ではない。PubMed

独立した同等の検証を行っても、品質の改善は確認できるだろうか。

私なら一貫した基準を用い、類似した種類の業務を比較し、問題が表面化するまでの同等の時間を設ける。検出された総数だけでなく、エラー率やその深刻度を検証する。問題が検出されないチェックが数回あったからといって、稀に発生する重大な失敗を排除できたことにはならない。

重要なのは2つの比較だ。類似した業務を検証することで、品質が変化したのか、それとも検出能力が変化したのかを評価できる。ワークフロー全体を俯瞰することで、どの業務を受け入れるかを変更したことによる便益とコストを把握できる。選択の精度が向上したことで結果が改善したのであれば、それはルールの正当な成果といえる。

私の見解では、経営陣はルールが業務そのものに与える影響と、業務に対する視点に与える影響の両方を検証すべきだ。PubMed Central (PMC)

つまり、AI審査ルールの適用拡大にあたっては、待ち行列の指標だけに頼って成功を定義するのではなく、完了した成果、品質、そして総コストを評価すべきなのだ。

運用中の承認プロセスを変えずにルールを検証する

選択肢の1つとして、提案されている厳格な受付ルールの「シャドーテスト(平行運用試験)」を限定的に行う方法がある。現在の正式なプロセスはそのまま運用しつつ、新ルールであれば何を受け入れ、何を排除するかを記録するのだ。

このテストにより、ルール間の重要な相違点を明らかにできる。ただし、新ルールの純生産性向上を確立することはできない。観察される成果は依然として既存のプロセスから生じているためだ。

十分な数の申請件数があり、成果のサイクルが比較的短い、低リスクの社内ワークフローを選択する。安全に関わる決定や必須の承認、顧客へのコミットメントなどは実験対象から除外する。

適切な環境であれば、6週間のスケジュールが機能するだろう。最初の1週間でルールと評価基準を定義し、次の2週間で申請を受け入れ、残りの週を追跡調査と判断のレビューに充てる。なお、6週間というのは例示であり、十分なエビデンスを保証するものではない。

開始する前に、重視すべき成果、許容できる品質限界、そしてどのような結果が出れば方針変更が正当化されるのかを特定しておく。使用するスタッフの作業時間に上限を設ける。結果を見る前に評価基準を確定させておく。

通常の審査結果が判明する前に、シャドーテストでの判断を記録する。可能であれば、通常の審査者にはその存在を知らせないようにする。待機時間、実際の審査および手戻りの工数、完了率、品質を記録・追跡する。品質評価は、シャドーテストの判断を知らない第三者が行うようにする。

2つのルールで扱いが異なる申請、特に現在のプロセスでは受け入れられるが、新ルールでは排除される業務について、より深く検証する。

そうした業務が有用な成果を生み出している場合、その発見をただちに新ルールを否定する証拠と捉えるのではなく、トレードオフを検討する理由として扱う。「どんな便益が失われる可能性があるか」「解放されたリソースは現実的にどのような業務に活用できるか」を考える。

削減された審査者の1時間は、自動的に金銭的な節約になるわけではない。その効果は、経費を削減できるか、価値ある業務を可能にするか、あるいは他の明確な目的に役立つかによって決まる。同じ時間を「人件費の削減」と「アウトプットの増加」の両方として重複してカウントしてはならない。

成果が現れるまでに時間がかかるものもあることを認識しつつ、比較可能な申請には一貫した追跡調査を行う。未解決の業務は保留として記録しておく。長期的な視点が必要な提案が、単に観察期間が終了したという理由だけで失敗と判断されるべきではない。

テスト結果からはいくつかの意思決定が導き出される。重大な案件が排除されていた場合はルールの修正が正当化される。排除された案件の多くが重複や不適切なものであった場合は、管理された実運用テストへの移行を後押しする。ケース数が少なすぎる場合や結果が不十分な場合は、比較検討は結論が出ないままとなる。

評価期間を延長するのは、追加情報によって重要な意思決定が変わり、そのコストに見合うだけの価値がある場合に限るべきだ。

制約を認識しておくことも重要だ。シャドーテストでは、従業員が実際のルールにどう反応するか、生み出された時間をどう活用するか、あるいはどのようなアイデアの提出をやめてしまうかまでは分からない。そうした影響を見極め、規模拡大の判断を下すには、さらなるエビデンスが必要となる。

本質を見極めて拡大の意思決定を下す

最終的な結論は、ルールの全社展開かもしれない。あるいは受付要件の調整、チェック機能の維持、あるいは限定的なテストの継続かもしれない。

目的は、改善を疑うことでも、すべての申請を維持することでもない。責任ある選択を下すために、その結果生じる影響を十分に理解することだ。

ルールの変更によって受け入れるものやチェックするものが変われば、視界に残る機会やエラーの範囲も変わってくる。したがって、経営陣の果たすべき役割は、単に待ち行列を解消することにとどまらない。

何が改善されたのか。何が見落とされるようになったのか。そして、このルールを全社に広げるに足る十分なエビデンスはあるのか。

(forbes.com 原文)

タグ:

advertisement

ForbesBrandVoice

人気記事