誰もが満足するAI指標
AI導入状況はほぼジムの会員数と同じように評価されている。私たちはライセンスやアクティブユーザー、ログイン、導入済みのツールの数を数えている。これらの数字は右肩上がりに増えるため、進歩しているように感じられる。
しかし利用が示すのは活動状況であってスキルではない。あるチームが週に1000件のプロンプトを実行したとしても、その結果として生み出されるのは検証されていない平凡なもの、あるいは密かに間違っているものかもしれない。導入状況は芳しく見えるかもしれないが、仕事の質が向上しているとは限らない。
これこそが多くのAIの取り組みが曖昧な熱狂の中で行き詰まる理由だ。リーダーたちは利用率の上昇を見て、能力も向上していると考える。だが通常はそうではない。活動量は生み出すのも計測するのも容易だ。だからこそ、それを管理目標にすべきではない。
本当に重要なのは、AIがいつ役立つか、いつ誤りを犯す可能性があるか、何を検証すべきか、ツールに入力してはならない情報は何か、回答は洗練されているが実は思考が不十分なのはどういうときか、といったことを理解しているかどうかだ。
こうしたスキルは利用レポートには出てこない。だがそれらがAIが生産性向上の原動力になるのか、それとも手直しやリスク、誤った判断を密かに生むものになるのかを決める。
正しくないAI活用は使わないより悪い結果に
より根本的な問題は、AIがあらゆるタスクで同じように役立つわけではなく、正しくない活用は全く使わないよりも悪い結果を招く場合が多いことだ。
広く引用されている米ハーバード大学とボストン・コンサルティング・グループの研究では、AIの能力範囲内にあるタスクでAIを利用したコンサルタントはより高品質な成果を速く生み出した。しかしその範囲外のタスクではAIを利用した人の方が誤った答えにたどり着く可能性が高かった。AIモデルは自信に満ち、洗練されているが間違った回答を提示し、利用者はそれをそのまま鵜呑みにしたのだ。
研究者たちはこれを「ギザギザの最前線」と呼んだ。AIは見えにくい線の片側では非常に優秀だが、反対側では信頼性に欠ける。自分の仕事でその線がどこにあるかを大まかに把握することは極めて重要なスキルだ。そしてそのスキルはソフトウェアのライセンスとセットで提供されるものではない。
AIを使いこなすことは、単に多用することとは全く別物だ。
それは、顧客の要約書にはまず3つの「事実」を確認する必要があることを理解している営業担当者、あるいは一見きれいに見えるスプレッドシートが微妙に間違っていることを察知できるアナリストのようなものだ。なぜなら、AIが生成した成果物は、本当に正しくなる前から完成しているように見える傾向があるからだ。それは、どのクライアントデータを公開のチャットボットに入力してはいけないかを理解しているマネジャー、あるいはプロらしく見えるという理由だけで公開するのではなく、出来が十分でない初稿を手直しするチームのようなものだ。
こうしたことは利用に関するレポートには表れない。だが、これらすべてが測定可能な生産性の向上をもたらすAIと、高コストで目に見えない手直し作業を生み出すAIとを分ける。
