AIは、完璧に解くことが不可能な複雑なタスクに取り組む。実際、AIという分野が決定的かつ客観的な定義を拒み続けていることを考えれば、これはAIの定義としてかなり妥当なものかもしれない。
近年の生成AIの台頭は、AIプロジェクトの野心を高めるうえで少なからぬ役割を果たしてきた。AIシステムは今や、カスタマーサービス担当者、アナリスト、教育者、仮想アシスタントの役割を担う可能性があるものとして称揚されている。筆者は、それが近いうちにそこまでの本格的な自律性を実現することには懐疑的だが、新たに登場しつつあるアプローチは、たとえやや控えめな導入目標に限られるとしても、大規模言語モデル（LLM）を制御する可能性を示している。
しかし、何十年も前から存在する予測AI（かつては「予測分析」と呼ばれていた）でさえ、不完全にしか解けないタスクに取り組んでいる。それが予測である。分析手法は驚異的な勢いで進歩しているが、われわれは魔法の水晶玉を開発しているわけではない。誰がクリックし、購入し、嘘をつき、あるいは死ぬのかを、全般的に高い確信度で予測するシステムを現実的に期待することはできない。
生成AIと予測AIのシステムはいずれも、自らの不完全さの後始末をつけなければならない。問題を完璧に解くことはできないため、フェイルセーフが必要になる。
インスタカートと不確実性を管理する技術
インスタカート（Instacart）は、ほぼあらゆる小売チェーンから食料品や日用品を注文し、自宅配送してもらえるサービスだが、そこには本質的な制約がある。あなたの代わりに買い物をする人が、選んだ商品が在庫切れだと気づくことがあるのだ。
予測AIは、この課題への対応に適している。顧客が最も満足しそうな代替商品をAIで予測することにより、インスタカートは商品が在庫切れの場合に、可能な限り最適な代替品を提示できる。
これは、AIに広く付きまとう難題を見事に例示している。目の前の複雑な問題を解くこと、すなわちこの場合でいえば、カタログにある膨大な商品の中から最適な代替商品を選ぶことと、システムが自らの確信度を測り、そのうえで自律的に行動すべきかを判断することは別である。AIは文化的に、こうした複雑な問題に取り組むことに焦点を当ててきた。しかし、この重要なステップは、業界内でまだ十分な注目を集めていない。
ここで登場するのが、インスタカートの機械学習エンジニアリングマネージャー、アサス・バジャジ（Ahsaas Bajaj）である。マサチューセッツ大学アマースト校でコンピューターサイエンスの修士号を取得し、ウォルマート、ゴールドマン・サックス、サムスンでの勤務経験を持つバジャジは、高い顧客満足度を維持しながら、リアルタイムで何億もの業務上の意思決定を下すシステムを開発してきた。
バジャジは、目の前にある確信度に関わる本質的な難しさを理解している。「代替商品の提案が多くの機械学習プロジェクトより難しいのは、意思決定空間が極めて大きいからです。1回の予測につき、候補商品が数千に上る可能性があります」と彼は筆者に語った。これに対処するため、バジャジのシステムは明示的な確信度に基づいて動作する。こうした確信度の指標が、実行時の判断を左右する。「潜在的な代替商品を厳しく絞り込みすぎれば、価値を取りこぼします」と彼は言う。「しかし、絞り込みが緩すぎれば、確信度の低い提案が表示され、ユーザーの信頼を損ないます」。予測モデルの質と明確なビジネス判断とのギャップを埋めるところに、AIシステムが極めて大きな価値を生み出せる余地がある。
では、AIシステムはどのようにして自らの確信度を測るのか。
自らの確信度を測るAIシステム
予測AIは、あらゆる種類のAIシステムに信頼性のガードレールを提供する。どのケースに人間の貴重な関与が必要かを予測することで、本来なら使い物にならないシステムが、広く解き放たれるために必要な信頼を得ることができる。これは、急速に台頭しているハイブリッドAIの形態の中でも、最も重要なものの1つである。
例えば、病院や医療提供者ネットワークは、医療保険請求を自動作成するためにAIシステムを使っているが、その後、別の予測AIモデルを用いて、どのケースが請求却下のリスクが高いかを判断している。これにより、人間を慎重に関与させ、提出前に高リスクの請求を確認させることができる。
ただし、ケースごとの確信度を算出するために、必ずしも別の予測モデルが必要なわけではない。2011年、IBMのワトソン（Watson）は、テレビのクイズ番組『ジェパディ！（Jeopardy!）』で歴代の人間チャンピオンを破ったが、その成功は各問題の正解を予測しただけでなく、その答えに対する自らの確信度を測ったことにもよる。このゲームでは、早押しボタンを押して回答し、間違えると減点されるリスクがあるため、確信度が勝負の鍵を握る。
ワトソンは、候補となる答えが正解かどうかを予測するために機械学習モデルを使う。多数の潜在的な答えに対してこのモデルを繰り返し適用し、最も正解である可能性が高いと予測した候補を選ぶ。一挙両得なことに、候補の答えを順位付けするために使われる同じ予測スコアが、最上位に選ばれた答えに対する確信度の指標にもなる。
例えば、『ジェパディ！』でかつて次のような問題が出された。「細胞分裂において、有糸分裂は核を分裂させ、細胞質分裂は核を包むこの液体を分裂させる」。システムは上位の候補回答を次のように順位付けした。
細胞質（Cytoplasm）：確信度92%
細胞小器官（Organelle）：確信度19%
液胞（Vacuole）：確信度10%
血漿（Plasma）：確信度3%
ミトコンドリア（Mitochondria）：確信度2%
ワトソンは最上位の候補である「細胞質」を選んだ。そして、その候補を最上位に位置付けた92%という確信度は、その答えに対する確信度そのものとなる。ワトソンの仕組みの概要については、書籍『Predictive Analytics』の第6章を参照されたい。
インスタカートの代替システムも、これと似た仕組みで動く。例えば、あなたがあるブランドのハチミツ風味のシリアルを注文したとしよう。ブランド、部門、価格、そしてオーガニック、ビーガン、ベジタリアン、無脂肪といった食事属性などの商品特徴に基づいて、モデルは代替候補の商品にスコアを付ける。これには、別ブランドのハチミツ風味シリアルのほか、グラノーラクラスターのような別の代替候補商品も含まれ得る。それぞれの確信度、すなわち顧客が代替品として満足するだろうと予測される確率は、最良の候補商品を順位付けして選ぶためだけでなく、その候補に対する確信度を定めるためにも使われる。
確信度は意思決定を動かす。ワトソンが、問題に答えるためにリアルタイムで早押しするかどうかを判断するのに確信度を使うのと同じように、インスタカートの商品代替システムは、顧客に提案する最適な代替候補を特定するために確信度を使う。機械学習の実務者として、アサス・バジャジの仕事は、インスタカートが確信度に基づいてどう行動すべきかを一方的に決めることではない。むしろ彼の仕事は、確信度に基づく行動が顧客満足にどう結びつくかを分析し、社内の複数の意思決定者が最適な代替判断を下せるよう、導入の選択肢を会社に提示することである。
