AI運用の総費用は単価だけでは決まらない、正確に仕事を終えるまでを比べる
もっとも、トークン単価が安いモデルを選べば、AIアプリの運用費も下がるとは限らない。単価が半額でも、仕事の完了に多くのトークンが必要になったり、時間がかかったりする場合がある。誤りによって高額な再処理が発生すれば、最初の試行で正しく終えられる高価格モデルのほうが割安になる。
自律型AIエージェントでは、費用の計算がさらに複雑だ。利用者からの1回の依頼に対し、AIモデルへの数十回の問い合わせ、データベース検索、判断、結果の検証が発生することもある。最初の指示にかかる料金は、処理全体の総費用のごく一部にすぎない場合がある。
AIエージェントは処理の段階ごとにモデルを使い分ける必要がある
たとえば、支払いに異議を申し立てた顧客に対応するAIエージェントを考えてみよう。安価な分類モデルで苦情の種類を特定し、別のモデルで取引記録を取り寄せる。さらに、複雑な判断が得意なモデルを使い、人間の担当者に引き継ぐ必要があるかを判定する。
すべての段階で最高価格のモデルを使えば、費用の無駄が生じる。反対に、最安のモデルだけを使っても、判断を誤って再処理が増えれば高くつく。最も効果が大きい工程に計算資源を振り向けるという課題は、企業のIT担当者、とりわけクラウド設備の管理者にはなじみ深い。AI提供企業も、顧客の仕事を正確に終えるまでの総費用で価値を示す必要がある。
高性能なAIを開発する競争が終わるわけではない。難しいプログラム作成、調査、推論では、能力の高さが引き続き重要になる。だが、0.10ドル（約16円）のモデルで10ドル（約1580円）のモデルと同じ仕事を確実に終えられるなら、なぜ差額を払う必要があるのか。企業は必要な性能と速度、支払う金額の釣り合いを見極めることになる。
さらに強力なAIモデルへ数十億ドル（数千億円）規模の資金を投じる開発企業にとって、顧客の評価基準は変わりつつある。AIがどれほど賢いか以上に、支払った費用でどれだけ確実に仕事を終えられるかが問われるようになっている。
