2029年までに、世界で10億を超えるAIエージェントが働くようになる。IT市場の調査会社IDCによる予測では、AIエージェントの数は2025年の約40倍にあたる。10億を超えるAIエージェントは、トークン（AIが処理する情報の単位）とAPI呼び出し（ソフトウェアが他サービスの機能を呼び出すこと）を、1日に合わせて3.7兆も消費することになる。
API呼び出しには、1回ごとに料金がかかる。そしてAIエージェントのコストは、企業がエージェントに何百万件もの処理を任せるだけの余裕があるかどうかを左右する。例えば、返品の処理をエージェントに任せたい小売業者を考えてみよう。売り込みの場で見せるデモなら、返品処理は単純に見えるかもしれない。エージェントが注文を探し、返品規定を確かめ、返金を承認して、顧客に返送用の配送ラベルを送る。
ところが、レシートがない、購入そのものに異議が出ている、返品規定の例外にあたる、といった場面にエージェントが出くわすと、投資の判断はもっと難しくなる。確認の手順が1つ増えるたびに、計算処理も増える。その上、間違いや解決できない案件が出れば、従業員がまた処理に加わらなければならない。導入の規模を広げる前に、小売業者は、確認の手順に伴う計算処理のコストを、人の手を借りる費用とあわせて把握しておく必要がある。
AIモデルの学習は先行投資、推論は使うたびにコストが生じる
AIやAIエージェントを支えるモデルの一生は、学習（training）と推論（inference）という2つの段階に分かれる。学習の段階では、モデルがデータからパターンを学び、言葉を理解するといった能力を身につける。推論は、学習を終えたモデルを誰かが使い、仕事をさせる段階だ。顧客から届いた返品の依頼を読み解いたり、返品の依頼が小売業者の返品規定に合っているかを判断したりするのが、推論の例である。
経営者にとって重要なのは、学習と推論という2つの段階で、お金のかかり方が違うことだ。
学習は先行投資であり、モデルを更新するたびに繰り返される。一方、推論は、学習を終えたモデルが仕事をするたびに発生する。返品の依頼を読み解くたびに、そして返品の依頼が返品規定に合うかを判断するたびに、である。
学習が学校での勉強なら、推論は就職してからの仕事にあたる。
推論コストは料金で回収され、負担は半導体の効率次第
AIサービスを買う企業は、自社でモデルを学習させることはないかもしれない。それでも、AIサービスを使えば推論のコストが発生し、サービスの提供事業者は推論のコストを料金で回収しなければならない。
そのため、経営者のAI予算は、AIインフラを手がける半導体メーカー同士の競争と切り離せない。効率の高い半導体が出てくれば、AIに任せる価値のある業務は増える。逆に効率の悪い半導体では、企業が見込んでいたコスト削減の効果が食いつぶされかねない。
