チャットボットと比べ、AIエージェントはトークンを5〜10倍消費
AIの処理単価が下がっても、AIにかかる費用が安くなるとは限らない。エージェントがこなす手順が増え、例外を調べ、自分の仕事を確かめるようになると、利用量の合計は、単価の下がるペースよりも速く増えることがある。
AI推論向けのシステムを開発する新興企業、Tensordyne（テンソルダイン）のCEOマーク・ボライソーは、エージェントが消費するトークンをチャットボットの5〜10倍とみている。ときにはさらに多くなるという。提供事業者は多くの場合、モデルが処理し、生成する情報の量を測るトークンを単位にして、利用料を計算する。つまり、エージェントの導入に向けて予算を組む経営者にとっては、2025年にチャットボットへ支払った利用料は、もっと野心的なエージェントにかかる費用の目安にはなりにくいということだ。
応答速度も勘定に入れ、必要な速さでの料金を事業者に示させる
予算を考える上では、応答の速さも勘定に入れておく必要がある。
返金の承認を待っている顧客には、すぐに答えを返さなければならない。一方、一晩かけて作ればよい報告書なら、待ち時間が長くてもかまわない。経営者は、事業が求める速さで処理した場合の料金を示すよう、提供事業者に求めるべきだ。その上で、処理の件数が増え、内容が複雑になっても、採算が合うのかを確かめる必要がある。
エヌビディアが強いのは学習、推論では特化型企業にも勝機がある
ボライソーによれば、エヌビディアが競合他社を大きく引き離しているのは学習の分野で、AIモデルを動かす推論では、競合との差は学習ほど大きくないという。推論なら、コストや速さを武器にする特化型の企業にも勝機が広がるとボライソーはみている。
学習に使ったハードウェアが、推論にも最適とは限らない
エヌビディアとAMDはどちらも、モデルを効率よく動かすためのソフトウェアを自社の半導体と組み合わせて提供しており、推論をめぐる競争はすでに始まっている。経営者にとっては、学習と推論を分けて考えることで、購買の判断がもう1つ増える。モデルの学習に使ったハードウェアが、学習済みのモデルを動かすのにも最適な基盤だとは限らないからだ。
企業は提供事業者に対し、自社の業務に求められる精度と応答時間を、どのシステムなら最も低い総コストで実現できるのかを、実際に示すよう求めることができる。Tensordyneは、プロセッサが計算を行うやり方そのものを変えることで、推論の分野に生まれた商機を狙っている。
