AI

2026.11.17 09:42

高騰するAI運用コスト、企業リーダーに求められる戦略とは

Adobe Stock

Adobe Stock

BRANDVOICE | Paid Program

もっと見る>

AIトークンの価格は下落している。それにもかかわらず、AIを運用するコストは上昇し続けている。

企業が日常業務にAIを組み込むなかで浮かび上がっているのが、この逆説だ。Forbesが取材した2人のテクノロジーリーダー、AMDのクライアント事業部門シニアバイスプレジデント兼ゼネラルマネージャーのラフール・ティクー(Rahul Tikoo)氏と、HPのアドバンスト・コンピュート・ソリューションズ部門シニアバイスプレジデント兼部門プレジデントのジム・ノッティンガム(Jim Nottingham)氏がそう指摘する。

「パイロット(実証実験)の時代は終わった」とティクー氏は言う。「AIはいまやユーザー、アプリケーション、ワークフロー全体に組み込まれており、本番運用の経済性はパイロットの経済性とはまったく異なる」

エージェント型AIは、この問題をさらに複雑にする。1つのタスクが、モデル呼び出し、検索ステップ、ツールとのやり取りの連鎖を引き起こすことがあり、その大半はユーザーには見えない。各ステップが請求額に積み上がっていく。

「AIは1回の処理あたりでは低コスト化しているが、はるかに高頻度に、より複雑な形で使われるようになっている」とノッティンガム氏は説明する。「AIは、ユーザー、アプリケーション、インタラクション、モデル呼び出しが増えるたびに拡大する継続的な運用費なのだ」

以下では、こうしたコスト上昇をもたらしている要因、クラウドだけに依存するアプローチの限界、そしてリーダーがより持続可能なAI戦略を構築する方法を探る。

AI拡大に潜むコスト

AIのコスト問題の核心は、利用量にある。AIモデルが入力を処理し、結果を生成するために使う単位であるトークンは、1トークンあたりでは安くなっている。だが、組織は単純にそれをより多く使っている。

「単価の下落は、ユーザー、アプリケーション、コンテキスト長、出力量、モデル呼び出しの増加に追いついていない」とティクー氏は言う。「利用量が勝るのだ」

これらのトークンは、推論、つまりモデルがリクエストに応答するたびに行う処理を通じて消費される。パイロット段階では、その処理は予算と終了日が定められた、少数のユーザーとユースケースに限られるかもしれない。本番環境では、AIの利用がユーザーやワークフロー全体に広がるにつれ、推論は反復的に発生する費用になり得る。

「推論はいまやプロジェクト費用ではなく、継続的な運用費だ」とティクー氏は言う。「予算と計画はその点を反映する必要がある」。エージェント型のワークロードは、数値をさらに押し上げる。「単純な利用状況ダッシュボードには表れない形で、計算資源の消費を増幅する」と彼は説明する。そしてAPIの請求額は、その一部を捉えているにすぎない。「総コストには、データ移動、レイテンシー、セキュリティ、エネルギー、インフラ利用率が含まれる」

ノッティンガム氏にとって、こうした経済性は、パフォーマンス、プライバシー、セキュリティ、ガバナンスなど、他の企業要件とますます密接に絡み合っている。AI利用がより継続的なものになるにつれ、組織はAIをどれだけ消費しているかだけでなく、達成しようとしている成果を提供するために何がどれだけのコストを要するのかを考える必要がある。

クラウドだけに依存するアプローチの限界

クラウドには明確な利点がある。比較的低い初期投資、迅速な価値創出までの時間、最先端モデルの能力へのアクセスだ。しかし、AI利用が拡大するにつれ、クラウドがすべてのタスクに必ずしも適しているとは限らない。

「4つの圧力が際立っている」とノッティンガム氏は説明する。「コスト、応答性、データ主権、そしてデータグラビティだ。これらが、AIワークロードをどこで実行すべきかについて、組織に再考を迫っている」

一部のワークロードでは、クラウドへの往復に時間を費やす余裕がない。たとえば産業システムや医療では、ワークフローがリアルタイムの応答に依存しており、クラウドへの往復処理が現実的でなくなる可能性がある。

「リアルタイムのワークフローは、クラウドだけのアーキテクチャではうまく対応できないレイテンシーや接続性の制約を露呈させる」とティクー氏は言う。データも判断に影響し得ると、彼は付け加える。「機密性の高い知的財産や規制対象データは、データの移動先を制限することがあり、それによって推論を実行できる場所も制約される」

最後に、データグラビティがある。大規模データセットを行き来させるコストと複雑さのことだ。「データを継続的にクラウドへ移動させるよりも、モデルと計算資源をデータに近づける方が理にかなう場合がある」とノッティンガム氏は言う。

組織がこうした課題に対処する方法の1つは、一部のAIワークロードをローカルで実行することだ。従業員のPCやワークステーション上で直接動作できる、より小規模で特化型のAIモデルを使うのである。特定のタスクでは、これらのモデルがクラウドベースの推論に依存せずに必要な能力を提供する。そして処理がローカルハードウェア上で完結する場合、企業はクラウドベースAIに伴うトークン単位の料金を回避できる。

これはクラウドを排除するという意味ではない。むしろ、組織は各ワークロードにとってどの環境が最も合理的かを見極める必要性を強めている、とティクー氏は説明する。「適切なアーキテクチャはハイブリッドだ……問題は、それをいかに賢く設計するかである」

持続可能なAI戦略を構築する方法

単一の環境を前提にすることは避けるべきだと、ノッティンガム氏は助言する。それは「クラウドファーストやエッジファーストの発想から離れ、ワークロードファーストのアプローチへ移行する」ことを意味する。

リーダーはまず、作業がどこで滞っているのかを特定することから始められる。それが遅いプロセスなのか、制約を抱えたチームなのか、あるいは時間がかかりすぎている意思決定なのかを見極めるのだ。そこから、AIがどのように役立つ可能性があるか、各ワークロードに何が必要かを評価できる。どれくらいの頻度で実行されるのか。モデルはどの程度賢くある必要があるのか。データはどれほど機密性が高いのか。レイテンシーとデータ移動は事業上の妥当性にどう影響するのか。

こうした問いを飛ばすと、最も強力なモデルに手を伸ばしたくなるかもしれない。だが「すべてのタスクで最大のモデルを初期設定として使うのは、コストの高い過ちだ」とティクー氏は言う。「モデルのサイズをワークロードの要件に合わせることは、核心的な規律である」

多くの組織にとって、答えは単一のアプローチではないだろう。ノッティンガム氏はむしろ、「最先端サービスはその能力を必要とするワークロードのために確保する」一方で、他のワークロードはデータセンター、エッジ、またはPCやワークステーションなどのエンドポイントデバイス上で実行するポートフォリオを描く。

各タスクを適切なモデルと場所に対応させることで、リーダーはAIのリターンをより正確に測定できる。「トークンあたりのコストは、測定単位として誤っている」とティクー氏は言う。「問うべきは、完了したビジネス成果あたりのコストだ」

持続可能なAI戦略には、技術とコストの変化に合わせて進化できる機敏さも必要だ。

「目標は、ある一時点や単一の技術に合わせて最適化することではない」とノッティンガム氏は言う。「目の前の業務に対して、組織が適切なモデル、計算資源、場所を継続的に選択できる、適応性の高いハイブリッド基盤を構築することだ」

AIを拡大する準備が整っている組織とは、各ワークロード固有のニーズに計算資源を合わせ、コストを制御しながらチームに適切な能力を備えさせられる組織である。

(forbes.com 原文)

タグ:

advertisement

ForbesBrandVoice

人気記事