多くの企業は依然として、エージェント型AIをチャットボットやコパイロットの少し進化した形と捉えている。しかしこれは誤った理解だ。エージェントがデモから実際のワークフローへ、そして大規模運用へと移行した瞬間、コスト管理、ガバナンス、データアーキテクチャ、運用の弱点が一気に露呈する。
なぜ負荷はこれほど急速に顕在化するのか
チャットボットはプロンプトを待つ。エージェントはそうではない。状態を監視し、意思決定を行い、ツールを呼び出し、APIを起動し、タスクを継続的に繰り返す。これにより、インフラの特性は完全に変わる。
推論が時折集中的に発生するのではなく、モデル、ツール、検索システム、データストアをまたいで、文脈を多く含む小規模なやり取りが何千件も発生する。問題はGPU容量だけではない。環境全体が、コストの急増、データ経路の遅延、セキュリティ制御の破綻を招くことなく、継続的なオーケストレーションを吸収できるかどうかである。
Gartnerは「エージェント型AIの取り組みの40%以上が、コストの増大、不明確なビジネス価値、不十分なリスク管理により、2027年末までに中止される」と予測している1。またGartnerは、「ワークフローを合理化し、生産性を高める可能性については楽観論が強い一方で、組織はレガシーシステムとの統合、処理に適した正確なデータの確保、セキュリティとコンプライアンス、さらに動的なコスト影響の管理といった課題に直面している」とも指摘している2。
エージェント型AIがアーキテクチャに与える影響
本当の障害点はモデル層の下にある。繰り返し浮かび上がる要素は4つある。
1. スループットだけでなく、トークン経済性
エージェントは、バッチジョブを実行するボットというより、トレーダーのように振る舞う。モデルやツールをまたいで、文脈に応じた小規模な呼び出しを何千回も生成し、それぞれのやり取りで消費されるトークン量は異なる。このトークン使用量がコンピュート費用を左右するため、トークンレベルの可視性と予算管理がなければ、ワークフローのコストはもちろん、事業部門単位のコストも予測できない。
IDCは、Global 1000企業におけるAIインフラ支出の世界的見通しに基づき、大企業は2027年までAIインフラコストを約30%過小評価すると予測している3。ほとんどの企業はいまだに、AIコストを事後的に測定している。それがコストの暴走につながる。
2. ガバナンスとマルチテナントの混乱
大企業がAIプロジェクトを1つだけ運用することはない。事業部門、地域、製品チームをまたいで多数を運用している。これらのプロジェクトは、共有インフラ、異なるアクセスポリシー、競合するワークロード、そしてテナント間のミスが増えるリスクによって、さらに複雑になる。
ベアメタルクラスターや場当たり的なゲートウェイは、とりわけ分散環境では、こうした複雑さにうまく対処できない。企業でAI施策を適切に統制するために必要な多くの機能を欠いているからだ。強固なテナント分離、明確なロールベースアクセス、モデルレベルのポリシー制御を大規模に提供できることはまれである。つまり、ガバナンスは後から補修するものではなく、現時点での設計課題である。Gartnerの「Predicts 2026: AI Agents Will Transform IT Infrastructure and Operations」レポートによれば、「2029年までに企業の約70%がITインフラ運用にエージェント型AIを導入する。2025年時点では5%未満だった」2。
3. データグラビティのジレンマ：GPUボトルネックの解消
エージェント型ワークロードは、データの局所性と帯域幅に非常に敏感である。ストレージとパイプラインがAIのアクセスパターンに最適化されていなければ、GPUはデータ待ちで遊休状態となり、ユーザーは遅延を即座に感じる。
コンテキストウィンドウが拡大し、エージェントがRAG（検索拡張生成）、検索、ツール利用をリアルタイムで連鎖させ始めると、状況はさらに悪化する。コンピュートとデータの不整合は、レイテンシー、タスクチェーンの失敗、システムへの信頼低下に直結する。
4. Day 2およびDay Nの運用
AI技術は急速に進化しており、モデルは保守されなければならない。モデルは変化し、GPU世代は入れ替わり、サービングフレームワークは進化し、セキュリティ要件は厳格化する。単発のエンジニアリング作業で構築された静的な環境では、追随することもスケールすることもできない。
成熟した組織が、ソフトウェア定義型でクラウドベースの運用モデルへ移行しているのはそのためだ。ハードウェア更新やモデル更新のたびに小規模な再プラットフォーム化プロジェクトが発生するようでは、チームはその上に有用なシステムを構築するよりも、スタックの保守に大半の時間を費やすことになる。
本物のAIファクトリーに必要なもの
エージェント型AIを本番環境で運用したいなら、アクセラレーテッドハードウェアだけでは不十分である。次の4原則に従う運用モデルが必要だ。
- 集中型AIコントロールプレーン。企業全体でAI導入が広がるにつれ、組織には、チームや環境をまたいでモデルアクセス、ルーティング、予算、可観測性、ポリシー適用を統制する統一的な仕組みが必要になる。
- 性能を発揮し、ロックインを避けるインフラ。組織には、AIワークロードを大規模に実行しながら、異なるハードウェアや環境に展開する自由を維持する能力が必要である。そのためには、トポロジー認識、分離、ライフサイクル管理が求められる。
- AI向けに構築されたデータサービス。ストレージ、キャッシュ、ベクトルパイプライン、高スループットのデータ経路は重要である。コンテキストと検索が、AIアプリケーションとエージェントの動作の基盤になっているからだ。
- 大規模環境におけるガバナンスと経済性。クォータ、チャージバック、アクセス制御、セルフサービス機能は、ガバナンス、説明責任、予測可能なコストを維持しながら、広範なAI導入を可能にするために不可欠である。
プログラムを失敗に追い込む誤り
最も一般的な誤りは、エージェント型AIを企業プラットフォームではなく、プロジェクトの集合体として扱うことだ。組織はユースケースに資金を投じ、モデルを展開し、パイロットを開始する。当初は進展が速いように見える。しかし時間がたつにつれ、チームごとに異なるモデル、異なるセキュリティ手法、異なるツール群を採用するようになる。数カ月後には、IT部門は統制されていないスプロールの管理に追われ、財務部門は想定外のコストを把握しようとし、セキュリティ部門はイノベーションを減速させずにギャップを埋めようとすることになる。
Gartnerによると、「世界のAI支出予測では、世界のAI支出は2026年に約2兆5900億ドル（約420兆円）に達し、2025年比で47%増加すると見込まれている」4。その投資から価値を生み出す組織は、最初からAIのためのスケーラブルな運用モデルを構築していた組織である。それ以外の組織には、技術的負債と中止された取り組みが残ることになる。
戦略：AIをプロジェクトではなくプラットフォームとして扱う
もはや問うべきは、AIパイロットをどうスケールするかではない。問うべきは、新たなサイロ、ガバナンスの空白、コスト課題を生むことなく、数百のユースケース、事業部門、チームをまたいでAIを運用可能にできるかどうかである。エージェント型AIは断片化したインフラの限界を露呈させる。そして導入が広がるにつれ、その弱点は事業上の制約となる。
環境が断片化したインフラ、トークンレベルの可視性の欠如、脆弱なテナント制御、絶え間ない手作業による介入を含んでいるなら、問題はすでに見えている。エージェント型AIはそうした弱点を隠してはくれない。むしろ増幅させる。
成功する組織は、まずプラットフォームを構築し、実効性のあるコントロールプレーンを確立し、データ層とインフラ層を強化したうえで、その上でチームがエージェントをスケールできるようにする。これこそが、エージェント型AIを孤立した実験から、企業全体の運用能力へと変える方法である。
詳細は、https://www.nutanix.com/enterprise-agentic-aiを参照されたい。
