AIブームのほとんどの期間、業界は推論をあたかも1つの問題であり、1つのアクセラレータアーキテクチャで解決できるかのように語ってきた。この問題はほぼルックアップテーブルのように扱われていた。すなわち、質問が何かを確認し、ニューラルネットワークを一度たどって答えを引き出す、という具合だ。いま、「分離型推論（disaggregated inference）」が業界のバズワードとなっている。
しかし、知的な推論、極めて長い入力シーケンス、そしてエージェント型AIワークフローを伴う推論処理は、単一の問題ではない。AIが成熟するにつれて、市場はいま、痛みを伴いつつも利益をもたらす形で学びつつある。すなわち、プロンプトの取り込みとトークン生成は、異なるワークロードであり、異なる物理特性、異なるボトルネック、そしてますます異なるシリコンを要するということだ。半導体産業はもはや以前と同じではない。我々はシリコン特化の新時代に突入している。（本記事で言及するNvidiaおよびCerebrasは、いずれも筆者の所属するCambrian-AI Researchのクライアントである。）
そのため、「分離型推論」はAIインフラにおいて最も重要なアーキテクチャの転換の1つとして浮上している。その考え方は明快だ。計算負荷の重いプロンプト処理段階である「プリフィル（prefill）」を一種類のハードウェアで実行し、レイテンシに敏感でメモリ集約型のトークン生成段階である「デコード（decode）」を別のハードウェアで実行する。その見返りとして、より高い稼働率、トークンあたりコストの低減、実ユーザーやエージェント型ワークフローへの応答時間の短縮が得られる。
なぜ分離型推論への移行が起きているのか
AIがデモ段階のトラフィックから本番環境のトラフィックへと移行したことで、推論の経済性は一変した。プリフィルではモデルは大規模な並列性を活用できるが、デコードでは一度に1つずつトークンを出力しなければならず、メモリ帯域幅とレイテンシが支配的になる。単一の汎用アクセラレータで両方をこなすことは可能だが、それぞれ専用のハードウェアほど効率的にこなせることは稀だ。
この認識が、Nvidiaが昨年12月に200億ドル（約3兆1600億円）を投じてスタートアップGroqの資産と人材を取得することにつながった。他のメモリ中心のAIスタートアップであるSambaNovaとCerebrasも、この種の組み合わせをどう再現できるかを本格的に検討し始めた。SambaNovaはIntelと提携し、Cerebrasは現在AMDのMI4xx GPUおよびAmazon AWS Trainiumの両方と連携している。「大手と競争したいなら」とCerebrasのCEO兼創業者であるAndrew Feldmanは筆者に語った。「途方もない速度とメモリ帯域幅で勝負しなければならない」
分離化は、高価な演算リソースを誤ったフェーズで浪費することを避ける手段を運用者に提供する。また、クラウドプロバイダーや企業がそれぞれの段階を独立にスケールさせることも可能になる。プロンプトの長さ、ユーザー同時実行数、出力長がすべてワークロードごとに異なる状況では、これは重要だ。実務的には、スループットの向上、テールレイテンシの低減、そして大規模モデルを大規模に提供するためのより無理のない方法を意味する。
分離型推論ハードウェアの二大陣営
第一陣営はNvidia＋LPUだ。Nvidiaの現在の方向性は、GPUを万能なプリフィルエンジンとして維持しつつ、Dynamo型のオーケストレーションを通じて調整されるLPUベースのデコード層と組み合わせることである。その論理は明快だ。広範なCUDAエコシステムを保ちつつ、メモリ律速の生成問題を低レイテンシのトークン出力に最適化された専用アクセラレータに任せるということだ。
第二陣営はAMD＋Cerebrasであり、同社はTrainiumを用いた同様の分離型推論のためにAmazon AWSとも提携している。新たに発表されたAMD／Cerebras協業は同じアーキテクチャ論理に従うが、スループット用にAMD Helios、超低レイテンシのデコード用にCerebrasのウェハースケールシステムを用いる。訴求点は、高スループットのプリフィルとメモリ最適化されたデコードは異なるマシンに属するべきであり、したがって最良の推論スタックは単一のチップではなく協調システムだ、ということである。
なお、Cerebrasはイーサネットベースであり、プラグアンドプレイのインターフェースを提供しているため、競争を勝ち抜くために分離化のパートナーを必要としている他の企業と組む可能性があることを指摘しておきたい。
Intelはどこに位置付けられるのか
Intelはこのカテゴリーを牽引してはいないが、分離型推論インフラのイネーブラーとして自らを位置付けようとしている。Computex 2026で、IntelはXeonプロセッサとパートナーアクセラレータを中心に構築されたラックスケールAIインフラを紹介し、オーケストレーションと実行にXeon、プリフィルにNvidia Blackwell、デコードにSambaNova RDUを用いた実際の分離型推論構成を披露した。結局のところ、配られた手札で勝負するしかない。
これが重要なのは、この転換期におけるIntelの最も強い役割が、目玉となるアクセラレータではなく、コントロールプレーンとシステム層になる可能性があるからだ。推論の分離化とエージェント型AIは、オーケストレーション、スケジューリング、ネットワーキング、CPU側の調整の価値を高め、これらはIntelのエンタープライズ基盤に直接活きる。同社自身のAIアクセラレータの物語がリーダー企業に比べて依然として説得力に欠けていたとしてもだ。要注目分野であり、Intelはまだ終わっていない。
GoogleのTPUはどこに位置付けられるのか
Googleの立ち位置は異なる。ハイパースケーラーであると同時にシリコン設計者でもあるため、Nvidia、AMD、Cerebrasと同じ程度に公の推論の物語を売る必要はない。同社のTPUはすでに大規模推論の経済性を軸に最適化されており、TPU推論に関する最近のGoogleの取り組みでは、TPUポッド上でのより優れた推論技術による有意なトークン毎秒の向上が強調されている。しかしGoogleでさえも、NvidiaやAMDが新たなパートナーとどれほど成果を上げるかを目にすれば、再考を迫られるかもしれない。
Googleの構造的な優位性は、自社のワークロードに合わせて全スタックを再設計できる点にあり、これは自社クラウド内での分離型サービス提供に適している。戦略的な問いは、Googleがこの転換から利益を得られるかどうかではなく、TPUの効率性をより広範な商業的な堀に変えるのか、それともその優位性の大半をGoogle Cloudの顧客に囲い込み続けるのか、である。
分離型推論がハイパースケーラーのシリコンに与える意味
分離化は自社独自シリコンの必要性を強めるが、同時にハードルも上げる。ハイパースケーラーは、スケールでコストを下げ、供給制約から解放され、ソフトウェアスタック全体を自社ワークロードに合わせて調整できるチップを望んでいる。推論はいまや十分に大きく、十分に価値あるものとなり、カスタムシリコンの経済性はますます魅力的に見える。
同時に、ワークフローは専門化された役割へと分裂しつつある。プリフィルとデコードがきれいに分割されるなら、ハイパースケーラーは万能な社内チップを1つ持つよりも、ポートフォリオを望むかもしれない。すなわち、広範な互換性のための汎用アクセラレータ、規模の経済のための独自ASIC、そして各要素を結び付けるソフトウェアオーケストレーションだ。これはすでにスタックを所有するGoogleのような企業に機会を生み出すが、価値がチップそのものからその周辺のシステム設計へと移行することも意味する。
戦略的示唆
大きな物語は、あるベンダーが推論で勝ったということではない。推論がシステムビジネスになりつつあり、システムビジネスは専門化を報いるということだ。AIのトレーニングはコストセンター（費用部門）であり、推論こそがプロフィットセンター（収益部門）なのだ。
NvidiaはGPUをLPUと組み合わせることでスタックの支配を保とうとしており、AMDとCerebrasはスループット＋ウェハースケールのデコードがより良い答えだと賭けており、Intelはオーケストレーションとエンタープライズインフラの支配を狙っており、Googleは囲い込まれたクラウド内で自社の経済性を守るためにTPUを活用している。
投資家にとっての示唆は、専門化により、独自シリコンがハイパースケーラーにとってオプションではなくなりつつあるということだ。しかし真の優位性は、単にASICを保有することから生まれるのではない。分離型システム、コンパイラのパス、スケジューリング層、そして次のトークンを他社より速く安く提供する経済性を所有することから生まれるのだ。
