CPUやGPU、TPUなど、AIチップをめぐる略語の氾濫は、過去10年でコンピューティングの景色がいかに拡張し、変化し続けてきたかを物語っている。米国時間4月23日に開催されたGoogle Cloud Next 2026でグーグルは、TPU（Tensor Processing Unit）を1つではなく2つに分けて発表した。学習向けに設計したTPU-8tと、推論および台頭するエージェント型ワークロードの需要に向けたTPU-8iである。この発表は、AIワークロードが分岐しつつある現実を反映したアーキテクチャ上の判断を示しており、企業の買い手がAIインフラ戦略をどう考えるべきかに直結する示唆を含んでいる。
グーグルが実際に発表したこと
Google Cloud Nextの報道関係者・アナリスト向けセッションで、グーグルのAIインフラ担当SVP兼チーフ・テクノロジストであるアミン・ヴァーダットは、第8世代TPUを紹介し、その呼称をあえて複数形で語ることを強調した。ヴァーダットによれば、2つのチップは設計段階から別々に、ゼロから作り上げられたという。
TPU-8tは学習の主力となる「働き者」だ。2025年のIronwood世代と比べ、pod（ポッド）あたりの浮動小数点演算性能は約3倍、チップあたりのネットワーク帯域は2倍、スケールアウト時の帯域は4倍を実現する。podの規模は9600チップでおおむね同じだが、より高密度で高速なインターコネクトを採用している（編注：podは、複数のTPUチップを専用高速ネットワークで相互接続し、1つの巨大な計算ユニットとして動作させるというグーグル独自のシステム単位。1つの巨大なアクセラレーターとして扱える）。
TPU-8iは推論とエージェントのエンジンである。podサイズを1152チップへと4倍に拡大し、FP8の演算性能は10倍、HBMのメモリー容量は7倍に増え、双方向のスケールアウト帯域も提供する。設計の優先順位はスループット（単位時間あたりに処理できる仕事量）だけではなくレイテンシー（1件のリクエストに対する応答時間）に置かれている。企業がバッチ処理からリアルタイムのエージェント型ワークロードへ移行する中で、この違いは重要だ。
ヴァーダットは進歩の速度をこう端的に表現した。「2倍、4倍、8倍、10倍がたった1年で起きる。進歩の速さ、前進の速さは驚くほどだ」。
数値上は印象的だ。だが企業の買い手にとって、より重要なのは、AIインフラの計画と調達をどう組み立てるべきかという点である。
2チップという判断は、学習と推論が異なる物理特性に支配されることを認めたものだ。
学習はスループットに制約される。つまり、相互接続されたチップ群を通じて膨大なデータを、協調しながら、おおむね予測可能なバッチ処理として流し込む。一方、推論、特にこれから到来するエージェント型システムの波では、制約はレイテンシーだ。この用途では、エージェントが複数のツールやワークフローを横断して計画・実行・評価・ルーティングを行う際、チップがほぼリアルタイムで応答する必要がある。
このレイテンシー問題に正面から取り組むため、グーグルはDeepMind（ディープマインド）と協業し、TPU-8i向けに新たなネットワーク「boardfly」トポロジーを開発した。任意の2チップ間のホップ数を減らすことで、チップ間レイテンシーを大幅に削減する設計だ。ヴァーダットはこう説明する。「従来の標準的な接続方法は、レイテンシーには対応していなかった。対応していたのは帯域だ。エージェントの時代に本当に重要なのはレイテンシー、つまりデータを得るまでの最短時間である」。
これは、エヌビディアのジェンスン・フアンが示したトレンドとも重なる。チップ間接続は、演算仕様の付随要素ではなく、システム全体の性能の中核へと位置づけられつつある。示唆するところは明確だ。AIインフラ設計において、ポッド内のチップ同士をどう繋ぐかというネットワークトポロジーは、チップ数やメモリと並ぶ、いまや一級の変数なのだ。
ヴァーダットはより大きな潮流についても率直に語った。「専門特化の時代は続いていく」。彼の予測はグーグルに限らない。ワークロードの分岐は今後も進み、2つのチップが将来的にさらに増える可能性があるという。彼は、汎用的な改良はコストを基準に正規化すると年間約5％の性能向上にとどまるようになっていると指摘した。その天井を超える手段が専門特化だ。
