コスト差を左右するキャッシュ再利用とトークン化
両社の競争力を論じる前に、実際に何が差を生むのかを見ておこう。AIエージェントのセッションでは、過去の入力を再計算しないために保存した処理結果が、GPUの高速メモリーであるHBMか、GPU外へ退避したメモリーに残っているかが重要になる。次のターンを、そのデータが残る処理先へ戻せるかどうかも性能を左右する。
B300ではHBM上のキャッシュ命中率が91％
このキャッシュの違いは測定結果にはっきり表れている。DeepSeek-V4で384セッションを同時処理した際、セミアナリシスはエヌビディアのBlackwell Ultra世代のAI向けGPU「B300」でvLLMを動かした構成を測定した。この構成はサーバー側に3TBのメインメモリー（DRAM）を備え、AIモデルの処理を8系統に分散してデコードする設定だった。
GPU側のHBMに必要なキャッシュが残っていた割合は91％で、サーバー側メモリーから再利用できた割合が1.36％だった。
同じvLLMをBlackwell世代のB200で動かし、同時セッション数を196とした構成では、HBM上のキャッシュ命中率が73％まで低下した。サーバー側メモリーから再利用する割合は約20％だった。セミアナリシスは、利用者数が増えた際にGPU外のメモリーへ強く依存する構成では、遅延が急激に悪化するとみている。
会話履歴の再トークン化を減らし、処理時間を短縮
コスト差を生むもう1つの要因がトークン化だ。エヌビディアの推論ソフトウェア「TensorRT-LLM」は、会話履歴全体が毎回送り直されても、すべてを最初からトークンへ分割し直さず、前回から追加された部分を中心に処理する機能を備える。
Qwen3.5の利用履歴を使ったテストでは、1087回すべてのやり取りで、履歴全体を毎回トークン化した場合と同じ結果になった。1ターン当たりの平均処理時間は185.1ミリ秒から11.3ミリ秒へ短縮した。
固定長のベンチマークには再利用できる前のターンが存在しないため、この時間短縮は測定できない。
エヌビディアとAMDの性能差は、使う推論ソフトウェアで大きく変わる
AMDも手をこまねいているわけではなく、AgentXではAMD側が上回る条件もある。AMDの推論エンジン「ATOM」は、AIモデル「Kimi K3」で応答まで40～60秒かかる範囲の一部において、vLLMを動かすエヌビディアのラック型AIシステム「GB300 NVL72」を価格性能比で上回った。
DeepSeek-V4ではソフトウェア更新後にエヌビディアが逆転
DeepSeek-V4の比較では、2026年8月21日まではAMD Instinct MI355X＋SGLangとエヌビディアB200＋vLLMがほぼ同等だった。同日、vLLMにInferactとエヌビディアの最適化が取り込まれると、B200＋vLLMがMI355X＋SGLangを上回った。B300＋vLLMとB200＋SGLangは、この更新より前からMI355Xを上回っていた。
重要なのは、AMD側が優位になった結果がどのソフトウェア上で生じているかだ。セミアナリシスによると、ATOMを本番環境で採用している例は、アリババのある広告部門を除けばほとんどない。Qwenを開発する中核組織もATOMを使っていないという。
セミアナリシスはこのため、顧客にとってはATOMを使った結果より、広く使われるvLLMの本流で比較するほうが重要だと論じている。
同じSGLangで比べるとエヌビディアが20倍超
両社で同じオープンソース基盤を使うと差はさらに広がる。Qwen3.5をエヌビディア側とAMD側の両方でSGLangを使って動かした場合、1ユーザー当たり毎秒90トークンを出力する条件で、エヌビディア側がAMD側を20倍超上回った。
セミアナリシスは、当時のvLLMの機能対応表で、AMD向けの処理基盤が「コンテキスト並列化」をサポート対象に挙げられていなかったとも指摘する。コンテキスト並列化は、長い入力を複数のGPUへ分けて処理する方式で、長い会話履歴を扱うAIでは特に重要になる。
エヌビディアの優位はGPUだけでなくソフトウェアにも広がる
より興味深いのは、エヌビディアの優位のうち、GPUそのものではなく、その上で動くソフトウェアが占める部分が増えていることだ。AgentXは差の要因として、GPU上の計算処理、キャッシュ管理、リクエストの振り分け、処理順序の制御を挙げている。こうしたソフトウェアは、新しい半導体を開発して製造するサイクルより速く改善できる。
