企業が確認すべきはキャッシュ性能とセッションの振り分け
ここまでの結果だけでは、買い手がどの製品やサービスを契約すべきかは決まらない。筆者が企業に勧める確認項目の1つは、本番環境で多数の利用者を同時処理した際に、会話履歴の共通部分をキャッシュからどの程度再利用できるかという「プレフィックスキャッシュ命中率」だ。アクセラレーター1基当たり、サーバー側にどれだけのメモリーを用意しているかも確認対象になる。
セミアナリシスによると、GPUのHBMへ書き込んだデータをサーバー側メモリーにも同時に保存する方式では、サーバー側メモリーの容量をHBM上のキャッシュ容量の1.5～3倍にすると最も効果的だという。
同じセッションを同じ処理先へ戻せるかも重要
もう1つの確認点が、同じセッションをどの処理先へ送るかだ。会話履歴のキャッシュを保持するサーバーへ同じ利用者の次のリクエストを戻すのか、負荷分散を優先して別のサーバーへ送るのかで性能が変わる。別の処理先へ送れば、過去の入力を改めて読み込んで計算する必要が生じる。
顧客は、単純な「毎秒何トークン処理できるか」という数字だけではなく、キャッシュ命中率やセッションの振り分けについて、本番環境で測定した数値を求めることができる。毎秒トークン数だけでは、長いセッションの40ターン目で性能がどうなるかは分からない。この部分はAgentXの測定結果ではなく、筆者から企業への提案だ。
企業のAI基盤を担当するチームは、公開されたAgentXを使い、自社の実際のトラフィックを再生して性能を確かめることもできる。
AMDが差を縮める鍵はソフトウェア改善
AMDにとって改善の道筋は、より速いGPUを投入することだけではなく、ソフトウェアにある。ATOMで実現した改善をvLLMやSGLangの本流へ取り込み、長い入力を複数GPUで処理する機能や、GPU外のメモリーを使う処理を成熟させれば、AgentXは現在の差のかなりの部分を縮められる可能性を示している。どのくらいの速さで実現できるかについては、このベンチマークからは分からない。
要するに、AgentXが示した結果は、対象となった構成に限れば説得力がある。広く使われるオープンソースの推論基盤を利用し、高い応答速度を求める複数の条件では、2026年8月24日時点でエヌビディアに迫るAMDの構成は見当たらない。
それがすべてのAIモデル、すべての推論ソフトウェア、あらゆる性能条件で成り立つわけではない。企業、AI向け計算資源を提供する新興クラウド事業者のネオクラウド、推論ソフトウェアを開発・保守するチームにとって、自社の実際のトラフィックで誰でも再実行できるベンチマークは、ベンダーが用意した説明資料より価値がある。
