ソフトウェア更新で順位逆転、結果は短期間で変わり得る
この順位逆転は、1回のベンチマーク結果を長期間続くものとして受け取るべきではないという強い注意材料になる。ソフトウェアの更新から1週間以内に順位が入れ替わるなら、測っているのはハードウェア性能だけではない。ソフトウェアをどれだけ速く改善できるかという開発速度も結果に反映される。セミアナリシスは当時、1カ月以内にAgentXを更新する予定としていた。
匿名化データの再生方法や測定方式によって、結果には制約がある
AgentXの結果には、ほかにも4つの制約がある。
第1に、AgentXでは元の文章やコードを匿名化しているため、ベンチマークを再生する際には、元のトークン列の代わりに人工的に作ったトークン列を使う。そのため、複数の候補を先読みして生成を高速化する「投機的デコーディング」では、候補トークンが採用される割合が実際の利用時とは変わってしまう。セミアナリシスはAgentX上で直接測る代わりに、別のベンチマーク「SPEED-Bench」の値を使っている。
第2に、利用履歴は大量の会話履歴や指示を自動的に付け加えるコーディング用の実行環境から取得している。付加情報の少ない実行環境を使えば、入力されるデータの長さや分布も変わる。
第3に、AgentXは処理が終わるたびに次のリクエストを流す「閉ループ方式」で測定する。高速な構成ほど一定時間内に多くのリクエストを完了するため、比較する構成によって実際に処理する内容がわずかに変わる。この影響は同時処理数が少ない場合に特に大きい。
第4に、セミアナリシスはより広いInferenceXの取り組みを支援する組織としてメタ（Meta）、マイクロソフト、オラクル、OpenAI、中国の複数の研究組織を挙げ、エヌビディアとAMD双方のエンジニアにも謝意を表している。ただし、これらの企業や組織が個々の比較結果を支持していることを意味するわけではない。
TPUや次世代GPUは今回の比較対象外
グーグルのAI向け専用アクセラレーター「TPU」は、2026年8月24日時点の比較対象に含まれていなかった。セミアナリシスは、エヌビディアの次世代「Rubin」を2026年8月後半、TPUとAMD Instinct MI455Xを2026年中に比較対象へ加える予定としていた。
したがって、ここで読めるのは主にエヌビディアのBlackwell世代とAMDの第4世代CDNAを使った比較であり、それより後の世代について結論を示すものではない。
