セミアナリシス（SemiAnalysis）は2026年8月24日、オープンソースのベンチマーク「AgentX」を公開した。一般的な性能比較で使われる固定長のプロンプトではなく、実際のコーディングAIエージェントのセッションを本番環境の推論基盤で再生する。
AIモデル「GLM-5.3」とSGLangを組み合わせた比較では、1ユーザー当たり毎秒150トークンを出力する条件が基準となった。セミアナリシスによると、この条件でエヌビディア製ハードウェアのコスト効率はAMD製ハードウェアの最大5倍に達した。競合するアクセラレーターを無償で入手できたとしても、ホスティング費用と電力費を含めれば、競合側のトークン1個当たりコストはなお高くなるという。
※編注：SGLangは、利用者からのリクエストを受け、AIモデルをGPU上で効率よく実行するためのオープンソースソフトウェア。GLM-5.3はAIモデル本体で、推論を実行する際にはSGLangなどのソフトウェアと組み合わせて使う。
ただし、最大5倍という数字は市場全体に当てはまる比率ではなく、特定の構成で得られた結果だ。同じGLM-5.3で、エヌビディアのAI向けGPU「B200」とAMDの競合GPU「Instinct MI355X」を比べると、差は求める応答速度によって変わる。1ユーザー当たり毎秒108トークンではエヌビディア側の優位が約57％、毎秒141トークンでは247％だった。
セミアナリシスは、長い入力を使って何度もやり取りするAIエージェントのセッションが、本番環境の推論処理で中心になりつつあると主張する。セミアナリシスの見方が正しければ、エヌビディアに代わるGPUの調達先が育ち、同社の価格支配力が弱まることを期待してきた買い手にとって、実際の運用で重要な領域ほど両社の性能差が広がっていることになる。
AgentXは実際のAIエージェント利用を再現する
AgentXは人工的なプロンプトを作って測定するのではなく、実際の利用履歴を再生するベンチマークだ。セミアナリシスは、自社スタッフが使うClaude CodeとCodexへのリクエストを中継して記録するプロキシーを設置し、8000件を超えるセッション、合計6100億トークンのデータを集めた。AgentX 1.0で一般公開したのはClaude Codeの393セッションで、Apache 2.0ライセンスで提供している。
記録した内容は64トークン単位に分け、セッションごとに連鎖するハッシュブロックへ変換する。元のプロンプトやコードを取り除きながら、会話履歴のどこまでが共通しているかという関係を残すためだ。この共通部分が、過去の処理結果をキャッシュから再利用できるかどうかを左右する。
※編注：ハッシュ値とは、元データから一定の計算で生成する文字列で、元の文章やコードそのものを保存せずにデータの一致関係を確認するために使われる。
14万2000トークンの長い入力、固定長テストとの違い
1リクエスト当たりの入力長は中央値14万2000トークン、出力長は444トークンだった。このデータはClaude CodeやCodexを使った実際のプログラミング作業から収集され、会話履歴やコード、ツール実行結果など大量の情報を引き継ぐため、1リクエスト当たりの入力が非常に長くなる。AIエージェントが外部ツールの処理を待つターン間の時間は中央値3.84秒で、393セッションのうち175件では少なくとも1つの補助的なAIエージェントが起動していた。
例えば「8000トークンを入力し、1000トークンを出力する」といった長さ固定のベンチマークでは、こうした長い会話履歴、ツールを待つ時間、複数のAIエージェントが連携する処理は再現できない。
