対数で掛け算を足し算に変え、チップの消費電力を減らす
TensordyneのプロセッサNapier(ネイピア)は、対数を使って、一部の掛け算を足し算に置き換える。Napierプロセッサは、Tensordyneが演算、メモリー、ネットワークを組み合わせた推論システム全体(こちらもNapierと呼ぶ)の一部である。
AIモデルが行う計算の大半は掛け算で、掛け算は足し算に比べて、チップの上で多くの面積とエネルギーを使う。Napierは、数を対数で表す。対数で表せば、2つの数を掛ける計算は、それぞれの対数を足すだけで済む。結果として、チップの消費電力は減り、1ワットあたりにこなせる処理は増える。
技術的な課題は、対数を使う方式を、AIモデルが必要とするさまざまな計算で効率よく働かせることにある。数の表し方を切り替える処理も、AIモデルが必要とする計算の1つだ。Tensordyneによれば、自社の実装では計算に必要なチップの面積と電力が減り、空いた分をメモリーなど他の機能に回せるという。
「Log Math(対数を使った計算)を使っているのは、私たちだけです」と、ボライソーは私に語った。ボライソーの主張には、補足が必要だ。エヌビディアのチーフサイエンティスト、ビル・ダリーも以前、対数を使った計算の可能性に言及しているからである。Tensordyneは自社の違いについて、AI推論向けのlogarithmic number system(数を対数で表して計算する方式)を、初めて完全に製品にした企業である点だと説明している。
1ワットあたりトークン数は最大17倍、ただし自社による見通し
Tensordyneは、エヌビディアのAI半導体Blackwellを搭載したシステムと比べた資料を公表している。資料の中でTensordyneは、1ワットあたりのトークン数は最大17倍、スループット(一定時間にこなせる処理量)は13倍になると主張している。17倍、13倍という数値は、いずれもエネルギー効率と処理能力についてのTensordyne自身の見通しであり、第三者が確かめた結果ではない。顧客の請求額が同じ割合で下がるという意味でもない。
事業にとっての意味を考えると、処理のコストが下がれば、エージェントが許容できる予算の中で確認の手順を増やしたり、より込み入った案件を扱ったりできるようになる可能性がある。ただし、手順の追加や込み入った案件への対応で結果がよくなるかどうかは、やはりエージェントの精度や業務の流れ、そして顧客が最終的に支払う価格しだいだ。


