ベクトル量子化の追加コストが、本来の圧縮効果を部分的に損なっていた
ベクトル量子化は、高次元ベクトルのサイズを縮小するデータ圧縮手法である。これにより類似性検索が高速化されてベクトル検索が強化され、KVペアのサイズが縮小されることで、類似性検索の高速化とメモリーコストの削減が実現する。しかし、このアプローチでは量子化定数の保存に1〜2ビットの追加コストが生じ、ベクトル量子化本来の効果を部分的に損なう。
TurboQuantで使用される圧縮技術は、ベクトル量子化に必要なメモリーオーバーヘッドを削減する。記事によると、TurboQuantで使用されるアプローチは、AIモデルの性能を犠牲にすることなくKVのボトルネックを軽減する大きな可能性を示しており、検索やAIアプリに有用であるという。
グーグルはGeminiへの適用を主要ユースケースとして明示している。実証実験はGemmaおよびMistralを用いて行われ、トレーニングやファインチューニングなしにKVキャッシュを3ビットまで量子化しても精度が維持されることが確認されている
もちろん、この圧縮技術の仕組みには、記事の中でより多くの詳細がある。著者らは、その結果として、最小限のメモリー、ほぼゼロの前処理時間、最先端の精度で、大規模なベクトルインデックスの構築とクエリが可能になると述べている。ただし、著者らはランタイムオーバーヘッドはほぼゼロであると明記しており、処理速度への悪影響は実証実験においても確認されていない。
メモリー不足は深刻で、ハイパースケーラーがDRAMとNANDフラッシュの生産枠を囲い込んでいる
とはいえ、圧縮技術はAIアプリにおけるメモリー要件を減らす方法であり、昨今メモリーは不足している。このような手法の利用は、AIデータセンターのメモリー要件を下げ、ひいてはデータセンターにおけるメモリー需要の一部を減らす可能性がある。
メモリーとストレージの不足は、PC、スマートフォン、その他メモリーを必要とする個人用およびオンプレミスシステムの出荷にも影響を与えている。大手ハイパースケールデータセンター企業が、少なくとも今後1〜2年間のDRAM（メモリー）、NANDフラッシュ（SSD）、さらにはHDDの生産を押さえている状況だ。このような圧縮技術をこれらのオンプレミスデバイスで使用できれば、より少ないメモリーでデバイスの有用性を向上させることができるだろう。
エージェント型AIのオンプレミス移行が加速し、長期的にはメモリー需要全体を押し上げ
AI活用における次の大きな流れは、個々のユーザーのためにタスクを実行できるエージェント型AIである。エージェント型AIは、適切かつ安全に使用すれば、個人ユーザーの生産性向上に大きく貢献できる。そのセキュリティと、クラウドベースのリソースを使用するエージェント型AIのコストを管理したいという要望から、多くの組織がエージェント型AI推論をオンプレミスで実行する方向に向かっている。
より少ないメモリーでこれを実現できれば、エージェント型AIの導入が加速し、メモリーの全体的な需要が増加する可能性がある。したがって、AIシステムにおけるメモリー使用のより効率的な手法は、特に長期的には、メモリー需要全体を押し上げる可能性がある。
