AIを動かす定番ソフトのOllamaとLM Studioが、そのまま使える
PAIRは、手元のPCでAIモデルを動かすソフトとして広く使われているOllamaとLM Studioに対応する。さらに、PCや機器がネットワークへつながったり離れたりするのに応じて、構成をその場で組み替えられる。
メインのPCで作業を続けながら、AIは他のPCに任せる
利用者がローカルのAIエージェントに一連のタスクを指示したとする。そのタスクを手元のホストPC1台、場合によってはGPU1基だけで走らせる必要はない。PAIRは使えるPCすべてへ作業を割り振れる。複数のPCにまたがって、より多くの演算能力をエージェントに実際に使わせるわけだ。その結果、同時に走らせられるタスクの数が増える。メインのPCを別の作業に使いながら、AIの処理を他のPC1台、あるいは複数台に任せることもできる。
家庭にあるさまざまな機器が、AI推論を引き受けるという未来
私は今後、AI推論の多くがこうした形で処理されるようになると考えている。たいていの家庭や小規模事業所には、デスクトップPC、ノートPC、ブロードバンドルーター、スマートデバイスなどがある。それらを合わせれば、驚くほどの演算能力が使われないまま眠っている。データを一切クラウドへ送らず、クラウド型AIサービスに料金も払わないまま、家庭や職場にあるそうした機器の力を活用する。単純に理にかなっている。
PAIRのベータ版はすでに公開中、対応する機器も増える見通し
PAIRのベータ版は現在、Windows、macOS、Linux向けに公開されている。操作はデスクトップアプリの画面からでも、コマンドを打ち込むターミナルからでもできる。対応するハードウェアは現時点で、GeForce RTX 20 シリーズ以降のGPUである。ワークステーション向けでは、Turing アーキテクチャ以降のRTX PROも対象に入る。DGX Sparkに加え、Apple M4以降のチップを搭載したMacでもPAIRは動く。
これ以外のハードウェアへの対応については説明がなかった。ただ、エヌビディアがいずれ、他の製品も対応の輪へ引き入れてくるのは、まず間違いないだろう。
※編注：エヌビディアの公式説明によると、PAIRを入れた機器はどれも同じソフトウェアを動かし、自分で処理することも、他の機器へ回すこともできる。全体を取りまとめる親機は存在しない。振り分け先を決めるのは要求が発生した機器であり、Apple M4以降を搭載したMacからも、同じネットワーク上にあるRTX搭載PCやワークステーション、DGX Sparkへ推論処理を回せる。逆に、WindowsやLinuxの機器からMacへ回すこともできる。ただし実行先になれるのは、指定されたモデルを保持し、OllamaまたはLM Studioが動いているノードに限られる。
※編注：エヌビディアは、1つのクラスターに加えられる台数の上限を示していない。ただし、機器を増やせば同時に処理できる要求の数は増えるが、1件ごとの処理が速くなるわけではないと公式ドキュメントは断っている。振り分けの順位は各ノードが自分の視点で計算し、他のノードが直前にどこへ送ったかまでは把握できないため、台数が増えるほど判断のずれは起きやすいという。なお、1台が周囲に知らせるIPアドレスの数は、公開されているソースコード上で4個までとされている。
