速度の問題もある
エージェント型のコーディングは、AIとチャットするのとは違う。プロンプト処理（入力側のテキストを読み込む処理）の負荷がはるかに大きい。というのも、1往復ごとに、システムプロンプト、ファイルの中身、ツールの実行結果、いま手を入れているコード、そのコードをアプリ全体のなかで動かすためにLLMが知っておくべき細部といったものを、そのつど送り直すからだ。
Appleシリコンはトークンを生成するのは速いが、読み込むのはこれまで概して遅かった。読み込みは演算性能で頭打ちになる処理であり、M3 UltraのFP16（16ビット浮動小数点）演算性能は、エヌビディアのDGX Sparkのおよそ4分の1にとどまるからだ。
ある開発者は、512GBのM3 Ultraでローカルモデルを相手にClaude Codeを動かしたところ、1万6000トークンのシステムプロンプトでは最初のトークンが出るまでに約90秒かかったと報告している。別の開発者は、48GBのM4 Proを積んだノートパソコンで、最初のトークンが返るまでの時間（time-to-first-token）を測り、起動直後で20秒、コーディングが深く進んだ状態では約1分という結果を得た。彼の結論はこうだ。「じっくり考え、仕様に沿って進め、レビューを重ねる」タイプの開発になら十分だが、「1日に何百回もの低遅延のやり取り」には使えない。
アップルはこの問題に手を打とうとしている。
アップル自身の機械学習研究者は、基本構成のM5搭載MacBook ProとM4搭載機を比較測定し、最初のトークンが返るまでの時間は3.3～4.1倍に改善した一方、トークン生成の速度は19～27％しか伸びなかったと報告している。アップルは、M5 UltraのLLMのプロンプト処理はM3 Ultraに比べて最大4倍速いと主張している。改善ではある。だが、それで十分に速いとは限らない。
そして、本当に信じるには、実際の使用環境で確かめる必要がある。
お金の話ではない論点
アップルの新しいMac miniやMac Studioを買う最も強い理由は、実のところ、LLMのトークン代を節約することではない。
プライバシーだ。
ベルリンを拠点とするIsareeのCEOで、医療AIのオープン化を長く訴えてきたバート・デ・ウィッテは、発表後に次のように述べている。
「M5 Ultraは今日なら『データセンターが必要』とされる水準の、フロンティア級の医療AIモデルを、まるごとローカルメモリに載せられます。APIの呼び出しもいりません。トークンもいりません。患者データが建物の外に出ることもありません」。そして、こう結論づけている。「この10年、業界は病院にこう言ってきました。『AIを使うとは、あなたのデータを他人のコンピュータに送ることだ』と。ハードウェアはたったいま、その議論に終止符を打ったのです」。
ハードウェアについての彼の指摘は正しく、それ以外についても率直だ。「残っているのはソフトウェアで、そこが難しいところです」。
GDPR（EUの一般データ保護規則）、HIPAA（米国の医療情報保護法）、ITAR（米国の国際武器取引規則）、あるいは第三者による推論を禁じる顧客との契約に縛られている開発者にとって、Mac Studioはコスト対策ではない。プライバシー対策である。
それに、ローカルLLMをチャットに使うのであれば、医療のチャットであっても、エージェント型のコーディングよりずっと効率よく、速く動くのはほぼ間違いない。
