私が行うブリーフィングでは、ほぼ毎回のように次の疑問が形を変えて投げかけられる。「AIの推論処理の多くがスマートフォンやパソコン、自動車などの端末へ移るなら、なぜマイクロソフト、グーグル、アマゾン、メタ（Meta）はデータセンターに数千億ドル（数十兆円）を投じているのか。クラウドへの負荷は減るのではないか」。
開示事項：私が長年率いてきた調査会社Creative Strategiesの調査を購読する世界的テクノロジー企業には、マイクロソフト、アマゾン、グーグル、メタ、クアルコム、アップルなどが含まれる。
端末AIが普及してもデータセンター需要が減らない理由
もっともな疑問だが、業界で起きている変化を正しく捉えていない。クアルコムやアップル、パソコンメーカーは3年にわたり、端末上でAIを動かすことが業界の進むべき方向だと世界に訴えてきた。実際、その主張は正しい。
ニューラル・プロセッシング・ユニット（NPU）は高性能スマートフォンで一般的な構成要素となり、搭載するノートパソコンも増えている。音声指示、画像処理、翻訳、自動補完といった日常的な処理も端末上で実行されるケースが増え、端末側が担う割合はさらに高まる可能性がある。
推論は端末へ移るだけでなく、総量そのものが増えている
この疑問の前提には、見過ごせない混同がある。「以前より多くの推論処理が端末へ移ること」と「必要なデータセンターが減ること」は別の話だ。両者を同じものとして扱うと、データセンター整備を押し上げている要因が見えなくなる。
推論処理は場所を移しているだけではなく、総量そのものが増えている。マッキンゼーのワークロードデータによると、データセンターのAI処理負荷では2027年までに推論が学習を上回り、2030年末まで年率約35％で増える見通しだ。
クラウドの比率が下がっても処理量は大きくなる
かなりの推論処理が端末へ移ることを織り込んでも、クラウドでの推論処理は、従来想定されていたデータセンター処理能力の伸びを大きく上回る速度で増えている。
指数関数的に増えるAI処理負荷では、全体に占める比率が小さくなっても、絶対量は5年前の処理負荷全体を上回り得る。この計算が見落とされがちだ。
NPUとクラウドは何を分担するのか
端末上での推論処理とクラウドでの推論処理は、どちらかを選ぶ関係ではなく、互いを補完する。スマートフォンのNPUは、限られた予測可能なタスクを処理する、小型化され構成が固定されたモデルに適している。
しかし、最先端級の推論モデルを動かしたり、複数段階の作業をまとめたりする用途には向かない。
スマートフォンでは担えない企業向けの高負荷処理
NPUだけでは、顧客関係管理ソフトウェアのセールスフォース（Salesforce）と社内のデータウェアハウスをまたいで情報の文脈を維持したり、数百万件の問い合わせを同時に処理したりすることもできない。
企業が予算を確保しているのは、データセンターでなければ用意できない高密度の演算能力、大きなメモリー帯域、大量の電力を必要とする、高度で負荷の大きい推論処理だ。端末上のAIがユーザーに近い最終段階の処理を担い、データセンターが中核の計算を動かす。
