そしてこのコンセプトは、ポケットに収まるiPhoneから、机上のMac、そしてMac Studioのようなワークステーションまで、一貫して採用されている。フォームファクタが変われば用途も変わり、求められるGPUのコア数とメモリ帯域も変化するが、どのフォームファクタも同じ構造で統一されている。
AIトレンドがエージェンティックAIへと向かい、アップルがSiriにAIを組み込んでエージェントとして機能させようとしている中、Appleシリコンはすでにその準備を整えているとも言える。
メモリ帯域とNeural Acceleratorsが支えるもの
ここから先は、デバイス内でのAI処理に特化する形で掘り下げよう。ブルックスは、AI処理におけるAppleシリコンのアプローチを二つの軸で話した。
一つ目はメモリだ。メモリにも容量と帯域という二つの切り口がある。容量は、デバイス上で動かせるモデルの大きさを決める。もう一方の帯域は、トークンを逐次生成する速度に直接影響する。この処理は「デコード（decode）」と呼ばれる。生成AIが応答を逐次生成する際、ボトルネックになりやすいのは演算能力よりも、モデルのウェイトを読み出す速度だからだ。
もう一つ、デコードと対をなすのが、入力されたプロンプトやコンテキストをまとめて処理し、最初の応答を始めるための準備を行う「プリフィル（prefill）」だ。こちらは行列演算性能への依存度が高い。
「競合のシステムの中には、非常に強力なAI向けの演算性能を持つものもあるが、AI処理はそれだけでは完結しない。処理全体を見渡すと、メモリ帯域が不足していることが多い」とブルックスは話す。
「AppleシリコンはAI処理に限らず、必要とする処理の全体を見渡し、バランスを考えて処理モジュールの性能を決め、メモリ帯域に過不足が発生しないよう慎重に設計している。例えばM5ファミリーは、10コアGPUのM5から、最大20コアのM5 Pro、40コアのM5 MaxへとGPUの演算能力が高まるごとに、共有メモリの帯域も段階的にほぼ2倍ずつ増えている。演算性能を高めるだけでは演算ユニットを持て余してしまうので、常に演算性能とメモリ帯域が釣り合うように設計している」
アップルはA19 ProとM5ファミリーで、GPU内にNeural Acceleratorsと呼ぶ行列演算の高速化機能を加えた。M4ファミリー以前の世代では、言語モデルを動かす際、デコードに比べてプリフィルが相対的に弱かった。しかし、このアクセラレータによってプリフィルは最大4倍に高速化され、膨大なメモリ帯域によるデコード性能と釣り合うようになった。ローカルで言語モデルを動かす際にも、高い応答性と生成スループットを両立できる。
