真のゲームチェンジャー、TPU
グーグルは二重戦略を実施している。柔軟性のためにエヌビディアを活用しながら、純粋な効率性とコスト管理のために独自のカスタムTensor Processing Units（TPU）を利用している。
AI業界は、高性能GPUに大きく依存していたトレーニング（モデルの開発）から、推論（それらを毎日何十億回も実行すること）へと移行している。これがTPUの領域だ。
・TPUは本質的に行列乗算ユニット（MXU）を備えている。AIが依存する反復的な数学的計算に理想的だ
・GPUはスイスアーミーナイフのようなもの。TPUはグーグル規模の推論に合わせて調整されている
・先週発表された最新のTPU、Ironwood（v7）は非常に高度だ。Trillium（v6）より4倍以上高速で、v5pと比較して10倍のピーク計算能力を持つ
・各TPU世代はドルあたり2〜3倍のパフォーマンスを提供し、その速度は加速している
・最新のTPUは、大幅なメモリ帯域幅、低レイテンシー、そしてクエリあたりのコストの大幅な削減に焦点を当てている
グーグルは社内外でTPU使用を強化する立場にある
AIはグーグルにとって単なる製品ではなく、検索、広告、YouTube、Gmail、マップ、Android、Geminiなどどこにでも存在する。毎日何十億もの同一の推論が行われている。堅牢で超効率的なTPUに理想的だ。
TPUはすでに社内ワークロードのほとんどを管理しており、現在急速に外部に拡大している。
・Vertex AIツールは開発者がアクセスしやすくしている
・Anthropicは最大100万台のTPUを購入することを約束したばかり。それは数百億ドルに相当する
・Anthropicに影響を与えた可能性が高いのは何か？ グーグルのプレスリリースによれば、TPUの「強力な価格性能比と効率性」だという
・Anthropicは70億ドルの年間収益をサポートするために、2026年に1ギガワット以上の新しいコンピューティングパワーを予想している
