この発言が示す通り、インフラの最適化はそのまま最先端モデルを劇的に低いコストで、かつスピーディーに運用するための絶対条件となる。
同社が学習と推論のアーキテクチャを明確に切り分けたことは、AIの主戦場がモデルの開発フェーズから、実際に社会の裏側で動き続けるエージェントの運用フェーズに移っていることを証明している。
巨大モデルを一度学習させるための計算基盤を構築することと、無数に誕生するAIエージェントがユーザーの代わりに大量かつ継続的な推論処理を行うためのインフラを維持することは、全く異なる技術的アプローチが求められる。
特に、後者の推論特化型インフラの充実こそが、AIを「日常の道具」へと進化させる鍵を担う。モデルを開発すること自体が目的になっていた時代が終わり、開発された知性をいかに安定して供給し続けるかという、プラットフォーマーとしての真価が、いまのグーグルに対して問われているのだ。
AIは特別なものから、誰もが使う日常のインフラに
AIが社会に浸透する規模とその速度を客観的に示す指標として、ピチャイ氏はトークンの処理量を提示した。トークンとはモデルが処理するデータの基本単位であり、AIが解決した課題の総量を示す指標だ。
2年前の開発者会議において、同社のシステムが処理していたトークン数は月間9.7兆トークンだった。昨年には480兆トークンへと跳ね上がり、現在はそこからさらに7倍となる月間3.2京（クアドリリオン）トークンを超える規模に達しつつある。
この途方もない数字は、生成AIの利用が世界規模のインフラとして機能しはじめていることを物語るものだ。現在、毎月850万人以上の開発者が同社のモデルを用いてアプリケーションを構築しており、APIを通じて処理されるトークン数は毎分190億トークンに到達するという。
ピチャイ氏はこの驚異的な成長背景について、次のように説明しながら「利用層の広がり」への確信について触れた。
「AIの進歩をはかる最良の物差しは、人々の具体的な活用ストーリーそのものです。学生が試験の準備に使い、ミュージシャンがクリエイティブな流れの一部として活用し、開発者がアイデアを形にしています。私たちは独自のファーストパーティ製品において、とても大きな需要を目の当たりにしています」
実際に、一般ユーザー向けプロダクトにおける生成AIの統合は、想像を超えるスピードで変化している。その筆頭が検索エンジンだ。
