少し前まで、人々はスケーリング則（モデル規模の拡大に伴う性能向上の法則）について議論していた。AIが「壁にぶつかった」と指摘する声もあった。当時の機械学習における驚異的な進歩（次元の拡張やトークン数の増大が中心だった）は、もはや続かないだろうというのである。しかし、LLM（大規模言語モデル）がこの分野に対する私たちの考え方を根本から変えた今、そうした見方は馬鹿げたものに思える。
とはいえ、LLMの進歩を追跡するための指標は依然として必要だ。筆者の友人であり同僚でもあるジェレミー・ワートハイマーをはじめとする専門家たちが提唱しているように、私たちはLLMを「設計」しているというよりも「発見」しているのであり、その能力は本質的に内在しているものだという考え方が広まりつつある。しかしそれはさておき、AIがARC AGIテスト、HLE、SWEベンチマークといった各種評価指標を次々と突破していく中で、私たちは知能がどこまで進歩したのか、「シンギュラリティ」（技術的特異点）にどれほど近づいているのかを必死に数値化しようとし続けている。
そうした中、筆者はSubstack（サブスタック、メルマガプラットフォーム）上でマキシム・ロットが発表した興味深い記事を見つけた。AIのIQの成長に関する注目すべきトレンドラインを示すものだ。
証拠
ロットは自身のサイトTrackingAI.comのデータを用いて、過去約1年半の間にトップAIのIQが月あたり約2.5ポイント上昇していることを示し、次のように述べている。
「約1年半で、トップAIのIQは80点台半ばから約130へと上昇した。これはおおよそ、一般的な高校中退者と大学で数学の学位を取得しようとしている人との差に相当する」
高校中退者は数学ができないという安易な前提には問題があるものの、このIQの変化は大きな隔たりを示している。
ロットはまた、2024年5月以降、AIモデルがNorway Mensa（ノルウェー・メンサ）のテストで140前後のスコアを達成するようになったことも示した。
「最も賢いAIは、このテストを事実上攻略してしまった」とロットは書いている。「ChatGPT Proは2回にわたり35問中34問に正解し、148というスコアを叩き出した」
