xAIの報告によると、Grok 3の開発は、わずか8カ月で構築されたスーパーコンピュータ「Colossus（コロッサス）」によって加速されたという。このシステムには10万台のエヌビディアのGPU「H100」が搭載され、合計2億GPU時間におよぶトレーニングを提供した。これは前世代Grok 2の10倍に相当し、膨大な計算リソースの投入によって大規模データセットの処理効率が高まり、学習時間の短縮と精度向上を実現している。
さらにxAIは、Grok 3の性能を高めるために学習手法を調整している。具体的には、以下の技術要素を組み合わせることでモデルを強化している。
・合成データセット（Synthetic Datasets）
現実のデータではなく人工的に生成されたデータセットを指す。さまざまなシナリオをシミュレートすることで多様かつ制御された学習データを確保し、学習効率を向上させるとともにデータプライバシーの問題にも対処できる
・自己修正メカニズム（Self-Correction Mechanisms）
モデル自身が誤りを検出し、修正できるAI技術。出力を評価し、既知の正解と比較することで回答の精度を継続的に高め、誤答（いわゆる「幻覚、ハルシネーション」）を減らす
・強化学習（Reinforcement Learning）
AIモデルが行動に対する報酬またはペナルティを受け取ることで学習する手法。試行錯誤を通じて肯定的な結果を最大化するよう訓練されるため、意思決定能力が大きく向上する
xAIとマスクによれば、こうした改良により複数の検証ステップを活用して誤った応答を抑え、信頼できる情報源との照合によって論理的正確性を高め、さらに自己評価と学習を継続的に行うことで適応性を強化できるという。
またxAIは、より自然で正確な応答を目指すため、人間によるフィードバックループと文脈を考慮したトレーニングを導入したと報告している。
・人間によるフィードバックループ（Human Feedback Loops）
AIが生成した応答に対して人間のレビュアーが直接評価やフィードバックを行い、それをもとにモデルを改善する手法。正確性や関連性、有用性を人間が判断することで、回答の質が高まる
・文脈を考慮したトレーニング（Contextual Training）
過去のやり取りやユーザーの意図、周囲の情報などを踏まえて応答を生成するようAIを学習させる手法である。これにより、より的確で関連性の高い回答が得られる。
xAIによると、Grok 3は洞察に富んだ意外性のある解決策を導き出せるよう設計されており、問題解決のための効果的なツールになっているという。初期テストでは、複雑な推論タスクにおいて、OpenAIのChatGPTやグーグルのGeminiといった競合モデルを上回る性能を示している。
2月11日から13日にドバイで開催されたWorld Governments Summitのビデオインタビューで、マスクは「これが他のAIがGrokより優れている最後の機会になるかもしれない」と語っている。
（forbes.com 原文）
