「私たちが使うベンチマークの大半は、社内で開発した評価ではなく、一般に公開され、十分に手法が確立されたテストです」とエドワーズは言う。「それらが一貫して示してきたのは、専門データセットでは、適切に訓練された小型モデルがはるかに大きなフロンティアモデルを上回り得る、ということです。私たちの経験では、それはおよそ10回中9回起きました」
同社はまた、法務精度が86%向上したとも主張している。エドワーズは質問に応じてテスト手順を説明したが、その数字と公表された結果との整合性は示さなかった。テストは、ファインチューニングされた専門モデルと汎用モデルを比較するもので、同様にファインチューニングされた代替モデルとは比較しておらず、訓練コストも除外している。1万組のエンティティペアを対象とする生物医学分野の抽出では、チューニング済みモデルがF1スコア54.9%を達成し、比較対象は14.1%だった。120億パラメーターの航空分野モデルは、意味の面ではフロンティアシステムとほぼ並んだ一方、要約で詳細を捏造した割合は19.4%で、比較対象は33.4%だった。専門化は誤りを減らしたが、なくしたわけではない。
AIファインチューニングの競合がOvermindの戦略を試す
訓練市場はすでに混み合っている。Together AIとFireworks AIは、推論とあわせてファインチューニングを販売している。Togetherは、訓練、導入、継続的な最適化を1つのプラットフォームに統合しており、プライベートクラウドや顧客自身のハードウェア上で実行できる。Fireworksは2025年に強化学習を用いたファインチューニング(Reinforcement Fine-Tuning)を追加し、多数のカスタマイズ済みモデルのバリエーションを共有インフラ上で提供できる。
AWS Bedrockは、より直接的な挑戦を突きつけている。そのマネージド型の強化ファインチューニングサービスにより、企業は望ましいモデルの行動を定義し、過去のAPI呼び出しログで訓練できる。これにより、多くの企業がすでに料金を支払っているプラットフォーム内に、同じフィードバックループの一形態が組み込まれる。OpenAIも強化ファインチューニングを販売しているが、生成されたモデルは同社のプラットフォーム上にとどまる。一方、独立系市場では統合が進む。Rubrikは、顧客データでオープンソースモデルをファインチューニングするPredibaseを買収し、2026年7月30日に新規訓練・推論ワークロードの受け入れを停止した。


