AI研究では、進歩はしばしばモデルの巨大化と同一視される。しかし、サムスンのモントリオールAI研究所(Samsung AI Lab、SAL)の小規模なチームは、別のアプローチで有望な成果を示している。彼らの新しいTiny Recursive Model(TRM、小規模再帰モデル)は、性能はパラメータ数に比例するという前提を覆す。わずか700万パラメータでありながら、このモデルは推論能力において、場合によっては数千倍の規模を持つシステムに匹敵、あるいはそれを上回る結果を示している。
GitHubでのオープンソース公開と、それに対応するarXiv論文の中で、SAIL研究所は、時間の経過とともに自らの回答を改善するようネットワークを訓練する、再帰(recursion)プロセスを中核に据えたAIモデルの設計を説明している。
モデル構築への再帰的アプローチ
巨大なネットワークを構築する代わりに、TRMは再帰を用いる。再帰とは、「自分の答えは良いか?もし不十分なら、より良くできるか?」と繰り返し問うことのようなものだ。モデルは一度答えを出し、振り返って見直し、さらに洗練する。満足するまでそれを数回繰り返す。
TRMの論文で、著者らは「収束を仮定せず、潜在状態と出力状態を再帰的に洗練する」と述べている。これは、モデルが早い段階でひとつの固定的な答に落ち着くことを強制しない、という意味だ。さらに、彼らはディープ・スーパービジョン(deep supervision)を用いる。これは最後だけでなく複数のステップでフィードバックを与えることであり、学習を助ける。
また、適応停止(adaptive halting)も用い、いつ洗練をやめるかをモデル自身が判断する。延々と走り続けるわけではない。
「少数のパラメータしか持たないモデルでも、再帰によって推論タスクで驚くほど強力な性能を達成し得る」と、サムスンの研究者アレクシア・ジョリクール=マルティノーらは、GitHubのリポジトリとarXivに公開した論文で述べている。



