OpenMythosの中核にある考え方
OpenMythosは、“Claude Mythosが2022年から発展してきた新しいモデルの枠組みを採用しており、それが今年に入って大規模でも安定して訓練できるようになった”というゴメスの仮説に基づいている。研究者たちは、モデルに深さを与えるためにニューラルネットワークの層を積み重ねるのではなく、より小さな層のまとまりにデータを繰り返し通す方法を提案した。つまり、時間を通じてモデルに深さを与えるという発想だ。
別の言い方をすれば、モデルに「考える時間」を与え、ループを重ねるたびに出力を改善させるということだ。
ゴメス自身、開発者に広く使われているコード共有サービスGitHubに次のように記している。「Claude Mythosは、Recurrent-Depth Transformer（RDT、再帰的深度トランスフォーマー）──別名Looped Transformer（LT、ループ型トランスフォーマー）──であると推測される。何百もの固有の層を積み重ねるのではなく、一部の層を再利用し、1回の順伝播（フォワードパス）で複数回通過させる。重みは同じ。ループは多く。思考はより深く」。
この考え方は、小さなシステムが大きなシステムに匹敵するという主張にもつながっている。ただし、そうした主張はまだ証明されていない。ゴメスのプロジェクトには、訓練済みの重みや本格的な評価結果はまだ含まれておらず、訓練したのも比較的小規模なモデル、つまり7億7000万パラメータのモデルにとどまる。彼は1兆パラメータまで拡張する手順を書いているが、実際にそれを行うには数千万ドル規模の費用が必要になる。
それでも、影響はすでに現れている。開発者たちはこのアーキテクチャで実験を始め、チュートリアルを書き、こうした設計が次世代モデルの方向性を形づくるのかどうかを議論している。
