それに対して同時に開発が進められているのが、小規模言語モデル(SLM)に代表される効率と使い勝手を重視した小さな生成AIだ。スマホやパソコンなどの端末デバイスにインストールしてオフラインでも利用できるコンパクトなサイズで、音声アシスタントや自動翻訳といった特定の目的に使用される。ただしSLMは、LLMから知識を学ぶ仕組みになっているのだが、どう学ぶかが課題となっていた。

日本のIT企業Sakana AI(サカナエーアイ)がこのほど発表した、非常に高性能な小規模日本語言語モデル「TinySwallow-1.5B」は、「TAID」という画期的な学習方法が取り入れられている。むしろ、TAIDの実用性を実証するための言語モデルということだ。TAID(Temporally Adaptive Interpolated Distillation:時間適応型補間蒸留)は、Sakana AIが開発した新しい「知識蒸留」の手法。知識蒸留とは、大規模言語モデルから小規模言語モデルへ知識を移す方法のことだが、単に最適解を詰め込むのではなく、それに加えて文脈的に自然な選択肢も示す。つまり「物の考え方」を教えることで理解を深めるという考え方だ。

また、より大きくて高性能な大規模言語モデルが教師として最適とは限らないという指摘がある。大学の大先生の講義を小学生が理解できないのと同じで、そのギャップが大きいと学習効率が落ちてしまう。
