TAIDで学習した小規模日本語言語モデルTinySwallow-1.5Bの1.5Bとは、言語モデルが学習に使用できる変数（パラメータ）の数だ。パラメータが多いほど学習能力が高いということになる。ちなみに、一世代前の大規模言語モデルGPT-3のパラメータ数は1750億。それに対してTinySwallow-1.5Bは15億。
それでもTinySwallow-1.5Bは、同じ規模の言語モデルで最高水準の日本語ベンチマークスコアを達成した。日本語モデルの総合的な性能を示す日本語KLLM評価ベンチマークでは、26億パラメータの日本語版 Gemma 2 2Bを上回った。
これを使えば、「社内文書や個人メモに基づいた、その人だけのカスタマイズされたプライベートなAIアシスタント」、「データを一切外部に送信せず、ローカルで完結するAI業務支援」、「オフラインゲームにおけるAIキャラクターの実装」、「小型のAIエージェントの開発」などが実現可能だという。
Sakana AIは、元Googleのデビッド・ハ氏とライオン・ジョーンズ氏、伊藤練氏らによって設立されたIT企業。日本でのAIの民主化を目指す、創業わずか1年でユニコーン企業となったスタートアップだ。同社は「高性能なモデルをより身近なものにすることで、AIの恩恵をより多くの人々が享受できる世界の実現を引き続き目指します」と話している。
プレスリリース
