ChatGPT、GPT-5、Claude、Grok、Gemini、Copilotなどの生成AIは、一般に「トークン」と呼ばれる単位を順番に予測し、回答を組み立てる。大規模言語モデル（LLM）で広く使われる方式で、単語を順に並べる方法に近い。れんがを1個置いてから次を積み、建物を作る作業にたとえられる。
従来のトークン単位の生成とは異なる方式として、「次概念モデリング（next-concept modeling、NCM）」という新手法が考案された。NCMでは、AIが回答の骨組みとなる主要な単語や概念を先に大まかに決める。その後、何度か処理を重ね、言葉を補いながら文章を具体化していく。物語の構成を大づかみに考えてから描写を加え、文章を磨いていく方法に近い。
NCMは複数の箇所を並列に処理して生成速度を高め、回答完成までの処理段階を減らせる可能性がある。生成AIの内部処理を組み替えるNCMは、従来型LLMの有力な対抗馬にもなり得る。
私はフォーブスの記事で、影響の大きい最新のAI技術や、その複雑な仕組みを継続して解説している。NCMの仕組みを詳しく見ていこう。
生成AIでは、次のトークンを順番に予測する方式が主流
生成AIに質問や指示を入力すると、従来型LLMは次に続く単語を予測しながら、少しずつ回答を組み立てる。この方法は「自己回帰方式」と呼ばれる。生成中の文章で次にどの単語が来るのかを予測し、その結果を使ってさらに次を予測する仕組みだ。
ただし、AIの内部で単語をそのまま扱っているわけではない。入力された文章は、単語などに対応する「トークン」という単位に分けられ、数値に変換される。AIは数値化された入力を基に、次に置くべきトークンを順に予測する。生成したトークンは、利用者に回答を表示する段階で読める文章へ変換される。
生成AIの回答が、誰かがキーボードで入力しているかのように、画面に少しずつ現れることがある。ただし、表示のされ方が内部の生成処理と常に一致するわけではない。通信速度やAI自体の処理速度によっても画面表示は変わる。自己回帰方式や文章のトークン化については、詳しい解説で紹介している。
「テキスト拡散」では、文章全体を先に作ってから修正を重ねる
文章をトークン単位で追加する方法とは別に、「テキスト拡散」と呼ばれる生成方式も研究されている。まだ広く普及していないが、従来型の代わりになり得る興味深い手法だ。拡散モデルは画像や動画の生成で広く用いられており、文章の生成にも応用できる。仕組みは以前の解説でも取り上げた。
彫刻家が大理石から人物像を作る工程を考えると分かりやすい。最初に大理石の塊があり、完成形に不要な部分を少しずつ取り除いていく。人の形を残すために余計な石を削る作業と同じように、テキスト拡散も文章全体を修正しながら、物語や回答を形にする。
例えば、エイブラハム・リンカーンについて説明するようAIに指示したとする。自己回帰方式は単語を順番に選んでいくが、テキスト拡散では、最初に意味が通らないように見える文章全体を一度に生成する。拡散型LLMは不要な語を取り除き、文章を修正して、リンカーンについて意味の通る説明に仕上げる。
