AIモデルに質問を投げるたび、文書を要約させるたび、そしてコードを書かせるたびに、「トークン」が消費されている。トークンは、モデルが処理できる情報の量を決め、そして近年は、企業が支払う金額をも左右するようになっている。
だからこそ、トークンはしばしば「AIの通貨」と呼ばれる。OpenAI、グーグル、Anthropicといった企業の商用AIサービスは、たいていトークンの使用量に応じて課金される。また、モデルが1度に何トークンまで扱えるかは、そのモデルのコンテキストウィンドウ（1度に読み込める情報量の上限）によって決まる。
ビジネスリーダーにとって、トークンを理解することは、AIプロジェクトの予算を組み、モデルを比較し、コストを抑えるうえで欠かせなくなりつつある。だが、トークンには危うい一面もある。消費量の多さを、生産性が上がった証拠、社内に定着した証拠、事業価値が生まれた証拠と取り違えれば、判断を大きく誤りかねない。
では、AIのトークンとは何なのか。AIのトークノミクス（トークン経済学）はどう働くのか。そして企業は、どの時点でトークンを数えるのをやめ、成果そのものに目を向けるべきなのか。
AIのトークンとは何か
AIモデルは、人間のように単語や文をひとまとまりとして処理しているわけではない。文章をトークンと呼ばれる、より小さな単位に分解して扱っている。
トークンにあたるのは、「it」や「and」のような短い単語であったり、長い単語の一部であったり、句読点であったり、頻繁に現れる文字の組み合わせであったりする。どこで区切るかは、モデルと、それが使うトークナイザー（文章をトークンに分解するプログラム）によって異なる。
言語モデルが処理する文書、メール、プロンプト、チャットの回答は、すべてトークンに変換される。入力や出力が長くなればトークン数は増え、それだけ多くの計算能力が必要になる。商用モデルを使っているなら、費用もその分かさむ可能性がある。
コードでも同じことが起きる。変数、演算子、キーワードといった要素は、モデルが解析したり生成したりする前にトークンへと分解される。
画像や動画の生成にもトークンは関わっている。こうしたシステムは、トークン化された表現を使ってプロンプトを解釈し、構造によっては、映像そのものを表現し生成する過程でもトークンを用いる。
トークンは、生成AIの仕組みそのものを支えている。学習の段階では、言語モデルは膨大な量のトークン化されたデータを読み込み、そこにあるパターンと関係性を分析する。プロンプトに答えるときは、次に来る可能性が最も高いトークンを予測し、それを1トークンずつ繰り返して回答を組み立てていく。
AIモデルに「バナナは何色か」と尋ねれば、モデルは学習した関係性をもとに、答えとしてふさわしいのは「黄色」を表すトークンだろうと予測する。
