2026年の初頭である現在でも、テキスト分析における注意機構の仕組みについて、多くの人々が歪んだ見方をしている。
そしてテキストは依然として、LLM（大規模言語モデル）の利用を推進するこの種の推論の主要な媒体である。GPTに詩を書かせることから、特定のトピックやテーマに関する質問にモデルに答えさせることまで、さまざまな用途がある。インターフェースがマルチモーダルである場合でも、推論はしばしば自然言語処理（NLP）に落とし込まれる。これは、我々がこの分野で非常に進化したモデルを持っているためでもある。そして、それこそが私が話したいことだ。テキストベースの注意機構がどのように機能するかについてである。
まず、初歩的な見方として、今日のTransformerは単に「次の単語」や「次のトークン」の検索を行うだけだというものがある。例えば、「Hello」から「Hello there」などを見ていくというものだ。これは従来のシステムをある程度説明していたかもしれないが、新しいメカニズムがトークン化する膨大な数のトークンをどのように扱うかを説明することはできない。
従来の機械学習や「AI/ML」では、各デジタルニューロンは一連の重み付けされた入力と、結果を生成するコアの「活性化関数」を持っていた。そして、これらの小さなビットすべてが、層状に、興味深い方法で互いにトリガーし合った。その後、誤差逆伝播法が登場した...
しかし今、我々は、洗練された注意機構として、トークンに対して「自己注意」と呼ばれるものを行い、非線形的な方法でそれらをマッピングするTransformerを持っている。これから説明しよう。
トークンスキーム
時には、具体例に勝るものはない。
ここでの基本的な考え方は、Transformerが各トークンに対して3つの項目を取るということだ。クエリ、キー、バリュー（Q、K、V）である。そして、セット内の他のトークンの関連性を集計する。
この文学的なテキストを例に取ろう。
「夕暮れ時、図書館の窓は鏡に変わり、外の街灯は浮かぶ月となった。私はボロボロのノートを開き、棚が落ち着く際のゆっくりとした軋みに耳を傾けた。指の間で紙は温かく感じられ、まるで急いで書かれたすべての文を覚えているかのようだった。ページには押し花のシダが挟まれており、古い紅茶のように茶色く、それを持ち上げると香りが立ち上った。その小さな緑の息吹の中に、私は地図を見つけた。場所の地図ではなく、日々の地図だ。それぞれの葉脈は選択であり、それぞれの余白は沈黙である。私は1行書き、それを灯籠のように立たせた。広がる闇に対して。」
さて、これからGPTによるトークンセットの完全な特性評価を、番号タグ付きで掲載する。記事の残りを読むには、下にスクロールする必要がある。では始めよう。
1: At
2: Ġdusk
3: Ġthe
4: Ġlibrary
5: Ġwindow
6: s
7: Ġturn
8: ed
9: Ġto
10: Ġmirror
11: s
12: ,
13: Ġand
14: Ġthe
15: Ġstreet
16: lights
17: Ġoutside
18: Ġbecame
19: Ġfloat
20: ing
21: Ġmoon
22: s
23: .
24: ĠI
25: Ġopen
26: ed
27: Ġa
28: Ġbatter
29: ed
30: Ġnote
31: book
32: Ġand
33: Ġlisten
34: ed
35: Ġto
36: Ġthe
37: Ġslow
38: Ġcreak
39: Ġof
40: Ġshelf
41: es
42: Ġsettle
43: ing
44: .
45: ĠBetween
46: Ġmy
47: Ġfing
48: ers
49: Ġthe
50: Ġpaper
51: Ġfelt
52: Ġwarm
53: ,
54: Ġas
55: Ġif
56: Ġit
57: Ġremember
58: ed
59: Ġevery
60: Ġhurri
61: ed
62: Ġsentence
63: .
64: ĠA
65: Ġpage
66: Ġheld
67: Ġa
68: Ġpress
69: ed
70: Ġfern
71: ,
72: Ġbrown
73: Ġas
74: Ġold
75: Ġtea
76: ,
77: Ġand
78: Ġthe
79: Ġscent
80: Ġrose
81: Ġwhen
82: ĠI
83: Ġlift
84: ed
85: Ġit
86: .
87: ĠIn
88: Ġthat
89: Ġsmall
90: Ġbreath
91: Ġof
92: Ġgreen
93: ĠI
94: Ġfound
95: Ġa
96: Ġmap
97: :
98: Ġnot
99: Ġof
100: Ġplace
101: s
102: ,
103: Ġbut
104: Ġof
105: Ġday
106: s
107: ,
108: Ġeach
109: Ġvein
110: Ġa
111: Ġchoice
112: ,
113: Ġeach
114: Ġmargin
115: Ġa
116: Ġsilence
117: .
118: ĠI
119: Ġwrote
120: Ġone
121: Ġline
122: ,
123: Ġthen
124: Ġlet
125: Ġit
126: Ġstand
127: Ġlike
128: Ġa
129: Ġlantern
130: .
131: ĠAgainst
132: Ġthe
133: Ġwiden
134: ing
135: Ġdark
136: .
お気づきでないかもしれないが、モデルはプレースホルダーとして「G」を使用している。これの素晴らしい点は、分析のために各トークンに番号を付けていることだ。
自己注意の原理
ここでの考え方は、システムがトークンを線形的に扱わないということだ。代わりに、さまざまな「角度」からテキストを検証し、複雑な方法で他のトークンの関連性を重み付けする。トークン化スキームが、単語をコア、接頭辞、接尾辞、または複数形に分解したり、句読点を別々に扱ったりすることが多いことがわかるだろう。
「単一の注意関数を使用する代わりに、Transformerは複数の注意ヘッドを使用して、単語間のさまざまな関係を学習する」と、MediumのAditi Babu氏は書いている。「1つのヘッドは構文構造（例：動詞対名詞）に焦点を当てるかもしれない。別のヘッドは意味的な意味（例：『car』と『automobile』のような同義語）を捉えるかもしれない。」
Babu氏はまた、以前の設計からの移行に関するいくつかの詳細を明らかにしている。
「言語モデルは、単純な統計的手法から、人間のようなテキストを生成できるディープラーニングを活用したアーキテクチャまで、長い道のりを歩んできた」とBabu氏は書いている。「n-gramや隠れマルコフモデル（HMM）のような初期のモデルは、構造化されたテキストではうまく機能したが、長期的な依存関係を捉えることができなかった。リカレントニューラルネットワーク（RNN）や長短期記憶（LSTM）はこれを改善したが、勾配消失の問題に悩まされ、その逐次的な性質のために遅かった。」
拡張されたコンテキストの価値
ここで、コンテキストウィンドウについても話さなければならない。ウィンドウが大きいほど、モデルはNLPでより多くの接続を作ることができる。これは覚えておくべき重要なことだ。
「エンジニアたちは、コンテキストウィンドウの拡張において印象的な進歩を遂げてきた」とマッキンゼーのアナリストは書いている。「いつの日か、ほぼ無限の長さのコンテキストウィンドウが可能になるかもしれないと推測する人もいる。この作業には独自の課題が伴うが、（より長いコンテキストにわたるモデルパフォーマンスの向上など）価値ある革新ももたらしてきた。コンテキストウィンドウの長さが増すにつれて、研究者たちは、モデルがプロンプトの最初または最後に焦点を当てる傾向があることに気づいた。最新のモデルは、この傾向を克服したようで、長い入力に必要な最初から最後までの一貫性を保持する能力が向上していることを示している。」
さて、他のエンジニアたちは、時にはより大きなコンテキストウィンドウが必要ないこともあると指摘しているが、一般的には、より大きなリーチを持つことが役立つ。
とにかく、これが、我々が現在使用している多要素で複雑な自己注意システムへの少しの入門を提供するのに役立つことを願っている。引き続きご注目いただきたい。
