今回の話は、いささか分かりにくいかもしれない。
どうやら今月初め、Anthropicは「J空間（J-Space）」と呼ばれるものに関する記事を公開したようだ。これは、LLM（大規模言語モデル）がどのように思考しているかをより深く示すものだという。同社はあわせて、エンジニアや一般のユーザーがこの内部ワークスペースの中身を「見る」ことを可能にする「Jレンズ（J-lens）」という手法も提示している。
理論家たちの説明によれば、J空間とは、LLMの内部で隠れた信号が点灯する領域であり、LLMが明示的な出力を一切生成しないまま、何を考えているかが表れる場所だという。人間の心を読むこと、あるいはもっと適切な例えを使えば、人間のボディーランゲージや口に出されない何かを読み取ることに近い。
その結果、人間とAIの相互作用について多くのことが分かりつつある。ただし、そこには大量の数学と専門用語、そして抽象概念が絡んでくる。
J空間を探る
簡単に言えばこういうことだ。LLMは、例えばある入力を受け取って回答を返しながら、同時に別のことを考えている場合がある。黒猫の画像を見せられたLLMが、トークン（データの基本単位）に基づいて「黒い」という単語を返す一方で、J空間では「猫」という単語に結びついたパターンを示すといった具合である。これは、迷信をあまり気にしない読者に向けた、あくまで無作為の一例にすぎない。
では、なぜ「J空間」と呼ばれるのか。
その名は「ヤコビ行列（Jacobian matrix）」に由来する。これを知っておくと、何が起きているのかを理解しやすいだろう。ヤコビ行列とは、多数の入力のそれぞれが、LLMの認知プロセスの方向付けにどう関係しているかを関数として対応付けるものだ。ある値が入力1の「猫」に対応し、別の値が入力2の「犬」に対応するといった具合である。この対応関係は、LLMの識別的な認知プロセスの一端、つまり個々の特徴がどのように印象を形成し、LLMを特定の主題や概念へと導いていくのかを示している。
Anthropicは7月6日の発表で、次のように説明している。
「J空間の各パターンは、特定の単語に結びついています。しかし、あるパターンが点灯したからといって、モデルがその単語を発話しているわけではありません。単に、その単語が頭に浮かんでいるということです。言語モデルには『スクラッチパッド』や『思考の連鎖（CoT）』──推論中に自分自身に向けて書くテキスト──があると聞いたことがあるかもしれませんが、J空間はそれとは別物です。J空間はモデル内部のニューラル活性の中で静かに機能しており、モデルは概念を書き出すことなく、その概念について考えることができます。特筆すべきは、J空間は私たちが設計したりプログラムしたりしたものではなく、Claudeの訓練過程で自然発生的に出現したという点です」（強調は原文のまま）。
