定説に挑むカマラタの仮説と、巻き起こる反論
カマラタが挙げる代表的な例の1つに、「InceptionV1」と呼ばれる古い画像認識モデルがある。このモデルを調べた研究者たちは、ネコの顔と自動車のフロント部分の両方に反応しているように見えるニューロンを特定した。こうした無関係な活性化は、ニューラルネットワークが人間には理解しがたい方法で、複数の概念を組み合わせているという考えを裏づけるものとなった。
カマラタはこの例を再検討し、異なる解釈にたどり着いた。そのニューロンは、ネコと自動車を別々の概念として認識していたのではなく、共通する視覚的特徴、つまりV字型のパターンに反応しているようだった。
繰り返し現れる視覚的な形状を検出するニューロンには、その形状が全く無関係な対象に現れたとしても、一見すると特定の機能を持っているように見える。問題は、そのニューロンが互いに相容れない複数の役割を果たしていたことではなく、研究者たちが単に正しい共通の特徴を特定できなかっただけかもしれない。カマラタは、重ね合わせを裏づけるために用いられてきた他の有力な事例についても、同様の誤解が影響していたと主張している。
カマラタによると、旧世代のニューラルネットワークのアーキテクチャに変更を加え、より優れた調査手法を組み合わせることでそのニューロンは大幅に解釈しやすくなったという。変更を加えたInceptionV1モデルでは、自身のアプローチを使うことで、最終層にあるニューロンの99〜100％を解釈できたと主張している。また、言語モデル「Qwen3-32B」の予備的な分析では、調査したニューロンの極の約90％に主要な機能が1つあり、さらに7％には、互いに関連する複数の機能が見られると推定している。
ただし、これらの数字には重要な留保がある。言語モデルの結果は予備的なものであり、機能を定義する基準は普遍的に受け入れられているわけではない。また、ニューロンを活性化させる要因を特定したからといって、そのニューロンが計算処理全体の中で果たす役割を、研究者が完全に理解したことにはならない。カマラタはこうした限界を認め、このエッセーを確立された科学的知見ではなく、検討段階にある仮説として位置づけている。
カマラタの主張にはかなり懐疑的な見方も寄せられている。OpenAIの研究者レオ・ガオは、10月17日に発表した『Neural Networks Are Not Already Clean（ニューラルネットワークは最初から整然としているわけではない）』と題した反論で、研究者がニューロンを安易に「無関係な概念を表現するもの」と決めつけてきた過去の傾向は認めつつも、認識可能なパターンを特定することと、その機能を真に理解することの間には、大きな隔たりがあると反論した。
たとえば、自転車に乗る犬に反応しているように見えるニューロンが、実際にはもっと限定された条件でしか反応しない可能性がある。活性化の強さにわずかな違いがあるだけでも、単純な説明では捉えられない情報を含んでいる可能性がある。
