ガオは、研究者たちがより厳密な検証を行うべきだと考えている。提示された説明によって、新たな入力に対するニューロンの挙動を真に予測できるのか。あるいは、モデル全体の挙動を大きく崩すことなく、そのニューロンの活動を説明通りの働きで置き換えることができるのか、という点だ。
研究者リヴ・ゴートンは、カマラタの重ね合わせの定義に対する疑問や、一部の実験を再現しようとした際に生じた相違点など、さらなる異論を提起している。
現時点では、個々のニューロンが何に反応するかを理解することと、AIシステム全体がどのように思考・推論・意思決定を行うかを理解することは別物だ。仮にほとんどのニューロンに特定可能な機能があったとしても、膨大な数の相互作用する構成要素がどのように複雑な挙動を生み出すのかを、研究者は依然として理解する必要がある。この大きな問題が解決に近づいていることを示す証拠はまだ確立されていない。
「ブラックボックス」の解明に長年取り組むAI企業
OpenAIやアンソロピック、グーグル・ディープマインド、そして独立系の研究機関は、強力になるばかりのAIシステムの内部で何が起きているのかを理解しようと何年も研究を続けてきた。2024年5月にアンソロピックは同社の言語モデル「Claude 3 Sonnet」の中から、解釈可能な数百万の特徴を特定したと発表した。それらの特徴は、よく知られたランドマークから科学的なテーマ、さらには潜在的に危険な行動まで、幅広い概念を表していた。
研究者たちはさらに、特定の内部表現を操作することでClaudeの応答に影響を与えられることも実証した。たとえば、ゴールデンゲートブリッジに関連する特徴を増幅すると、モデルがこのランドマークについて繰り返し言及するようになる。
OpenAIも同様のアプローチを取り、2024年6月にはGPT-4から解釈可能なケースが多い1600万個の特徴を抽出した。さらに2025年11月に同社は別のアプローチも模索し、内部の計算処理を追跡しやすくするため、接続密度の低いニューラルネットワークを訓練した。
しかしカマラタは、通常のニューラルネットワークを直接解釈することは難しいという通説に異議を唱えている。ニューラルネットワーク内部の特徴を再構築するための複雑な仕組みをつくるのではなく、すでに存在しているニューロンや回路を調べることに、研究者はもっと時間を費やすべきなのかもしれない。
同時に、解釈可能性がもたらす効果を過大評価することには危険が伴う。AIシステム内部の構成要素が完全に理解可能であっても、多大な損失をもたらすミスを犯す可能性はある。モデルがリクエストを正しく解釈したとしても、誤った権限や古い情報、あるいは設計が不適切なワークフローを用いて実行するかもしれない。
企業にとって、説明可能性や理解可能性、解釈可能性の向上は既存のテスト、監視、セキュリティ、ガバナンスの取り組みを補完するものにすぎず、既存の仕組みを完全に代替するものではない。結局のところ、AIモデルの内部で何が起きているのかを知ることは有用だ。だが、本当に重要なのは、AIモデルが意図したとおりに動作することを把握し、意図しない動作を防ぐことといえる。
