なぜニューラルネットワークの挙動は解明できないのか
従来のソフトウェアは、プログラマーが記述した明確な指示（コード）に基づいて動作する。人間の開発者がコードを作成するため、開発者はその仕組みを理解することができる。たとえ多くの開発者が関わり、その結果が理解不能で複雑に絡み合ったものに見えても、開発者はコードを調べ、処理を追跡し、さまざまなコンポーネントがどのように相互作用しているかを特定できる。
今日の強力なディープラーニング（深層学習）ベースのAIシステムの基盤となっているニューラルネットワークは、異なる仕組みで動く。エンジニアがアーキテクチャ（モデル構造）や学習プロセスを設計するものの、システム自身がデータから独自の内部表現を獲得していく。こうしたネットワークは数百万、あるいは数十億のデータポイントから学習し、データ間の関係性について独自の理解と表現を構築することによって望ましい結果を出す。
ニューラルネットワークには、相互接続された人工ニューロンの複数の層に、数十億もの数値パラメーターが含まれる場合がある。こうした接続によってモデルはパターンを認識し、質問に答え、画像を生成し、プログラマーが明示的に記述したことのないタスクを実行することが可能になる。そのため、望ましい結果が得られるよう時間をかけてシステムを訓練できても、個々のニューロンが実際に何をしているのかを理解することは難しい。
研究者たちは以前から多義性（Polysemanticity）と呼ばれる現象を観察してきた。これは1つのニューロンが関連性のない複数の概念に反応しているように見える現象だ。たとえばネコや自動車、一見まったく関連のない他の物体の画像を処理するときに、1つのニューロンが活性化することがある。
これはAI解釈可能性研究における「重ね合わせ（superposition）」仮説の提唱につながった。この仮説によれば、ニューラルネットワークはニューロンの総数を上回る概念を、自身の内部表現として保持できるとされている。もしそうであるなら、モデルを理解するには研究者がシステムの仕組みの解明に着手する前に、こうした重複する表現を整理する必要がある。だが、ニューロンの相互作用やそれらがあたかも複数の働きをしているように見えることで生じる混乱が、実際には混乱ではないとしたらどうだろうか。
