AIがそれを開発し、プログラミングした専門家たちにとっても理解が困難なのはなぜだろうか。「AIは、特定の目的のために設計されたのではなく、最適化技術を使って設計されているからだ」と、神経科学者でコンピュータサイエンティストのブレイク・リチャーズ（Blake Richards）はいう。彼は「AIの父」と呼ばれ、ディープラーニングシステムを発明したジェフリー・ヒントンの助手を務めたことのあるAIの専門家だ。
ChatGPTやBardなどのLLM（大規模言語モデル）の基盤となる技術が、人間の神経回路を模倣した人工ニューラルネットワークで構成されているディープラーニングだ。AIモデルの精度は、文章や画像などのデータを使って人工ニューロンを学習させることで向上する。しかし、AIの精度と説明可能性はトレードオフの関係にある。
これらのシステムは我々にとって理解が困難であることから、AIモデルはブラックボックス化していると言われる。決定理論とAIの専門家のエリエゼル・ユドコウスキー（Eliezer Yudkowsky）も、AIを「巨大で不可解な浮動小数点数の行列」と表現している。
「大半のAIモデルは、因果関係ではなく関係性を導き出す。AIはデータのパターンを見出すが、なぜパターンがあるのかは理解していない。つまり、AIは原因を理解せずに推測することができるため、AIがどのように判断をしたかを人間が理解するのは困難だ」と、通信会社でCTO（最高技術責任者）を務めるアラ・ネゲダ（Ala Negeda）はいう。
