「現代のAIシステムは、人間の脳に匹敵するくらい複雑だ。実際、ニューラルネットワークは人間の脳を模している」と、コンピュータサイエンティストで『テクノロジーは貧困を救わない（原題Geek Heresy）』の著者である外山健太郎はいう。
外山は、かつてマイクロソフトでコンピュータビジョンを専門に研究していた。彼は、AIが人間の脳に匹敵しはじめていると考えており、その定義を考えれば、人間がAIの行動を予測することは永遠に不可能だと指摘する。
「多くの人は、完全に理解できるものを知性があると考えない。レスポンスが常に同じだったり、予測可能であった場合、我々はそれらが暗記やあらかじめ準備されたレスポンスと解釈し、知的だとは考えない。我々は、予測不可能性を知性に求めるのかもしれない。そうだとしたら、真の知性は予測や解釈することが不可能だ」と外山はいう。
大規模な最先端AIシステムが行う個々の判断には、膨大な量のデータが影響を及ぼすため、技術者にとってもAIがなぜそのような判断をしたのかを解明・理解することは不可能だ。同様に、AIが次に何をしようとしているのかを追跡し、確信をもって予測することも不可能だ。
コンピュータサイエンティストであり、米国のリベラルアーツ大学が設立した初のAI研究所であるDavis Institute for AIでディレクターを務めるアマンダ・ステント（Amanda Stent）は、AIがデータから生み出す表現を、映画『エイリアン』に登場する複雑で多次元なエイリアンの形状に例えた。AIモデルがうまく機能するのは、データを使って人間の概念や理解を超えた複雑な表現を作り出すことができるからだ。
「機械学習アルゴリズムは、人間がまったく使わないような表現を作り出すことが多い。このため、解釈可能性に対するアプローチの多くは、事後の説明や、次元削減による視覚化に重点を置いている。しかし、我々は機械学習モデルを他種の動物やエイリアンの脳波を解釈するのと同じように捉えるべきだ」とステントは話す。
