モデルの脳の部位を地図のように描き出すツール
AIが考えるために幾何を使っているという同社の洞察は、主力ツール「Silico」（シリコ）の設計にも影響を与えた。4月に公開されたSilicoは、AIモデルを開き、いわばその「脳」のさまざまな部分を地図化できる。これにより、研究者や開発者は、特定の誤りに関わる内部のつまみやダイヤルを見つけ、それに応じてモデルを再訓練できる。よくある誤りの1つに、いくつかのモデルが9.11を9.9より大きい数だと考えるものがある。訓練データの影響で、小数点と聖書の節番号を混同するためだ。
メイヨー・クリニック（Mayo Clinic）、楽天、マイクロソフトなどの企業はすでにSilicoを利用している。例えばメイヨー・クリニックは、希少な遺伝子変異の影響を調べ、それが病気を引き起こすかどうかを予測する新しいDNAモデルの精度を確認するために使っている。
生物学分野の基盤モデルを構築するロンドン拠点のAI企業、Prima Mente（プリマ・メンテ）も、患者がアルツハイマー病を発症するかどうかを血液サンプルから予測するAIモデルの訓練で、Goodfireのツールを使った。そのモデルの予測はかなり正確だったが、同社はなぜそれほど優れているのかを把握できていなかった。そこでGoodfireは、どの要因がモデルの判断に寄与しているのかを理解する手助けをした。その結果、アルツハイマー病に関する新しい種類のバイオマーカーが発見された。
「人間を超える性能を持つモデルがあれば、それをリバースエンジニアリングすることで、非常に興味深いことができます」とホーは語る。
投資は広がる中、説明可能なモデルを構築する企業はわずか
解釈可能性はAI研究の新興分野だが、アンソロピックやOpenAIといったモデル開発企業もこの分野に投資している。また、説明可能な基盤モデルを構築する新興企業もいくつか現れている。ロンドン拠点のスタートアップ、Conjecture（コンジェクチャー、累計調達額2500万ドル［約39億7500万円］）や、Guide Labs（ガイド・ラボ、調達額1880万ドル［約29億8900万円］）などである。ただ、ホーは、この問題の解決に取り組む人々がもっと増えていないことに驚いているという。
「私たちは何も見えないまま飛んでいます。ハンドルも付いておらず、全員がバスに乗って突進しているようなものです」とホーはいう。「これは、現在私たちが直面している最も興味深い知的問題の1つだと思います」。
