IBMの研究チームは、このような「欠けている情報」を用いてAIの意思決定理由を説明するメソッドを開発した。
「ディープラーニングの落とし穴の一つは、途中過程がブラックボックスのため、結論が導き出された理由がわからないことだ。答えが正確であっても、理由がわからなければ医療など人間の生命が関わる現場に導入することは難しい」と研究チームのメンバーであるAmit Dhurandharは話す。
IBMのチームが開発した「対比的説明メソッド」を用いることで、機械学習アルゴリズムがデータセットの分類を行う際に「欠けていなければならない情報」を見つけ出すことができるという。例えば、機械学習モデルが写真に写っている動物が犬であることを認識する上で必要な特徴（目や毛など）に加えて、「欠けていなければならない特徴」（翼など）を示すこともできるのだ。
「これはとても簡単だが、これまで見落とされていた重要なアイデアだ」とカーネギーメロン大学機械学習学部のPradeep Ravikumar准教授は話す（Ravikumar准教授はIBMの研究チームには参画していない）。
Ravikumar准教授によると、特定の情報の有無に基づいて判断を行う場合にIBMのアプローチは有効だという。例えば、ある人がローン審査に落ちた場合、機械学習モデルが信用報告書に含まれる情報（債務不履行など）だけでなく、含まれていない情報（大学の学位が未取得など）も踏まえて下した結論であることがわかるようになる。
研究チームは開発したメソッドを「脳のfMRI画像」「手書き数字」「不正購買」という3つの異なるデータセットに用いた結果、機械学習モデルがどのように意思決定を行ったか理解できたという。
「意思決定の理由を知ることが重要な領域で、“欠けている情報”が非常に大きな役割を果たすことがわかった。例えば、インフルエンザと肺炎を識別する上で、陰性所見がわかればより的確に判断を下すことができる。クラスの特徴が類似している場合に欠けている情報の重要性が増す」と研究チームはレポートの中で述べている。
Dhurandharによると、今回の研究の大きな成果は、AIに対する理解が深まることで人間とAIが別々に作業を行うよりもよい結果が得られることわかったことだという。また、AIが結論に至った理由がわかれば、人間がAIのレコメンデーションに従うケースが増えるとDhurandharは指摘する。
「人はその結論に至った理由を知りたいものだ。それがわかればレコメンデーションに従う意欲が増すだろう」とDhurandharは話した。
