自動化されたシステムはミスを減らし、意思決定を迅速化するのに役立つが、重要な情報を見落とし、結果として誤った提案をする場合もある。問題は、いったんシステムに依存し始めた人は、その提案に疑問を持たなくなりがちだという点だ。
テクノロジーの進歩に伴い、自動化システムへの依存度は飛躍的に高まっている。質の高い意思決定プロセスを維持するには、自動化バイアスについて理解し、その影響を軽減することが極めて重要となる。
自動化バイアスが生じる根本的な原因は、私たちにテクノロジーを信頼する性質があるためだ。自動化されたシステムなら間違いを起こさないとみなす傾向があり、少なくとも人間の判断よりは信頼に足ると考えてしまう。
この信頼感は、主に2つのミスの引き金となる。自動化システムからの間違った提案に従ってしまう「作為の誤り」と、自動化システムが提案しなかったがゆえに行動を起こさない「不作為の誤り」である。
自動化バイアスの危険性
自動化バイアスの影響は甚大だ。重要な分野の意思決定に影響を及ぼし、適切に対処しなければ大惨事につながる恐れがある。航空機のコックピット・シミュレーターを使った研究では、職業パイロットの半数以上が自動化システムに警告されなかった重要な情報を無視したり、自動化システムから誤った情報が提供された際に危険なミスを犯したりしていることがわかった。
実際、1972年の米イースタン航空401便墜落事故や2009年の仏エールフランス447便墜落事故などでは、自動化バイアスが事故原因の一つだったと指摘されている。
また、株の自動売買アルゴリズムをめぐるトラブルは、ビジネス上の代償の大きさを物語っている。米証券仲介大手のナイト・キャピタルは2012年、プログラム更新に伴う大量の誤発注により、わずか45分間に4億4000万ドル（当時のレートで約340億円）の損失を出して倒産寸前まで追い込まれた。
企業が計画立案の責任をAIや専門システムに委ねる傾向が強まる中で、自動化バイアスはいっそう問題化するだろう。
