ブォロムウィニはこの現象が大きな問題をはらんでいると感じ、マイクロソフトやIBM、中国の顔認識テクノロジー企業の「Face++」のシステムを使って同様の実験を行った。
いずれのシステムも、白人のときに高い精度で当て、とりわけ男性のときに正解率が高かった。しかし、黒人女性の場合は精度が著しく低下した。肌の色が薄い男性の時に比べ、肌の色が黒い女性の場合はエラー率が34%も増えたという。
ブォロムウィニは、この実験結果を2月24日、ニューヨークで開催されたAIの公平性に関するカンファレンス、「Conference on Fairness, Accountability and Transparency」で発表した。
アルゴリズムによる性別の予測精度は、女性の肌の色が黒くになるについて低下し、最も肌の色が黒い女性の場合には50%近い確率で外れたという。
ブォロムウィニは、この調査結果を踏まえ、人間の偏見がAIに与える影響を卒業論文のテーマにした。機械学習が人間にとってかわるというストーリーはよく耳にするが、偏りのあるデータセットで学習したAIがもたらす悪影響については見逃されがちだ。
彼女の調査は、エンジニアが白人男性の顔写真を使って顔認識アルゴリズムをトレーニングした場合、アルゴリズムが偏見を持つことを示している。
マイクロソフトが2016年にチャットボット「Tay」をツイッター上でリリースしたとき、エンジニアらは他のユーザーとの対話を通じてAIに人間の行動を学ばせようとした。
しかし、Tayは悪意を持つユーザーたちが教え込んだ「フェミニストは地獄で焼かれろ」という暴言や、ヒトラーを礼賛するメッセージを連発したため、マイクロソフトはわずか16時間後にTayをシャットダウンした。
専門家は、マイクロソフトがTayに他人の模倣をさせようとしたことは正しいが、どういう言動が適切かということを十分に教えなかったことが問題の原因だと分析している。
