西洋的な名前の場合、筆者の評価とAIのカウント数は連動しており、相関関係は0.53であった。しかし、非西洋的な名前の場合の相関関係は0.27と、統計的にノイズと区別がつかないレベルになった。さらに、AIは西洋的な名前を約5倍多く聞き取っていた。平易に言えば、クラスの半数において、AIによる「客観的」な貢献度の測定は、実際の貢献度とほとんど無関係だったということだ。
正確を期すために言えば、筆者のカウントは文字起こしの品質ではなく名前の言及回数を追跡したものであり、サンプルサイズも小さいため、これは厳密に管理された研究ではなく、あくまで実例による例示である。しかし、これはAIがいかに容易に、学習データにおいて過小表現されている名前や声を持つ人々に対して、体系的な失敗を起こしうるかを浮き彫りにしている。
打つ手がないわけではない
朗報は、これがデータサイエンスの問題であり、データサイエンスにはその解決策があるということだ。過小表現されているグループが適切なシグナルを持つように、学習データの重み付けを再調整することができる。モデルが学習する前に、デリケートな属性との相関関係を排除するように特徴量を変換することも可能だ。学習時に公平性の制約を追加することもでき、事後的に「デモグラフィック・パリティ(人口統計学的等価)」や「イコライズド・オッズ(機会の平等)」などのテストを用いて予測結果を監査することもできる。解決策は、AIのスイッチを切ることではない。一部の扱いやすいグループだけでなく、すべてのグループにおいてAIのスコアが妥当であるかを検証することだ。筆者は、このようなデータ検証アプローチの1つを「Hack For Fairness(公平性のためのハック)」で紹介しており、そこでは査読者がプロセスを不正に操作するのを防ぐ方法を提案している。
AIは私たちの働き方を改善するだろう。組織の階層をフラットにするだろう。そして、AIは誰が昇進するかの決定にも関わることになる。しかし、同じツールであっても、不注意に使用すれば実害をもたらす。私たちに必要なのは、アルゴリズムの透明性と、これらのツールにはすべてバイアスが存在するという事実を冷静に受け入れることだ。筆者の教室での検証から得られた心強い兆候は、バイアスは測定可能であり、測定可能なものは修正できるということだ。これを正しく行えば、特定の人々が最初からその場にいなかったかのように不当に扱われることなく、AIの恩恵を享受し続けることができる。


