「AIによる差別」として取り上げられている事例のひとつに、ニコン製カメラに搭載されたAIソフトウェアのケースある。
同AIは、被写体が目をつむったり、瞬きするたびに警告してくれるという便利な機能を提供している。だが、東洋人が被写体になった際に警告数が多いとして問題とされた。東洋人は他の人種に比べて目が小さいため、人工知能が「目をつむっている」と誤って判断してしまうというのだ(筆者が被写体になろうものならば、警告が止まらないかもしれない)。
文章内の単語の関係性を把握する「ワードエンベディング」というAI技術も、差別論争にさらされている。ヨーロッパ系アメリカ人の名前は「楽しい」に関連する単語とひもづけられる一方、アフリカ系アメリカ人の名前は 「不快」に関する単語とつなげられる傾向があるという指摘がある。
画像を分類に使用されるアマゾンのクラウドワーキングプラットフォーム「アマゾンメカニカルターク」にも問題が指摘された。例えば、アメリカの花嫁&結婚式の写真をアップロードすると「ドレス」「女性」「結婚」などとひもづけられるのに対し、北インド地域の結婚式および花嫁の写真は「行為芸術」「コスチューム」と関連づけられるそうだ。
性差別に関する指摘もある。例えば、グーグル翻訳でスペイン語ニュース記事を英語に翻訳する際、女性を指す単語を男性代名詞に変えるという事例だ。ネイチャーは、グーグルが性別を正しく認識しない人工知能のエラーを正さなければ、男性偏向的な翻訳アルゴリズムが蓄積・拡散してしまうと継承をならしている。