AIに関する政策転換を求める声、そして、AIが重要システムを乗っ取って人類を絶滅させるとの警告が発せられたことにより、AIに対する人々の恐怖はかつてないほど高まっている。しかし専門家らは、人々の医療へのアクセスを拒み、住宅の割り当てを左右し、刑事判決を自動化するようなAIの偏見（バイアス）によって、社会的弱者はすでに不利益やリスクに晒されていると指摘する。
アルゴリズミック・ジャスティス・リーグの創設者であるジョイ・ボロムウィニは、AIのリスクを「人類存亡の危機」だけに絞って捉えることは本質的にエリート主義的な考えであり、すでに貧困層が苦しむ被害から目を背けさせるものだと主張している。
ボロムウィニの研究は、彼女が「コード化された視線」と呼ぶ概念を中心としている。これは、システムの開発者の偏見や好みがソフトウェアに直接組み込まれるという、現在では実証されている考え方だ。AIの訓練に使用されるデータセットが歴史的に白人男性に偏ってきたため、現在のAIモデルそのものも同様の偏りを抱えているという。
『ジェンダー・シェイズ（性別の陰影）』と名付けられた同研究によると、主要な顔認識ツールは、肌の明るい男性に対するエラー率が1％未満であったのに対し、肌の暗い女性に対するエラー率は35％から最大47％に上ることが判明した。このような技術的な欠陥は、全米各地で黒人男性の不当逮捕につながっている。
不動産管理会社が入居希望者を評価するために使用しているアルゴリズムが、資格を満たしている低所得の応募者を、何の説明も、救済措置もなく拒絶していることも判明している。
入居者審査会社のセーフレント・ソリューションズは、同社のアルゴリズムが黒人やヒスパニック系の応募者、そして政府の住宅補助金を利用する借り手に対して不当に低いスコアを割り当てていたとして、400人以上の原告から提訴され、230万ドル（約3億6800万円）での和解を余儀なくされた。
科学誌『Science』に発表された画期的な研究では、民間企業が提供する医療用のアルゴリズムが過去の医療費の支出額を医療ニーズの指標として使用していたため、同じ病状の黒人患者よりも白人患者に優先して追加の医療ケアを割り当てていたことを明らかにした。構造的な不平等により、歴史的に黒人患者に費やされる金額が少なかったため、システムは黒人患者のほうが「健康である」と結論づけていたのだ。
こうしたアルゴリズムに内包された偏見は、自動化された採用審査や雇用、犯罪予測システム、そして児童福祉機関におけるリスク予測モデルの分野でも発見されている。
投資会社ファウンデーション・キャピタルのパートナーであるジョアン・チェンは、2018年に開催されたSXSW（サウス・バイ・サウスウエスト）で、「AIは偏見を含めた現在の世界をありのままに描写することには長けているが、世界がどうあるべきかを知らない」と語った。
