研究用の人工集団（シンセティック・ポピュレーション）を構築する企業であるCambium AIは、大規模言語モデル（LLM）が特定のタイプの人々のように振る舞うとどうなるかを検証している。これが職場で重要となるのはなぜだろうか。
データに不平等が現れるのは、現実世界に不平等が存在するからという場合がある。例えば、育児や介護などのケア責任を担う女性の歴史的な所得が低かった場合、AIモデルはその関係性を学習してしまう可能性がある。また、雇用主が歴史的に黒人女性をリーダー職から除外してきた場合、データにはその事実も保存される。AIは女性を戯画化しなくなっても、女性を不利な状況に置く背景にある条件は依然として再生産しうるのだ。
女性100人と男性100人を対象に調査を行い、起業家精神がどれほどあるかを測定すると仮定しよう。その結果を2つのベルカーブ（正規分布曲線）にプロットすると、両グループともに中央付近に集中する。現実世界では、この2つの曲線は大きく重なり合う。しかし、AIモデルに同じグループをシミュレートさせると、AIは2つの山を実際の3倍以上も引き離してしまう。Cambium AIは、LLMがわずかな違いを漫画のように誇張しうることを突き止めた。
AIモデルの欠陥を示す事例
リーダーシップの可能性。ある女性の360度評価で、彼女が協調的で、協力的で、思慮深いと評されていたとする。AIは彼女を、決断力のあるリーダーではなく「人間関係重視のサポート役」と要約する。同等の評価を得ている男性は「合意を形成する」と評価される一方、彼女は「チームをサポートする」とされる。同じ行動に対して、女性にはよりソフトな判定が下される。
決して得られないステップアップの機会。彼女の評価書に「慎重で、徹底しており、合意形成を重視する」と書かれているとする。AIを搭載した人材管理システムは、これらの言葉を「リスク回避」と変換するため、彼女は次の昇進に不可欠なステップアップの機会（ストレッチ・アサインメント）の候補者リストに決して残らない。AIは彼女の昇進を直接拒んだわけではないが、昇進につながる機会を奪ったのだ。
「起業家精神が足りない」と読まれるアイデア。女性が新製品を提案し、顧客リスクや導入の制約、まず検証すべき事項について説明する。AIはこれを「慎重さ」と読み取り、起業家精神のスコアを低く評価する。一方で、「破壊する」「市場を制覇する」「積極的に動く」といった言葉で溢れた提案は、より高いスコアを獲得する。彼女のリスク分析は、彼女が「構築者ではない」という証拠にされてしまう。
解決した対立が「回避したい対立」になる。女性が他者の懸念を認め、自身の立場を説明し、妥協案を提案する。AIは、彼女が境界線を維持する能力よりも、共感力を強調する。対立を解決する彼女のスキルは、対立に立ち向かえないという仮定へと変換されてしまう。
提案のようには聞こえない野心。女性が「シニアリーダーシップを目指しているが、適切な役割、チーム、ビジネス課題も重要だ」と語る。一方で同僚の男性が「3年以内に事業部門を率いたい」と言う。後継者選定ツールは彼から明確なシグナルを受け取り、彼女の野心のスコアを低く見積もる可能性がある。これが何度も繰り返されると、企業は「女性は出世を望んでいない」という結論を出してしまう。
インターセクショナリティの重要性
Cambium AIの共同創業者兼CEOであるマイケル・バーズオール氏は、現在のLLMは怒りのような感情を人間が感じるのと同じ強さで表現するのが苦手だと語った。偶然にも、最近の調査でHogan Assessmentsは、ほぼすべてのプロフェッショナルが少なくとも1つの中程度または高リスクの「ディレイラー（脱線要因）」を抱えていることを明らかにした。ディレイラーとは、自信やカリスマ性、細部へのこだわりなど、通常時であれば成功を助けるものの、プレッシャーやストレス、疲労を感じているときには弱点（傲慢さ、目立ちたがり、完璧主義）へと転じる性格特性のことだ。
ある企業が、何千人もの仮想（シンセティック）女性を対象に、物議を醸す決定のテストを行っていると想像してほしい。システムは彼女たちの年齢、収入、家族、職業を再構築するが、それでも彼女たちの「怒り」を過小評価する。仮想女性が「懸念している」と言う一方で、現実の女性は「絶対にあり得ない」と言う。声のトーン、表情、身体言語（ボディランゲージ）には、AIが見落とす可能性のある情報が含まれている。ディレイラーは生身の人間が感じるプレッシャーによって表面化するものであり、AIがそのプレッシャーや感情の強さを再現できなければ、そこから生じる現象を信頼性高くモデル化することはできない。
Cambium AIが提案する解決策は「インターセクショナリティ（交差性）」だ。モデルに与えるその人物に関する情報を減らすのではなく、逆に増やすのである。
もし分かっている情報が「女性である」ということだけなら、その1つのラベルが多くの説明を担うことになる。しかし、彼女がアジア系であり、母親であり、都市の居住者でもあることが分かれば、「女性」というラベルが持つ説明的な重みは薄れる。単一の「女性としての経験」など存在しない。収入、人種、教育、婚姻状況、健康状態、幼少期、宗教、キャリア、政治もまた、その人を形作る。同じ会社で同じ職種で働いていても、同じ現実を生きているとは限らないのだ。
2018年、男性の比率が圧倒的に高い10年分の履歴書データで訓練されたアマゾンのAI採用ツールが、「女性（women's）」という単語を含む履歴書を低く評価し、女子大学の卒業生を減点することを学習してしまっていた。このような事例は以前にもあった。現在、リスクは履歴書のスクリーニングにとどまらず、性格のスコアリングにまで及んでいる。ディレイラーを検出するように訓練されたモデルが、本当に現実のリスクを読み取っているのか、それとも偏った歴史によって刷り込まれたパターンを読み取っているのかを判断できないまま使用されているのだ。
機械がある特定の特性を、実際よりも予測能力が高いかのように見せかけたことで、マネージャーが女性のキャリア、報酬、機会について現実の意思決定を行うとすれば、それは問題である。AIを利用するマネージャーは、その根拠をより厳しく求める必要がある。AIモデルが、候補者の性別以外の情報について何を把握していたのかを問い直すべきだ。AIが実際に観察した行動はどれで、推測した特徴はどれなのかを確認するのだ。「AIが推奨したから」という理由だけで、それを証拠として受け入れてはならない。
