ただ、AIの活用にはリスクがないわけではない。使用するデータに内在する偏りにより、不公平で差別的な結果が生じてしまうこともある。
AIを活用した広告サービスを提供するクオントキャスト（Quantcast）のイングリッド・バートン最高マーケティング責任者（CMO）は、アルゴリズムが引き起こしうる問題の例として、過去に採用した人材に関する古いデータをAI人事ソフトが使う場合を挙げている。
「これはソフトウエアエンジニアなど、従来男性が主流だった役割に特に当てはまる。これにより採用アルゴリズムは恣意的に、女性や少数派の人々の大半を審査で落としてしまう恐れがある」
これを防ぐには、AIモデルのガバナンス（統制）や説明可能性を担保する必要がある。また、審査の重要な段階では人が関与することも必要だ。
人材分析サービス提供企業ビジアー（Visier）のイアン・クック副社長（人材分析担当）は「AIプロセスを導入し、それをただ自動的に回すだけというのは絶対にいけない」と強調する。「AIが実行する全てのやりとりやプロセスを確認する必要はないが、AIが実行するステップの成果を常に見直し、それが期待に沿っていることを確認することが必要。どのようなAIプロセスでも、実行するときには確認・更新・再訓練が常に必要だ」
