たとえば、裁判官が犯罪を犯した人に対して、その人が今後もまた罪を犯しうるかどうかを判断するのを助けるために設計されたAIがある。これらのテクノロジーは「人種差別をする傾向にある」と医師たちは書いている。「ヘルスケア領域のアルゴリズムにも、こうした人種バイアスが無意識のうちに組み込まれてしまう可能性があります」
バイアスを含まないアルゴリズムを設計することも可能だが、それは極めて難しいと著者たちは述べる。ヘルスケア領域でも利益を追求することが求められることの多い米国では、とくに難しいだろう。AIシステムをプログラミングする人々のモチベーションは、医者や介護者たちのそれとはマッチしないかもしれない。そうした状況からバイアスは生まれるのだと著者たちは言う。
「もし、お金を節約するためにアルゴリズムが設計されたとしたらどうなるでしょうか？」。論文の首席著者で、Stanford Center for Biomedical Ethicsのディレクターを務めるデイヴィッド・マグナスは問う。「もし、患者が加入している保険の種類や彼らの支払能力によって異なる診断が下されるとしたらどうなるでしょうか？」
スタンフォード大学もAIを研究しており、現在はどの患者が苦痛緩和治療を必要としているかを予測するアルゴリズムの予備実験を行っているという。機械がデータを誤読するのを防ぐために、医師とソフトウェアエンジニアが協働してシステムをデザインしているという。
彼らは、ほかの医療分野のリーダーたちに対しても、医師とエンジニアが協働するしくみを取り入れ、AIの設計段階と実行段階でシステムをチェックすべきだと主張している。
もしそうしなければ、「電子カルテから集められた集合記憶が、意図しないかたちで影響力をもつことになるでしょう。医師たちが診断や治療に関するアドバイスをするにあたってマシンラーニングに頼るようになれば、それはもはや単なるサポートツールの域を超えてしまいます」と彼らはNEJMの論文で警告している。
「もしそうなれば、マシンラーニングツールは治療の現場において重要なアクターになります。そしてそれらは、コアとなる倫理的原則に基づいて設計がされなければいけません。患者のためとなり、患者を尊重する原則です。そうした倫理が、医師たちを導いてきたのです」
