2024年末、米テキサス州のケン・パクストン司法長官は、ダラスに拠点を置くヘルスケア分野の人工知能（AI）企業Pieces Technologiesとの訴訟で、画期的な和解を発表した。同社は自社の臨床支援ツールを限りなく完璧に近い性能と称し、「深刻なハルシネーション（幻覚）の発生率を10万分の1以下に抑えた」と主張していた。
しかし調査の結果、こうした数値には十分な裏付けがないことが判明した。州は、Pieces Technologiesが顧客の中でも特に病院システムに対して、このツールが「医療記録を極めて高精度に要約できる」と誤って信じ込ませていたと結論づけた。同社のツールの性能は、実際にはその水準に達していなかった。
そして、患者への実害はなく、罰金も科されなかったものの、Pieces Technologiesは、このツールの精度やリスク、適切な使用法について新たな開示を行うことで合意した。これはAIツールの「書面上の性能」と「現実の性能」は別物であることを示す、この分野の初期段階の法的シグナルとなった。
認知科学者でAI専門家のゲイリー・マーカスのような批評家たちは、現在の大規模言語モデル（LLM）には根本的な限界があると長年警鐘を鳴らしてきた。「これらのモデルは、言語の意味を理解しているわけではなく、表面的な使い方を真似ているにすぎない」とマーカスは述べている。特に、一般的なデータで訓練されたモデルが専門性の高い環境に投入された場合、そのAIが現場の文脈や業務慣習を誤って解釈・判断し、重大な誤作動や判断ミスを引き起こすことがある。その際に、モデルの根本的限界（＝言語理解ではなくパターン近似であること）が最も危険な形で明らかになる。
