電子フロンティア財団のシニア公益テクノロジストであるクーパー・クインティンは、AIモデルは「ハルシネーション（幻覚）」と呼ばれる、事実に基づかない情報を生成する場合があるため、あらゆる法的手続きにAIを使用するのは悪い考えだと指摘する。彼によると、AIが法的な引用を捏造したため、裁判官が弁護士に対してAIを使って提出書類を作成しないよう警告した事例が最近多発しているという。
AIが問題を悪化させる
「このような開示要求に対処するためには、より多くの人を雇うことが解決策であることは明らかだが、グーグルは、その代わりにAIを導入している」とクインティンは言う。
AIが警察からの要請を適切に解析できないのであれば、どうやって偽の要請を見抜くことができるのかとクインティンは疑問を呈す。これまでにも、犯罪者が警察署員を装って裁判所命令や緊急要請を偽造して個人の居場所を突き止めたり、ストーカー行為や嫌がらせを働くために個人情報を盗み出すという事件が多く発生している。FBIは昨年11月、漏洩した政府職員のメールアカウントをハッカーが使い、このような不正な要求をするケースが急増していると警告した。
「グーグルは、既に偽の要請や報告への対応に関する問題を抱えている。このようなAIシステムは、その問題をさらに悪化させることになるだろう」とクインティンは語った。
