「我々はLynxに不正解の例を示し、なぜその回答が間違っているのかを示す具体的な財務計算や医学的引用を示した」と彼女は話す。この手法は、モデルに追加的な背景情報を提供し、類似のミスを的確に検知できるようにするための、より効果的なアプローチだと言える。
「盗作」の検知ツールも
パトロナスAIは、特に法律、金融、医療の分野で、AIモデルが幻覚をどの程度検知できるか評価するためのベンチマークを公開している。それによると、Lynxでさえ完璧ではなく、精度は約88％となっているが、カンナッパンによると、それでも大半のモデルよりも優れているという。同社は、3月にOpenAIのGPT-4やアンソロピックのクロード2、Mistral AIのMixtralなど人気の高いAIモデルが著作権で保護されたコンテンツを生成した場合にそれを検出するツール、Copyright Catcher（コピーライト・キャッチャー）をリリースした。このツールは、これらのモデルがミシェル・オバマの『マイ・ストーリー』やジョン・グリーンの『さよならを待つふたりのために』などの書籍の段落を丸ごと複製したことを検出した。
同社は、他にも特定領域におけるモデルのパフォーマンスを評価するツールを開発している。例えば、FinanceBenchは、金融に関するクエリに対するLLMの回答精度を評価する。また、Enterprise PIIはAIモデルが企業の機密情報を漏洩した場合に検出し、Simple Safetyは、自殺や児童虐待、詐欺に関連した有害な回答を生成するなどの安全性リスクを評価する。
パトロナスAIのミッションは、LLMが不正確な回答を提供し、人々がそれを鵜呑みにしてしまうことがないようにすることだ。「モデルが幻覚を生成した場合でも、回答はもっともらしく聞こえるため、誤情報を信じてしまうことにつながる」とチアンは語った。
（forbes.com 原文）
