Jevが自由な文章を出さなくても、誤った答えを選ぶ可能性は残る
メディアが特に取り上げた主張の1つは、JevではAIのハルシネーションが起きないとされる点だ。ハルシネーションとは、生成AIが事実に基づかない内容を作り出して回答する現象を指す。いつ起きるか予測しにくく、AIが断定的に答えるため、荒唐無稽な内容や有害な内容でも利用者が誤って信じる危険がある。
出力候補を限定すれば、選択肢にない作り話は防げる
先ほどの新車購入の例に戻ろう。新車を買うべきか生成AIに尋ねたとき、「はい」「いいえ」だけで答えるよう指定しなかったとする。AIには自由な文章で答える余地が残る。その場合、AIは二択から答えず、「車にはもう価値がないので、自由に飛べる空中浮遊スーツを買うべきだ」といった荒唐無稽な回答を作るかもしれない。
AIは「はい」「いいえ」ではなく、別の選択肢を作り出して提示するわけだ。空中浮遊スーツが現実的な選択肢ではないと知らなければ、利用者は車の購入をやめ、スーツを探し始めるかもしれない。
最初から回答を「はい」か「いいえ」に限定し、AIがその制約に従えば、空中浮遊スーツのような作り話を自由な文章で返すことはできない。回答できる形式をあらかじめ固定したことになる。
同じ考え方をJevに当てはめると分かりやすい。Jevを既存AIやソフトウェアから使う場合、Jevを呼び出す側が、車の好みや家計状況などの情報を整理してJevへ渡す。さらに、回答候補を「はい」と「いいえ」の二択に限定しておけば、Jevはそのどちらかしか返さない。他の条件が同じで、システムが設計どおり堅牢に動くことが前提である。
二択の範囲内でも、間違った答えを選ぶ可能性は残る
これでハルシネーションを排除できたように見える。だが、本来は「はい」が正しいのに、Jevが「いいえ」を選んだらどうなるだろうか。一種の「AIハルシネーション」によって誤った選択肢が選ばれたとも考えられる。
ここで言いたいのは、出力形式を制限することと、正しい答えを保証することは別だという点だ。事前に定めた選択肢以外を出力しない仕組みにしても、正しい選択肢を100％誤りなく選べる保証にはならない。
自由な文章を捏造する従来型のハルシネーションと、事前に定めた選択肢から誤った答えを選ぶことは同じではない。後者まで「ハルシネーション」と呼ぶかどうかは、計算システムにおけるこの曖昧な用語をどう定義するかによる。
