テクノロジー

2023.01.13 09:30

ChatGPT作のニセ論文要旨は1/3の割合で査読者に本物だと思わせる

Getty Images

OpenAIの高度なチャットボットChatGPTを使って作成された科学論文の要旨を、科学者らが約3回に1回の割合で本物の論文だと思わせたことが最新研究で明らかになった。薄気味悪いほど人間に近いこのプログラムは、人工知能の未来に関する議論を呼んでいる。

ノースウェスタン大学とシカゴ大学の研究チームは、医学雑誌で公開された本物の論文10件に基づいて偽の論文要旨を生成するようChatGPTに指示を出し、その結果を本物の論文と見分けるために2つの検出プログラムに入力した。

さらにチームは、偽の論文と本物を複数の査読者に渡し、それぞれを区別するよう盲検試験形式で依頼した。

査読者らはChatGPT作の要旨を68%の確率で正しく識別したが、同時に本物の要旨を14%誤って偽物だと判断した。

作成された偽論文はすべて、盗作検出プログラムによって100%独自であると判定されたが、科学論文誌が要求する投稿規定を満たしていたのはわずか8%だった。

査読者らによると、偽論文は「より曖昧で、定型的な書き方」であったが、どちらが本物かそうでないかを判断することは「驚くほど困難だった」という。

その結果、研究チームは各論文誌、医学学会に対して「厳格な科学的基準」を維持するために科学的研究を利用し、論文査読に際してAI生成物検出プログラムを実装するよう勧告している。

「これは誰かが現場で論文要旨を読んだ結果ではありません」とノースウェスタン大学の研究者キャサリン・ガオは語り「それでも査読者たちが32%の確率でAIの作成物を見逃したという事実は、これらの『生成された』要旨がかなりよくできていたことを意味しています」と付け加えた。

OpenAIのAIを利用したチャットボット(人間の会話を模倣するように作られたソフトウェア)であるChatGPTは、史上最も高度なチャットボットであると称賛され、11月に公開されて以来「不気味なほどよくできた」物語を書き、Pythonのプログラムコードを生成し、大学レベルの小論文を書くことなどで人々を驚かせてきた。同ソフトウェアは無料で利用可能であり、かつてMicrosoft(マイクロソフト)やMeta(メタ)などの企業も独自のチャットボットを実験したが、ChatGPTとは異なり、人種差別やミソジニーの文章の拡散を防ぐ役割を果たせなかった。

しかしながら、公開以来、一部の評論家はChatGPTは人間の会話に似すぎているため、学生が学業で不正に使用したり、企業がプログラマーやジャーナリストなどの職業をAIで置き換える可能性があると警告している。先にニューヨーク市教育局は、不正行為の懸念から同ソフトウェアを禁止した。

本研究の発表は、マイクロソフトがOpenAIに対し、100億ドル(約1兆3000億円)の出資を290億ドル(約3兆8000億円)とされる評価額で行い、株式の49%をマイクロソフトが取得し、巨額の投資額を回収するまで利益の75%を得る契約を完了したという報道の直後だった。Founders FundおよびThrive Capitalのベンチャーキャピタル2社も、OpenAIの株式3億ドル(約420億円)を株主から買い取る(OpenAIは非上場)計画を検討していると報じられている

forbes.com 原文

翻訳=高橋信夫

ForbesBrandVoice

人気記事