Anthropic（アンソロピック）のアラインメントへの取り組みを率いる上級研究者は米国時間9月8日、同社の多くの人々がAIは人類を滅ぼす可能性があると考えていると述べた。別の研究者が、同社は責任ある行動を取っていないと批判して退社した後、この上級研究者は、アンソロピックが努力しているにもかかわらず、AIと人類の目的を一致させるアラインメント問題の解決に向けて順調に進んでいるわけではないと警告している。
アンソロピックのアライメントサイエンスの責任者であるエバン・ヒュービンガーはXに、自身と同僚らは「AIが全人類を殺す可能性があると本気で考えている」と投稿し、自身の推定では今後10年でその確率は10％を超えるとした。
ヒュービンガーは、同社は「最善を尽くしている」と述べる一方、「超知能のアラインメント」の問題を解決する計画はまだなく、それに向けて「明確に軌道に乗っている」わけでもないとした。
ヒュービンガーの投稿は、AIの安全性に対する懸念から辞職することを発表したアンソロピックの別の研究者、ジェイコブ・コクソンによるXのスレッドに応じたものだ。
OpenAIとアンソロピックで事前学習研究に携わってきたというコクソンは、競合する両社について、「自己改善する超知能へまっすぐ突き進み、私たちの命を賭けている」として、責任ある行動を取っていないと警告している。
退職する同研究者は、AIを開発している人々が、AIは「2020年代末までに私たち全員を殺す」可能性があると考えており、これは「マーケティング上の仕掛け」ではないと指摘した。
深刻な警告に続く投稿で、ヒュービンガーはアンソロピックの最新リスク報告書に言及し、現在のモデルがもたらす脅威は低いと述べた上で、こう付け加えた。「私が懸念しているのは、AIが自らを継続的に改良する『再帰的自己改善』によって超知能が誕生することだ。従来予想されていたよりもはるかに早いペースで開発が進んでいる」
