「世界は危機に瀕している」アンソロピックの元AI安全性研究者が警告

Anthropic（アンソロピック）でAIの安全性研究を担うチームを率いていた社員が米国時間2月9日に同社を去り、公表した退職に関する書面で、世界が「危機に瀕している」ことや「自分たちの価値観に自分たちの行動を支配させる」ことの難しさを（具体的な説明なしに）暗い調子で警告した。書簡はまた、同社が価値観を脇に置いてきたことを示唆している。

昨年の発足以来、アンソロピックのセーフガードリサーチ（安全対策研究）チームを率いてきたムリナンク・シャルマは、2月9日朝にXへの投稿で退職に関する書面を共有した。この投稿は瞬く間に注目を集め、閲覧数は100万回に達している。

書簡でシャルマは、「自分にとって、次へ進むべき時が来たことは明らかだ」と述べ、「世界は危機に瀕している」と指摘。その危機はAIだけでなく、「まさに今この瞬間にも連鎖的に発生している一連の危機」によるものだと述べている。

シャルマはアンソロピック在籍中、「私たちの価値観に本当に行動を委ねることがいかに難しいかを、繰り返し目の当たりにしてきた」と述べ、「最も重要なものを脇に置けという圧力を常に受けている」と付け加えたが、具体例は示さなかった。

アンソロピック退社後についてシャルマは、詩の学位取得を目指し、「勇気ある発言の実践に専念する」意向を示し、「自分の誠実さと完全に一致するかたちで貢献したい」と述べた。

シャルマはコメント要請を辞退した（フォーブスはアンソロピックにもコメントを求めたが、返答は得られていない）。

シャルマは「私たちは、世界に影響を及ぼす能力の増大と同じだけ、知恵も成長させねばならないという境界線に近づいているようだ。さもなければ、その結果に直面することになる」と書面に記している。

シャルマはアンソロピックで何をしていたのか？

LinkedInプロフィールによれば、オックスフォード大学で機械学習の博士号を取得したシャルマは、2023年8月にアンソロピックで働き始めた。本人のウェブサイトによると、かつて彼が率いていたアンソロピックのチームは、AIによるリスクをいかに軽減するかを研究している。

辞任に際した書面でシャルマは、自身の取り組みの一部として、AI支援型バイオテロ対策の開発や、AIチャットボットが利用者を過度に称賛し、おべっかを使う現象である「AI sycophancy」の研究を挙げた。シャルマのチームが5月に公表したレポートによると、セーフガードリサーチは、悪意ある活動の手法をAIチャットボットに尋ねる行為に対する対策の研究・開発に注力していた。