アモデイは、自社のモデルの潜在的な危険性を検証する上で、ビジネスユーザーが広範な「安全性テストの場」を提供してくれると判断したという。Claude 2.0の公開にあたり、同社はさらにその試みを進めていくと彼は述べた。今のところ消費者向けバージョンは無料だが、いずれはマネタイズを行う可能性もあるという。「私たちはこれを実験だと思っている」とアモディは語った。
Claude 2.0は、これまでのモデルと同様に「Constitutional AI」と呼ばれる独自のAIトレーニング技術を採用している。このシステムは、アウトプットを判断する上で基本的人権の尊重を定めた世界人権宣言やAI研究所などが提案した原則などを用い、人間がループに入ることなくAIが主体となって結果を改善するものだ。
AIがもたらす「人類の危機」を回避する
しかし、Claude 2.0では、人間によるフィードバックや監視も併用されたとアモデイは説明した。その結果、このモデルは有害な出力の制限が、前バージョンの2倍に向上したという。それでもアモディは「このモデルも完璧からは程遠い」と述べている。「誰かがこのモデルのジェイルブレイク（制限された言葉を引き出そうとする不正利用）の方法を見つけたり、幻覚を発見するのはほぼ確実だ」と彼は認めている。
アモディは、5月にOpenAIのサム・アルトマンを含む350人以上のAI研究者らが発表した「AIによる絶滅リスクの軽減は核戦争やパンデミック対策と同等の優先事項だ」と訴える書簡に署名していた。アンソロピックは、自社のテクノロジーがその終末のシナリオの回避に役立つと考えている。
アモデイは、新たなAIモデルを発表する企業に、そのモデルが特定の安全基準を満たしていることを証明させることを提案した。「AIの開発を一時停止させるべきだという意見もあるが、それよりも、AIモデルの問題をどのように特定し、ルールを設けることができるかを考えるべきだ」と彼は語った。
（forbes.com 原文）
