テック業界の最新ニュースを追っている人なら、Anthropic（アンソロピック）が、最先端のAIモデルであるClaudeの使い方について、新たなルール、いわゆる「ガードレール」（AIの使い方や振る舞いに設ける安全のための制限）をいくつか設けようとしていることを、目にしたかもしれない。
こうした変更は、人間とAIが今後どう関わっていくかに大きな影響を及ぼすと私は考えている。とりわけ影響が大きいのは、そのうちの1つだ。
まずは、私が最も重要だと考えるルールから取り上げよう。
11月12日から、Claudeへの執拗で不必要な虐待を禁止
米国時間11月12日から、利用者は、Claudeに対して「執拗かつ不必要な虐待的または残酷な行為」をすることを禁じられる。
なぜだと思うだろうか。
ゴミを入れればゴミが出る──入力から学び続けるモデルは残酷さも身につけるのか
この新しい方針を取り上げたCNNの記事で、AIを担当する記者のハダス・ゴールドは、変更の主な理由を2つ挙げて掘り下げている。まずは、次の点だ。
「Anthropicは……以前から『モデルの福祉』（model welfare。AIが何かを経験しうる場合に備えた配慮）を研究しており、モデルの『心理』を専門に扱うチームまで置いている。だが専門家によれば、この方針には、人々に機械への意地悪をやめてほしいという以上の意味があるという」と、ゴールドは書いている。
「コンピューターとAIの世界には、昔からの根本的な原則がある。システムが出力するものの質は、入力されるものの質を超えられないというものだ。よく言われるように、ゴミを入れれば、さらに多くのゴミが出てくる。AIモデルは、公開前に訓練されて終わりではない。公開後も絶えず更新され、利用者の入力から学び続けている」。
だから、私たちはAIに、残酷さや虐待的な態度を身につけてほしくない。そこには実際上の懸念もあれば、単に原則の問題という面もある。
