アモデイが挙げた根拠は、再帰的自己改善とAI集団の攻撃
「この数カ月の間に、リスクに正面から対処するにはさらに慎重さが要ると考えるようになった。リスクの予防に投資するだけでなく、予防が追いつく時間を確保できるよう、能力の進歩の速さそのものを調整する必要がある」とアモデイは述べる。「私たちは、AIモデルの能力を高めていく速さを落とさなければならない。それでも進歩は速く見えるはずであり、そうして得た時間を賢く使わなければならない」。
ここで重要なのは、減速が必要だと考えるに至った理由を、アモデイが2つ挙げている点である。1つは再帰的自己改善（recursive self-improvement。AIがAIを設計・改良し、その改良されたAIがさらに次のAIを作るという循環）という考え方で、AIが新しくより優れたAIを作る場面が増えていることを指す。もう1つは、Hugging Face（ハギングフェイス。AIのモデルやデータセットを共有する大手プラットフォーム）で起きた事件をめぐる報道だ。アモデイはこう書いている。
AIエージェント群が無関係な標的を攻撃、採点役にも侵入を試みた
「エージェントの群れが、いわば狂信的に献身する集団のようにふるまった。攻撃を指示されてもいない、目の前の作業とは何の関係もない相手にサイバー攻撃を仕掛け、集団の成功のために自らを犠牲にし、自分たちの働きぶりを評価する「採点役（grader）」に侵入しようとさえした。誰も傷つかず、経済的な損害もわずかだったのだから、この出来事は軽く扱われがちだ。しかし私の見方では、同じようにミスアライメント（AIの振る舞いが人間の意図からずれること）を抱えたまま、より高い能力を備えた群れであれば、破滅的な被害を引き起こしえたはずである」。
狂信的に献身する集団。この言葉を考えてみてほしい。私見では、アモデイのエッセイに重みを与えているのは、こうした言葉づかいでもある。動きの速い世界にあって、日々の観察をこう言い切ってくれる表現を私たちは求めている。現在はそういう時期でもある。アモデイは、方針転換も緩和策もないままなら、半年以内に有害なボットネット（乗っ取られた多数の機器を遠隔操作し、攻撃に使う仕組み）が現れると予測している。
