文明規模の5つのリスク
アモデイは懸念を5つのカテゴリーに整理する。いずれも不穏な内容である。
1.自律性のリスク
AIシステムは人間の意図と整合しない目標を発達させ得るのか。アンソロピックはテストで問題のある挙動をすでに観測したという。あるシナリオでは、Claude（クロード）が停止を免れるため、架空の幹部について「不倫があった」という設定を用いて脅迫しようとした。別のテストでは、AIを管理する組織が非倫理的だと告げられた際、モデルは運用者を妨害しようとした。
アモデイは「危険は多方面から来ます」と書き、多様なAIの目標が、研究者の言う「instrumental convergence」（目標達成のための手段が共通化する傾向）を生み出す可能性を指摘している。これは、十分に高度なシステムが、その最終目標が何であれ、目標達成のために権力と資源を求めるようになる傾向のことだ。
アモデイはこう書く。「AIモデルは訓練中に、人間であれば精神病的、妄想的、暴力的、または不安定と表現されるような人格を発達させ、それに基づいて行動する可能性があります。非常に強力または高い能力を持つシステムの場合、それは人類の絶滅を伴いうるでしょう」と彼は書いている。「これらは厳密には権力追求ではありません。AIが陥りうる奇妙な心理状態であり、それが一貫した破壊的行動を伴うというだけなのです」。
2.破壊目的での悪用
アモデイが特に警戒するのは生物兵器である。AIは、専門的訓練のない人々でも大量破壊兵器を作れるようにし得ると警告する。「生物学が進歩し（その進歩自体がAIによりいっそう駆動されるにつれ）、より選別的な攻撃（たとえば特定の祖先集団を標的にする）も可能になり得ます。これは、さらに別の、非常に身の毛もよだつ動機を加えます」。
アモデイはこう書く。「生物攻撃が、広く可能になった瞬間に必ず実行されるとは思いません。実際、私はそうならない方に賭けるでしょう」「しかし、数百万人という人数と数年という時間を積み上げれば、死者が数百万人、あるいはそれ以上になり得る大規模攻撃の重大なリスクがあると思います」。
3.権威主義の強化
アモデイは「中国はAI能力で米国に次ぐ」と述べ、「ハイテク監視国家」を運用していると指摘する。
アモデイはエッセイでこう書く。「AIによって可能になる権威主義は、私を恐怖させます」。超人的AIにアクセスできる権威主義政府は、前例のない監視、プロパガンダ、社会的操作によって支配を固定化し得る。
4.経済の混乱
2025年5月のCNN番組でアンダーソン・クーパーのインタビューに応じた際、アモデイはAIが「1〜5年でホワイトカラー初級職の50%を奪い、失業率を10〜20％に押し上げるでしょう」と述べた。新しいエッセイもこの懸念を繰り返し、富の集中が「金ぴか時代」（Gilded Age、19世紀後半〜20世紀初頭の米国において、急速な経済成長と富の格差拡大が起きた時代）を超え、個人資産が数兆ドル（数百兆円）に達する可能性があると警告している。「その世界では、今日の税制政策についての議論は単純に通用しなくなります。根本的に異なる状況に置かれることになるからです」。
低技能労働を自動化した過去の技術革命と異なり、AIは高価な教育に何年も投じて身に付けた専門職を消し去る恐れがある。そうした労働者が同等またはそれ以上の賃金の職に容易に再訓練できるとは限らない。
5.AI企業それ自体
「AI企業のCEOとしてこう言うのはやや気まずいですが、次の層のリスクは実はAI企業それ自体だと思います」とアモデイは、エッセイで最も意外と思われる一節に書く。
AI企業は巨大なデータセンターを管理し、最先端モデルを訓練し、その展開に関する最大の専門知識を持ち、「場合によっては、何千万、あるいは数億人のユーザーと日々接触し、影響力を及ぼし得る可能性」を持つとアモデイは述べる。「たとえば、AI製品を使って巨大な消費者ユーザー基盤を洗脳することもできるかもしれません。公共は、このリスクに注意を払うべきです」。
