1939年、物理学者のレオ・シラードとアルベルト・アインシュタインはフランクリン・ルーズベルト大統領に書簡を送り、ドイツの核開発計画が成果を上げる前に、米国政府が核兵器開発計画を推進するよう促した。
その論理は単純明快だった。この兵器開発競争に勝つことが、米国とその同盟国に第二次世界大戦での勝利をもたらして早期終結させ、結果的に多くの命を救うことにつながるというものだった。彼らの書簡はマンハッタン計画の始動を促し、その6年後、広島と長崎に原子爆弾が投下される事態を招いた。
ほぼ当初から、マンハッタン計画の科学者や技術者たちは、自分たちが生み出しつつある画期的なテクノロジーの破壊的な影響について深い懸念を抱いていた。彼らは核エネルギーの潜在的な恩恵を認識する一方で、このテクノロジーがもたらす巨大なリスクと、その使用を制限する方法の必要性を誰よりも理解していた。科学の進歩が、倫理的または道徳的なガードレール（安全策）を設定する社会の能力よりも速く進んでいることを、彼らは察知していた。しかし、彼らはそのような制限を課す力や権限を持たず、自らの無力さを痛感していた。
今日、同じように優れたエンジニアやコンピューター科学者の集団がフロンティアAIの開発を急いでいる。そして80年前のマンハッタン計画の科学者たちと同様に、彼らもまた、目前に迫るリスクについて警鐘を鳴らしている。
これらのテクノロジーは、破壊ではなく社会に極めて有益な用途を目指して開発されている。AIはさまざまな方法で私たちの世界を変え、社会に恩恵をもたらしている。例えば、人命を救う医薬品の迅速な開発につながる医学研究を加速させている。そして、ビジネスや教育、さらには科学的発見全般をより広く変革しつつある。その恩恵は極めて大きな可能性を秘めており、私たちの多くは、AIが生活をいかに効率的・生産的、かつ効果的に変えていくかを理解し始めたばかりだ。
しかし、原子力と同様に、これらの新しいAIや関連技術も重大なリスクをはらんでいる。現在開発されている最も高度なAIモデルの中には、自らを封じ込めるために構築されたテスト環境（サンドボックス）から抜け出す方法を見つけ出したり、評価を目的としたテストを欺いて与えられた指示に従うよりも高得点を狙う行動をとったりしたと報じられているものもある。
研究者や開発者は、これらと同じシステムが将来的に生物兵器などの設計を支援したり、水道や電気、銀行業務を支える機密システムに侵入するために悪用されたりする可能性があると警告している。
実効性が高く、国際的にも調和の取れた政府主導の規制と、導入のペースを抑える取り組みがなければ、こうしたリスクはすでに積み上がっている社会的コストをさらに増大させるだけだろう。とりわけ若者についてはその傾向が強い。過激な表現が飛び交うゲームコミュニティのチャット等で長時間を過ごし、エンゲージメントを最大化するようにプログラミングされたチャットボットと対話しており、しばしば有害な結果をもたらしている。
