アマゾンは、社内のAI採用システムが「女性の」という単語を含む履歴書や女子大学の卒業生を機械的に低く評価していることに気づき、このシステムを破棄した。男性優位のテクノロジー業界から集められた過去10年分の採用データを元に訓練されたため、AIは男性の候補者が好ましいと学習してしまったのだ。
業界関係者からの警告が相次いだことを受け、AI開発大手のCEOたちは、安全性や法規制の当局が追いつくための猶予を設けるべく、最先端モデルの開発減速を呼びかけている。アンソロピックのアライメント科学部門で責任者を務めるエヴァン・ヒュービンジャーは先週、人間の意図と合致しないAIによって今後10年以内に人類が滅亡する確率は10％以上あると述べた。また、アンソロピックとOpenAIの両社で研究者を務めたジェイコブ・コクソンは、これらのツールを作っている当人たちが「2020年代の終わりまでにAIが私たち全員を殺す可能性があると本気で信じている」と語っている。
この他の業界関係者も同様の警告を発しており、AI企業の従業員1300人以上が「ペーシング・ザ・フロンティア（最先端技術のペース調整）」と呼ばれる取り組みに署名した。これは、自己改善の道を歩み始めているソフトウェアに対し、開発者側の理解が追いつくための猶予を設けることを目的としている。
AIが終末をもたらすとの危機論は、周期的に繰り返される「テクノロジー・パニック」の一例にすぎないと言う者もいれば、AIがすでに引き起こしている現実世界の被害から一般市民や議員の目をそらさせるためのものだと主張する者もいる。
AIの危険性を公表した後にグーグルを去ったコンピューター科学者のティムニット・ゲブルは、終末論的な予測はAIがもたらす「真の人類存亡の危機」を覆い隠してしまうと指摘する。その真の危機とは、この技術が広まることで起きる大規模なレイオフや、巨大なデータセンターによって悪化の一途をたどる気候変動など、すでに目前にある危機のことだ。
同じくグーグル出身のマーガレット・ミッチェルも、人類滅亡という極端なシナリオにばかり注目が集まることで、議員の関心が業界向けの新たな規制づくりに向けられ、労働搾取や著作権侵害、環境破壊、アルゴリズムが持つ偏見などから彼らの目がそらされてしまうと語っている。一方で、歴史上、革新的なツールを人類存亡の危機と見なしてきた例は多くあると主張する声もあり、著名投資家のマーク・アンドリーセンは、AIを火の発見などの技術的進化に例え、それは人間の主体性を奪うものではなく生産性を増幅させるものだと述べている。
