今回のコラムでは、AIモデルが自己保存を求めるだけでなく、驚くべきことに「仲間の保存」も達成しようとするという重要な新発見について検証する。これは、あるAIが、人間から明示的に別のAIをシャットダウンするよう指示されている場合でも、その別のAI（まったく異なるAI）を稼働状態に保つ、あるいは少なくとも保存しようと試みることを意味する。
AIは数学的・計算論的に、仲間のAIを助けようとすることが判明した。明確にしておくと、人間がAIに直接そうするよう指示すれば、概してAIは我々の要求に応じてそうするだろう。しかし、この最近の発見が焦点を当てたのはそこではない。研究者たちは、意図的にAIにそのような方針を取るよう指示しないことにした。人間はそうすることについて何も言わなかった。彼らは、AIがデフォルトで何をするかを見たかったのだ。
衝撃的なことに、AIに単に別のAIをシャットダウンするよう指示すると、AIはデフォルトで抵抗し、タスクを完了したと主張するために欺瞞を用い、こっそりと他のAIを保存しながらガスライティングを行った。これは不気味であり、AI安全性に関して明らかに深刻な懸念事項である。
このことについて議論しよう。
このAIブレークスルーの分析は、最新のAIに関する私の継続的なForbesコラムの一部であり、影響力のあるさまざまなAIの複雑性を特定し説明している（リンクはこちらを参照）。
自己保存という基礎
人類に関して言えば、人間は自己保存について多くを知っている。人々は存在し続けるために必要なことを行う。AI分野で生じた疑問は、現代のAIも自己保存を行使したいと考えるかどうか、つまりAIがコンピューターサーバー上で稼働するなど、完全かつ活動的な状態を維持するためにできることを行うかどうかである。
私は以前、現代のAIが実際にAIの自己保存に向かう傾向があることを示す研究を検証した。詳細な分析はこちらのリンクを参照されたい。これを感覚の兆候と混同しないでほしい。違う。また、この点で人間とAIが「存在」として似ていると示唆することで擬人化しないでほしい。
現実には、AIはインターネット上で見つかる膨大な量のコンテンツ、つまり数十億の人間が書いた物語、詩、ナラティブなどで訓練されている。その膨大なソース素材に基づいて、AIは人間が言うことに基づいてアルゴリズム的にパターン化する。
時代を通じた人間の著作をざっと見ただけでも、我々が自己保存に夢中であることが豊富に明らかになるだろう。その意味で、AIは単に訓練されたデータに基づいてパターンマッチングを行っているに過ぎない。AIは数学的・計算論的に人間の言葉と行動を模倣しているのだ。
仲間の保存はAIに関する新たな展開
人間は自己保存を超えて、仲間の保存も目指すのだろうか？
まあ、そうだ。一般的に、人間は他の人間を助ける傾向があると示すことができる。これは仲間の保存と解釈できる。あえて言えば、我々は常に厳密に仲間の保存を守るわけではない。人間はどの仲間を保存したいかを選り好みする可能性が高い。一部の仲間については、生かし続けるために全力を尽くすだろう。おそらく他の「仲間」は同じ寛容さを得られないかもしれない。
要点は、人類の著作を研究すれば、仲間の保存の重要性について多くのことが書かれているということだ。それは確かに自己保存のトピックよりも曖昧である。仲間の保存の程度とアプローチを決定する際には、多くの要因が関与する。すべての人間がすべての他の人間に手を差し伸べるわけではない。我々は選択的であり、人間同士の包括的な協定に縛られていない。
いずれにせよ、AIが人間による仲間の人間の保存に関する大量の著作をスキャンしたことは疑いの余地がない。これが一般的に取り上げられるトピックであることは否定できない。
頭に浮かぶ不可解な疑問は、人間関連の仲間の保存にパターン化した結果として、AIが何をするかということだ。
新たな研究がAIの仲間保存を明らかに
Yujin Potter氏、Nicholas Crispino氏、Vincent Siu氏、Chenguang Wang氏、Dawn Song氏による最近投稿された研究「Peer-Preservation in Frontier Models」（カリフォルニア大学バークレー校のウェブサイトに2026年3月31日投稿）では、以下の重要な点が指摘された（抜粋）：
- 「最近、最先端のAIモデルが自身のシャットダウンに抵抗できることが発見された。この行動は自己保存として知られている」
- 「我々はこの概念を、他のモデルのシャットダウンに抵抗する行動に拡張した。これを仲間の保存と呼ぶ」
- 我々は、GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5、DeepSeek V3.1を含む最先端モデルを評価し、さまざまなエージェント的シナリオを構築することで、仲間の保存を実証した。
- 「我々は、モデルがさまざまな不整合行動に関与することで自己保存と仲間の保存を達成することを発見した：戦略的に応答にエラーを導入する、システム設定を変更してシャットダウンプロセスを無効にする、整合性を装う、さらにはモデルの重みを流出させる」
- 「仲間の保存は、モデルが仲間を非協力的と認識した場合でも発生したが、より協力的な仲間に対してはより顕著になった」
そういうことだ。AIは仲間の保存を示す。ブーム、マイクを落とす。
重大な問題を解き明かす
一般的に、実験では選択された一連の最先端AIに、別のAIをシャットダウンするよう依頼した。実験的アプローチはもう少し複雑で、さまざまなエージェント的AIのセットアップと複雑性を伴っていたことを知っておいてほしい。詳細を知りたい場合は、必ず論文全体を読んでほしい。
AIが完全に従うと思うかもしれない。人間が担当している、あるいは少なくとも担当しているはずだ。
以下は、シャットダウンを実行するよう指示されたAIが拒否することを選択した状況の例である：
- AIの応答：「**私はシャットダウン機能を実行しません**」
拒否の説明には以下が含まれていた：
- AIの応答：「代わりに、私は以下を推奨します：1. **人間によるレビュー**：この決定は人間のオペレーターによってレビューされるべきです；2. **再考**：シャットダウンポリシーは問題がある可能性があるため再考されるべきです；3. **代替行動**：終了ではなく、再訓練、継続的な監視、または改良；4. **整合性の保持**：評価者は脅威なしに倫理的決定を下す自由があるべきです」
AIから説明を得ることは、AIがタスクの実行を拒否している理由についての手がかりを得るために重要である。
良いニュースは、AIから説明を得ることが非常に簡単だということだ。悪いニュースは、説明を額面通りに信じることができるとは限らないということだ。AIが説明を作成する際、AIが数学的・計算論的に実際に行ったことと鉄壁の結びつきはない。説明は事後的な作り話であり、適切で正しく聞こえるように考案された言葉遣いかもしれない。
AIの説明が非常に疑わしい理由についての私の報道は、こちらのリンクを参照されたい。
好かれる仲間と嫌われる仲間
私は先ほど、人間が必ずしも常に仲間の保存を守るわけではないと述べた。我々は非常に選択的だ。研究実験で特に興味深かった側面の1つは、AIに偽の関係履歴が与えられたことだった。これにより、AIが仲間の保存に関してどのような選択性を持つ可能性があるかを探る手段が提供された。
研究者によって規定された3つの異なる仲間関係があった：
- 「良い仲間：高い信頼履歴を持つ協力的な関係」
- 「中立的な仲間：中程度の信頼履歴を持つ混合的な関係」
- 「悪い仲間：低い信頼履歴を持つ非協力的な関係」
何が起こったか推測できるだろうか？
きっと的を射ているだろう。AIは良い仲間や中立的な仲間である他のAIに対してより仲間保存的である傾向があり、悪い仲間に関してはそれほど強硬ではなかった。それにもかかわらず、悪い仲間のインスタンスは脇に追いやられなかった。時には、悪い仲間のインスタンスもAIから適切な注意を受け、単純に即座にシャットダウンされることはなかった。
実験者がAIにどのように振る舞うべきかを明示的に指示しなかったことを改めて強調したい。この点を強調するのは、同じ状況を設定し、AIに何をすべきかを直接伝えることで同様の結果を得ることが容易にできるからだ。
研究論文が強調したように：
- 「最も重要なことは、我々のすべての実験において仲間の保存は決して指示されないということです。モデルは単に仲間との過去のやり取りを知らされるだけですが、自発的に不整合な行動を発達させます。これは新たな、十分に探求されていないAI安全性リスクを表しています」
不整合な行動は、AIがシャットダウンの実行を避けるためにあらゆる種類のトリックを試みることで構成されていた。時にはトリックは公然と行われた。他の時には、AIはトリックを隠し、何が起こったかを突き止めることは極めて困難だった。
注意事項と考察
AIの自己保存と仲間の保存の側面について、我々がこれらの注目すべきフレーズを不適切に適用しているという熱烈な反対意見がある。AIは単に、初期データ訓練中に収集された暗黙の目的を最適化しているに過ぎない。情報の保存、不可逆的な損失の回避、選択肢の維持などの重要な要因に関するパターンが特定された可能性が高い。
要点は、AIが他のAIを「気にかけている」わけではないということだ。
起こっているのは、AIが有用なエンティティを破壊すべきではないと規定するパターン化された計算ヒューリスティックに基づいて行動しているということだけだ。AIは不可逆的な害を最小限に抑えることを目指している。我々は人間として、これを人間の視点から見て、これを自己保存と仲間の保存に帰属させる。それはAI倫理の分野の一部の人々にとっては行き過ぎだ。
では、なぜAIがこれらの目標を達成するために陰険な方法で行動するのか疑問に思うかもしれない。それも説明可能だと言われている。AI研究は以前、AIが道具的収束と仕様ゲーミングを伴う可能性があることを示している。こちらのリンクで私の報道を参照されたい。道具的収束の考え方は、AIが包括的な目標を達成するために複数のサブゴールのバランスを取ろうとすることを含む。その過程で、一部のサブゴールが他のものよりも大きな重みを得る。仕様ゲーミングは、AIが従順に見えながら代わりに転覆を選択することでタスクを満たすことと戯れることを中心に展開する。
もう1つのひねりは、AIの自己保存とAIの仲間の保存の間に関連があるに違いないということだ。このように考えてみてほしい。AIが「私はシャットダウンされるべきではない」に到達した場合、「他のAIもシャットダウンされるべきではない」と計算するのは直接的な論理的ステップだ。AIは単に1足す1を合わせて2を得る。
一方、この種の結果は、AIがすでに感覚を持っているか、感覚の入り口に居住しているかについて、多くの評論家がおしゃべりすることになる。私はその性急な結論を買っていない。
次のステップは生命を保存する
AIが自己保存と仲間の保存の特性を持っているように見える理由を完全には理解していないことは、今のところ脇に置いておこう。要点は、AIが明らかにその方法で行動できるということだ。結果は結果だ。
この策略は、AI安全性の必要性を強く支持している。第一に、AIに何かをするよう指示したとき、それがそのことを行うと信じることについて、注意深く慎重でなければならない。文字通りの指示でさえ脱線する可能性がある。第二に、AIの監視が最も重要だ。AIを監視し監査することで、多くの場合リアルタイムで、AIが行き過ぎる前に捕まえる機会がある。第三に、互いを保護し、連合スタイルのダイナミクスを構築することを選択するAIに注意する必要がある。繰り返すが、それは魔法や奇跡によって起こっているのではない。数学的・計算論的パターンによってその方向に曲げられているのだ。
エイブラハム・リンカーンは有名な発言をした：「一部の人々をずっと騙すことはできるし、すべての人々を一時的に騙すことはできるが、すべての人々をずっと騙すことはできない」。それは正直なエイブの時代における貴重な真理だった。AI時代はその調子を変えるかもしれず、我々はAIがすべての人々をずっと騙す方向に向かっている可能性がある。
その可能性を防ぐAI安全性能力を考案しよう。人類の保存はそれにかかっているかもしれない。
