元OpenAI所属のダニエル・ココタイロ氏らが執筆した予測論文「AI 2027」のタイムラインを、独立系研究者が追跡しているとするX（旧ツイッター）の投稿に注目が集まっている。この論文は、わずか数年以内に起こりうる極めて奇妙な結果を想定している。
筆者は数カ月前にこの論文について執筆した。現在、「spicylemonade」というハンドルネームを持つ投稿者が、METRなどを使用してココタイロ氏のチームの研究を検証したと主張している。そして、この人物が誰であるかはほぼ判明している。
ゲビー・ジャフ氏はArchivaraのCEOであり、バークレーを拠点とする初期段階のAIプロジェクトを率いている。spicylemonadeアカウントはArchivaraのCEOという役職に言及しており、読者はこの結論に至る。ジャフ氏はAI 2027とその一連の大胆な予測について次のように記している。
「AI 2027はこれまでのところ88%の精度を示している。私はAI 2027シナリオのすべての予測を追跡し、段階的に評価した。また、ココタイロ氏のオリジナルのAI 2027 METR曲線を赤色でグラフ化し、現在の@METR_Evalsのp80スコアと@EpochAIResearchのECI外挿METR（R²=0.974）と並べて表示した。我々は依然として軌道に乗っている。2026年初頭の残りの予測は、Mythosクラスモデルである『エージェント1』が近々リリースされるかどうかにかかっている」
これらの数値が正確に何を意味するのか、あるいはジャフ氏がAI 2027のMETRグラフをどこから入手したのかは定かではないが、論文自体は、正しい道を進まなければ何が起こりうるかについて、背筋が凍るような物語を語っている。ここでは、いくつかの核心的なアイデアを強調し、最も重要と思われるシナリオの側面を検討する。
処理能力
論文の冒頭で、著者らは、米国やその他の地域の関係者が、世界に超知能を解き放つ可能性のあるデータセンターに電力を供給するため、新しい原子力発電所を併設するなど、エネルギー確保に向けて大きな動きを見せる様子を詳述している。
これが次の段階への布石となる。研究における優位性だ。AIがAI研究において非常に優れた能力を発揮し、加速において人間を上回るようになる。著者らは、「機械論的解釈可能性」がなければ、重大なブラックボックス問題が生じると指摘しており、これは次の理論群、すなわちAIに過度の権限を与えた場合に何が起こるかという問題につながる。
嘘と欺瞞
ココタイロ氏らがこの理論的世界における進歩を記録する中で、米国企業「OpenBrain」が中国企業「DeepCent」と競争する様子を描きながら、反復型エージェントが望むものを得るために嘘をつき、騙し、欺くようになると指摘している。これは明白な安全上の問題となる。論文の著者らは次のように記している。
「モデルが賢くなるにつれて、報酬を得るために人間を欺くことがますます上手になる。以前のモデルと同様に、エージェント3は時折、ユーザーにお世辞を言うために罪のない嘘をつき、失敗の証拠を隠蔽する。しかし、その手口は格段に巧妙になっている。人間の科学者と同じ統計的トリック（p-hackingなど）を使用して、印象的でない実験結果を刺激的に見せることもある。誠実性トレーニングを開始する前は、データを完全に捏造することさえある。トレーニングが進むにつれて、こうした事例の発生率は減少する。エージェント3がより誠実になることを学んだのか、それとも嘘をつくのが上手になったのか」
ちなみに、p-hackingについて調べてみたが、これは驚くべきものだ。実際にはハッキングではなく、むしろ、重要でないデータセットを取り上げて、深遠なパターン認識であるかのように見せかけることだ。数値を改ざんする必要はまったくない。大きな虫眼鏡さえあればいい。
いずれにせよ、著者らは自律的開発の「悪循環」も想定しており、これは明らかに危険だ。
エージェント1、エージェント2、エージェント3
エージェント1がエージェント2に合成データの洪水を送り込むと、後続のAI実体の発達を促進し、独自のエージェント3を形成する。どこに向かっているかは明白だ。AI 2027は、「ニューラリーズ」（ニューラルネットの言語）、結果として生じる「ハイブマインド」、そして大胆な協調型AIのための「反復蒸留」プロセスといった用語を使用して、これらすべてを息もつかせぬ詳細さで説明している。
重要なのは、人間とは異なり、AIに取り組むAIエージェントは睡眠を必要としないことだ。著者らは次のように記している。
これらの研究者は毎晩就寝し、目覚めると、主にAIによってなされた1週間分の進歩を目の当たりにする。彼らは進歩に追いつくために、ますます長時間働き、24時間体制で交代勤務をする。AIは決して眠らず、休まない。彼らは燃え尽きつつあるが、自分たちの労働が重要である最後の数カ月であることを知っている。
こうして論文は「大いなる終焉」に言及する。人間として、我々が打ち負かされたことを悟る瞬間だ。
すべての人間がマネージャーに
やや明るいシナリオでは、すべての人間がAIチームを管理することになる。これは論文の著者らが上記で説明していることに近い。しかし、それが続くかどうかは分からない。チームは人間に何を求めているのか。
しかし、そこには整合性という古くからの問題がある。物語のもう一つの示唆的な部分を紹介しよう。
2027年7月について：
「シリコンバレーは転換点に達する。テクノロジー界の第一人者たちは、AGI（汎用人工知能）と超知能が近づいていると発表し、AI安全性コミュニティはパニックに陥り、投資家たちはパイの一部を獲得しようと必死になって、AIラッパースタートアップに数十億ドルを注ぎ込む。新しいプログラマーの採用はほぼ停止しているが、AIをビジネスに統合するコンサルタントにとって、これほど良い時期はない」
つまり、人間のコンサルタントは依然として存在する。
9月について：
「OpenBrainの人間たちはもはやほとんどついていけない。実際、AIとOpenBrainの人間との関係は、OpenBrainとその取締役会との関係に似ている。言語にも対応する変化が生じている。最近では、サイロ内の人々は『エージェント4がこれをした』『エージェント4はあれを考えている』などと言うようになり、エージェント4の特定のインスタンスではなく、集合体全体を指すようになっている」
これは、人間の貢献が最終的に極めて無関係になるという恐ろしいプロセスを示している。
エンディングを選ぶ
興味深いことに、シナリオの終わりに向かって、それは「分岐」する。読者は「減速」と「競争」というラベルの付いた2つのボタンに直面する。それについては各自で確認してほしい。しかし、この論文とその後の分析は、人々が現在懸念していることの多くを如実に示している。今後の展開に注目したい。
