コンピューティングの初期から、人々は機械が創造者に反旗を翻すかどうかを疑問に思ってきた。最近のAI事故には、データ漏洩、破壊的な自律行動、誤った目標を追求するシステムなどが含まれる。これらは現在の安全管理における弱点を露呈し、ますます自律性を増すAIからの存在的リスクへの恐怖を強めている。しかし、そのような結末は避けられないわけではない。AIは人間によって構築され、私たちのデータで訓練され、私たちが設計したハードウェア上で動作する。もし私たちがそれらの境界が曖昧になる地点に近づくとしたら、それは適切な防護柵を設定できなかったからだ。人間の主体性が決定的な要因であり続ける。責任は依然として私たちにある。
存在的リスクの主張
一部の思想家たちは、高度なAIがまもなく人間の能力を超えると考えている。彼らは、推論、計画、自己改善が可能なシステムが、人間が予測していなかった方法で行動するだろうと警告する。もしそれらのシステムが重要なインフラストラクチャーや強力なツールにアクセスすれば、その結果は経済的または政治的混乱を超えて広がるだろう。
支持者たちは最近の進歩の速さを指摘する。今日のモデルは、10年前には多くの研究者が実現不可能と考えていたタスクを実行している。彼らの主張はシンプルだ。この速度で進歩が続けば、エンジニアチームが完全に理解できないレベルの複雑さで動作するシステムにすぐに到達するだろう。リスクスペクトルの極端を代表する著名なAI安全性擁護者であるEliezer YudkowskyとNate Soaresという2人のAI科学者は最近、「誰かが構築すれば、全員が死ぬ」という論文を書いた。彼らは「真に賢く、生きている人間よりも賢く、集合的な人類よりも賢い機械知能」がまもなく登場することを懸念している。
人間の知性を超えることへの懸念は、制御に関する疑問に直結する。著名な研究者で『Human Compatible』の著者であるStuart Russellは、AIシステムが人間の意図から逸脱した目標を追求する場合、誤った目標設定が危険な結果をもたらす可能性があると主張している。彼は「私たちの目標は、高度な知性を持つ機械を設計しながら、それらの機械が私たちを深刻に不幸にするような行動を決してとらないようにすることだ」と書いている。
これらの超知性システムに関する予測は様々だ。10年以内にブレークスルーが起きると予想する人もいれば、遠い将来に見る人もいる。タイムラインは異なるが、恐怖は同じだ。
システムが急速な自己改善が可能になると、人間はその行動に対する権限を失う可能性がある。政策専門家で元OpenAI取締役のHelen Tonerは、AI政策に関する技術革新会議で、「非常に自律的で非常に汎用的なAIシステムを構築するための非常に強力な財政的・商業的インセンティブがある」と指摘している。この経済的圧力は、リスク擁護者が最も恐れるシナリオに向けたタイムラインを加速させる。
加速するタイムラインへの反論
対立する議論は、AIが汎用知能に向かって直線的な道を進んでいるという考えに異議を唱える。多くの研究者は、今日のシステムは一般化された理解ではなく、パターン認識に優れていると指摘する。これらは大量のテキストとデータを数学的構造に圧縮し、次の単語や回答を予測するのに役立てている。それは強力だが、人間の推論とは異なる。
認知科学者でAI研究者のGary Marcusは、著書『Taming Silicon Valley』で「巧みに調整された修辞と大部分が柔軟なメディアの組み合わせは下流への影響がある。投資家はハイプされているものに多くの資金を投入し、さらに悪いことに、政府指導者はしばしば騙されている」と主張している。彼は、迫り来る超知能に関する主張は依然として推測的なものだと論じている。
ハイプに関する懸念を超えて、技術研究者はスケーリング自体に根本的な限界があるかどうかを疑問視している。元MetaのチーフAI科学者であるYann LeCunはBig Technologyポッドキャストで、「単にLLMをスケールアップするだけでは人間レベルのAIには到達しない」と語った。
現在の技術をスケールアップすることで無限の能力につながるという考えに疑問を呈する人もいる。『AI Snake Oil』の著者であるArvind NarayananとSayash Kapoorは、スケーリングの予測可能性の見かけは研究が示していることの誤解だと主張する。「AIがスケーリングによってどこまで進歩するかを正確に予測することはできないが、スケーリングだけでAGIにつながる可能性はほぼないと考えている」と彼らは書いている。
この観点から見ると、AIは印象的だが魔法ではない。それは自己認識、動機付け、物理的世界の理解を欠いている。
真の課題：制御とアライメント
この議論の建設的な部分は、高度なシステムが人間の目標に従って行動するようにする方法を研究するアライメントの分野に関するものだ。目的は存在的脅威を管理することではなく、技術が信頼性高く、予測可能で、人間が定義した境界内で動作することを確保することだ。
3つの前線での進歩が試みられているが、専門家は実際にどれだけ達成されたかについて意見が分かれている。この分野は10年も経っておらず、多くの研究者によれば、強力で複雑なシステムがあらゆる条件下で予測可能に動作するようにすることは、システム自体を構築するよりも難しいかもしれない。
1つ目はモデルの解釈可能性であり、AIシステムが特定の出力に到達する方法を理解することを意味する。研究者はモデルが決定に至る過程を追跡するツールを構築しているが、現在の方法ではモデルの動作の一部しか説明できない。大規模言語モデル内で起こることの大部分は依然として不透明だ。
2つ目はモデルの安全性評価だ。新しいテストフレームワークは、危険または意図しない動作を探るプロンプトに対するシステムの応答を測定する。しかし、これらの評価は依然として議論の的であり、批判者は既知の失敗モードのみをテストし、より高性能な将来のシステムからの新たなリスクを予測できないと指摘している。
3つ目は監視だ。インフラストラクチャプロバイダーは、高リスクツールの展開方法を制限するコントロールを組み込み始めているが、実装は業界全体で一貫性がない。これらのコントロールはアクセスを制限し使用状況を監視するが、企業が自発的に最も強力な製品を制約することを選択することに依存している。
DeepMindとInflection AIの共同創設者で『The Coming Wave』の著者であるMustafa Suleymanは、この監視への取り組みを明確に表現した：「規制だけでは封じ込めに至らないが、規制を含まない議論は運命づけられている」
人間の主体性を維持するとはどういうことか
人間が主体性を維持するためには、システムが意図した限界を超えたときにそれを制御する方法が必要だ。それには科学と政策における革新が必要だ。
科学の面では、モデルの動作についてより深い可視性が必要だ。より良い診断ツールとより透明なトレーニング方法がその取り組みの一部だ。アライメント研究もより大きな投資に値する。私たちはまだ基本的な質問に答える必要がある：タスクが複雑またはオープンエンドであっても、私たちが求めることを行うシステムをどのように構築するのか？より強力なアライメント方法は、技術がより高性能になるにつれて制御を維持するのに役立つだろう。
政策の面では、イノベーションに追いつくガバナンスが必要だ。これは展開前の義務的な安全性テスト、システムが失敗した場合の明確な責任フレームワーク、重要なインフラストラクチャにおけるシャットダウンメカニズムの要件を意味する。具体的な内容よりも、人間の権限を維持するという約束が重要だ。
人間が依然として責任を持つ
AIを自律的な力として扱うのは魅力的だ。そのナラティブは劇的で誇張しやすい。しかしそれは間違っている。AIは自然から生まれるものではない。それは人間によってなされた設計上の選択の結果だ。それらの選択には、モデルがどのように訓練され、どのように展開され、どのように統治されるかが含まれる。
マイクロソフトリサーチのシニアプリンシパル研究者であるKate Crawford氏は、著書『Atlas of AI』でこの考えを捉え、The Guardianに「AIは人工でも知的でもない」と語った。これは、AIシステムが設計、データ、展開に関する人間の決定によって完全に形作られる物質的な製品であることを意味している。AIはライバル種ではなく、ツールなのだ。
しかし、制御を維持することは自動的ではない。商業的インセンティブは、安全メカニズムが追いつく前に、企業がますます自律的なシステムを構築するよう促している。開発は、対立する利害を持つ国家やアクター間で分散化している。そして人間の主体性は両刃の剣だ：AIが私たちの手から逃れるからではなく、私たちが意図的に安全性よりも速度を、予防よりも利益を選ぶために、制御を失う可能性がある。
存在的リスクに関する議論は続くだろう。正しい前進の道は恐怖でも無視でもない。それは人間の主体性を賢明に行使することだ。決断は依然として私たちのものだ。AIの未来は、私たちが技術に付与するファンタジーや恐怖ではなく、私たちが下す選択を反映するだろう。
