AIの開発を減速せよという声があちこちで上がっている現在、Anthropic（アンソロピック）共同創業者のダリオ・アモデイがオンラインで公開したエッセイを読み、それが今後の研究にどんな基調を与えるのかを考えてみたい。
この問題をめぐっては、まさに今週になって激しい議論が巻き起こった。大手各社で独立した立場から評価を担っていた人々が相次いで辞任し、破滅的な事態が起こりうると警告する一方で、米国の大統領をはじめ、何の問題もないと言い切る人々もいる。ビル・ゲイツのような人物までもが、この件は慎重に見ていくべきだと注意を促している。AIの進歩にこれほど深く関わってきたアモデイは、このタイミングで何を語っているのか。
AIが制御を離れる危険性と、サイバー攻撃やバイオテロへの悪用
アモデイのエッセイは「We Must Pace the Frontier（最先端の開発ペースを整えなければならない）」と題されており、テック業界の多くの人が考えていることを言葉にしている。
アモデイはまずリスクの話から入る。
「これまでの多くの技術と同じように、AIにもリスクがある。しかもAIはきわめて強力な技術であるだけに、そのリスクは深刻だ」とアモデイは書く。「私はリスクについても多くを書いてきた。AIシステムの制御を失うリスク、サイバー攻撃やバイオテロにAIが悪用されるリスク、そして深刻な経済の混乱がそこに含まれる。商業的な動機に駆り立てられた底辺への競争（安全性を削ってでも先を争う消耗戦）は、こうしたリスクをいっそう先鋭にしかねない」。
作らない選択も速すぎる開発も退け、安全性で競う道を選ぶ
その上で、前進とのバランスを説きながらも、アモデイははっきりと減速を求めている。両方を引いておこう。
「技術を作らないという選択は、人類から恩恵を奪うか、AIを権威主義勢力の手に渡すだけに終わる。かといって、速く作りすぎるのは無謀である」とアモデイは書く。「私たちが探ってきたのは中間の道だ。慎重に作りながら商業的にも成功できることを示し、安全性をAI企業どうしが競い合う対象にする。言い換えれば、トップを目指す競争（race to the top）を生み出すということである」。
ここまでがバランスの話である。その上で、現在の現実を踏まえた留保が続く。
