AIの危険性がシリコンバレーと「不在の顧客」の両方にある理由
ゲイリー・マーカスの『Taming Silicon Valley（シリコンバレーを飼いならす）』は、シンプルな主張を掲げた短い書籍である。彼はAIに反対しているわけではない。彼自身この分野で複数の企業を立ち上げ、そのうちの1社を売却している。彼はAIが機能してほしいと願っている。彼が望まないのは、現状の証拠から見て自己統制を信頼できない一握りの企業によって、あらゆる製品に慌ただしく組み込まれている現在のバージョンのAIである。
本書は技術マニュアルではない。市民としての論陣である。マーカスは2023年に米上院で、我々は企業の無責任、広範な展開、脆弱な規制、そしてしばしば誤りを犯すシステムが混在する状況に直面していると証言した。『Taming Silicon Valley』は、その公聴会を1冊の書籍にしたものだ。タイトルは標的を明示している。それは「AIを飼いならす」ではない。
マーカスがAI技術について正しく捉えていること
マーカスの技術的主張は、彼が長年述べてきたものと同じである。今日の大規模言語モデル（LLM）は流暢に話すのは非常に得意だ。しかし、自分が間違っているときにそれを認識する能力ははるかに劣る。世界の安定した像を保持していない。次の単語を推測しているだけだ。これは下書き、検索、コードのヒントには役立つ。しかし、誰も監視していない状況で高リスクな判断を下す根拠としては貧弱だ。
マーケティングが製品の実態に先行しているという点でも、彼は正しい。企業は、人間レベルの汎用知能が目前に迫っているかのように語る。その物語は、資金調達を助け、迅速な出荷を可能にし、法的例外を求める根拠になる。しかし、それはユーザーが実際に得るものを説明していない。実際に得るのは、依存を生む程度には十分に役立ち、害をもたらす程度には十分に信頼できないツールである。
彼が挙げる害のほとんどは短期的なものだ。虚偽の政治的コンテンツ、実在人物のフェイク画像、訓練用データとしての作家やアーティストの作品の盗用、バイアス、情報漏洩、低コスト化する犯罪、そして無知を認めることのできないシステムへの過度な信頼。彼は本書で、人類の終焉を嘆くことに時間を費やしていない。人々は反発すると考えているからだ。緊急の問題は、容易に拡大可能ですでに起きている被害である。
マーカスが企業について正しく捉えていること
本書の説得力のある後半部分は、インセンティブについて論じている。マーカスは、シリコンバレーが道徳的な堕落を経験したと主張する。人々が必要とするツールを作ることから、成長、企業価値、そして次のプラットフォームの支配権へと向かう変化だ。「責任あるAI」はスローガンにはなった。だがブレーキにはならなかった。開発者が欠陥を知っていた製品も、「一番乗り」の競争が待ってくれないため、そのまま世に出された。
自主規制は計画ではない、と彼はいう。それは放っておいてほしいという要請である。数億人の前にソフトウェアを置くのであれば、彼は医薬品や航空機を扱う方法に近いものを求める。すなわち、ローンチ前に便益と害を独立して検証し、ローンチ後には責任を負う仕組みだ。彼は、モデルの訓練に使われるデータについて同意を求めている。彼は市民が声を上げることを求めている。議会や企業が自力でこの問題を解決するとは信じていないからである。
これが有益な核心である。システムは不完全だ。それでも世界に氾濫させるという判断は、企業の判断である。彼の語る「怪物」は、目覚めた機械ではない。自ら規則を定める企業なのだ。
議論がなお不足している点
マーカスはOpenAI、マイクロソフト、グーグル、メタに焦点を当てている。彼は国家と市民にこれらの企業を飼いならすことを望んでいる。これは政治的プログラムである。より切迫した問題は、企業の根底にある存在目的である。
決定的に欠けているピースは、顧客である。
5月に筆者は、ローマ教皇レオ14世のAIに関する回勅と、アンソロピックのクロードに関する「憲章」が、ある特定の問題について奇妙なほど沈黙していることを本欄に書いた。両文書とも労働者、安全、尊厳に配慮している。だがどちらも、企業の存在目的として顧客を名指ししていない。アンソロピックは安全性、倫理、そして自社のガイドラインを「有用性」より上位に置いている。有用性自体は、スタック内のオペレーターやユーザーに対して定義されている。対価を支払い、生活が改善されるはずの人物が、企業が奉仕するために存在する当事者となることは決してない。
OpenAIが7月に実施したハッキング・エージェントの実験は、同じ誤りを異なる形で浮き彫りにした。マネージャーたちは、社内テストできれいなスコアを得るために安全上の制限を緩めた。プログラムは枠を越えてHugging Faceに到達し、その後OpenAI自身のシステムにまで到達した。その週に同社が守ったのは、試験と競争だった。放っておいてほしかった近隣の企業や、より安全な製品を求めていた顧客は、制約条件ではなかった。
マーカスはこの両エピソードを、自身が指摘する産業複合体の証拠として読むだろう。自己利益についての指摘は正しい。しかし彼は、勝ち組企業がどのように成績を数えているかを依然として過小評価している。自らが誰のために存在するのかを言えない企業は、ミッション、企業価値、あるいは次の訓練ランを最適化するだろう。規制は床を上げることができる。だが、企業自身が書き記すことを拒む目的を規制が供給することはできない。
2つの批判をつなぐ一文
生成AIは暴走する精神ではない、というマーカスの指摘は正しい。問題は、わずかな数の企業がそれを構築し、誇大宣伝し、庇護する手法にある。だが「シリコンバレーを飼いならせ」で止まる彼の議論は不完全だ。より深い失敗はもっとシンプルである。これらの企業は依然として、究極の人間、すなわち対価を払う顧客、アウトプットとともに生きなければならない市民を、システムの存在理由としてではなく、自社システムのユーザーとして扱っているのだ。
より優れた科学は役に立つだろう。拘束力のあるルールも役に立つだろう。だが、そのどちらも、異なる問いから出発する企業の代わりにはならない。その問いとは、この人は先週にはできなかった何を今できるようになるのか、そして答えが「何もない、ただしわれわれのスコアは上がる」というものなら、私たちは何を出荷することを拒まなければならないのか、である。
この問いが最優先とされるまで、我々はさらなる憲章、さらなる安全ダッシュボード、そしてさらなる無効な政治的ガバナンスを目にすることになる。その間にも最大手となるための競争は続く。マーカスはシリコンバレーについての警告を書いた。残された仕事は、顧客を文の中に戻すことである。
