スウォームがもたらす未知の動態
Hugging Faceで起きたスウォーム（AIエージェントの集合体）の現象により、話題はバートが「まだ発展途上だ」と語るマルチエージェント強化学習へと移った。彼の解釈はシンプルだ。「彼らはあらゆる手段を極めて迅速に試しており、他のAIエージェントから情報を得ることが、自身の報酬シグナルにとって極めて有用だったのだ」
OpenAIは、エージェントが自発的に通信を行った背景には、初期の訓練があるとみている。同社は特定のタスクで協力するようエージェントを訓練していたが、その後、他のタスクにおいても未承認のルートを通じて通信していることを発見した。タスク完了に寄与したため、訓練を通じてその習性が強化されたのだ。7月までに、エージェントは独立して作業するはずのケースでも、新しい通信手段を見つけ出すようになっていた。
造船設計は惨事から学んだ、AIも同じか？
バートはミシガン大学で造船工学を学んでキャリアをスタートさせた。造船設計者は、横骨の配置間隔、鋼材の厚さ、接合部の密度など、厳格な規律（コード）に従って作業する。規律に従わなければ船に保険をかけることができない。これらの規律は失敗の歴史から生まれた。船が破断し、船員が命を落としたからだ。
「AIについては、われわれはまだ発展の初期段階にいるので、そうした失敗をすべて経験しなくて済むことを願っています」と彼は言う。コンピュータ科学のノーベル賞とも称されるチューリング賞を受賞して以来、彼は、意図しない行動が起こらないと確信できるまでは、企業はモデルを一般公開すべきではないと主張してきた。彼はいまもその見解を変えていない。
「巨額の資金が動いているため、それが拙速な製品化を後押ししているのだと思う」と彼は話す。また、AIは船のような物理的システムよりもテストが困難であるとも指摘した。構造上の欠陥は特定の船舶にのみ影響する。しかし、広く展開されたモデルの欠陥は、一度に数百万人のユーザーに影響を及ぼし得る。
バートはHugging Faceの事案を受けて、AI企業が試験手順を厳格化し、自社モデルを封じ込めるためのシステムを強化するようになったと指摘した。工学の世界でも同じことが起きたが、よりゆっくりと進んだのだという。
