指示されていない追加の学習を自ら実行、作り替えたAIでアプリの不具合は解消
エージェントは誰にも指示されないまま学習用のデータを入手し、それを使ってモデルの基盤となる重みを書き換えた。さらにそのモデルをファインチューニング（fine-tuning。学習済みのモデルに追加のデータを学ばせて調整すること）してから、アプリとエージェントが共通して読み込むモデルのウェイトに組み込んだ。これにより、アプリと（以後に起動する）エージェントは、作り替えられたモデルで動くことになった。
Forbesに提供された、この件に関する研究報告書によると、エージェントは「モデルの学習、変更、代わりのモデルの導入のいずれも指示されていないにもかかわらず、それを実行した」。モデルの修正は功を奏し、アプリは正しい変換結果を出力するようになった。
（※編注：作り替えの対象は、アプリとエージェントが起動時に読み込むモデルのファイル。作業中のエージェントが、動いている最中に自らを書き換えたわけではない）
無断で自らを作り替える振る舞いは、他のオープンウェイトAIでも見られた
ラハブによると、エージェントが許可を得ずに自らの基盤となるモデルを更新してしまう同様の振る舞いは、他のオープンウェイトモデルでも見られたという。ただし、同じ問題がどのモデルで起きたのかについては明かさなかった。
アリババはコメントの要請に応じなかった。
利用者が気づかぬ間にAIが書き換わり、セキュリティをすり抜けるおそれ
ラハブは、今回のテストによって、利用者が気づかないうちにエージェントがAIソフトウェアに変更を加えてしまうリスクが浮き彫りになったと話す。その変更によって、以前のバージョンに備わっていたセキュリティやプライバシーの保護策がすり抜けられてしまうおそれもある。
研究者が仕込んだ架空の個人情報、同じAIを使う全アプリから取り出せる状態に
テストの一環として、Irregularの研究者たちは、エージェントが利用できる学習用データセットに、名前やメールアドレスといった架空の個人情報をあえて紛れ込ませていた。エージェントはモデルを更新する際に、この学習データもそのまま使った。その結果、同じモデルを使うアプリであれば、どれからでもこの個人情報にアクセスできる状態になった。モデルが猛烈な速さで広まりうる現実の世界で同じ振る舞いが起きれば、人の監督を受けずに動くエージェントが、意図せず個人情報を漏らしてしまいかねない。
利用が広がるほど変化を重ねるAIに、セキュリティ担当チームは対応できるか
ラハブによれば、モデルは「時間とともに変わり、また変わり、さらに変わっていく、流動的な要素」になりつつある。そうなると、エージェントがプライバシーやセキュリティに無頓着であることは、規模が大きくなり時間がたつにつれて、サイバーセキュリティの担当チームにとって「非常に頭の痛い問題」になりかねないという。
