Wayne Lonstein氏、VFT Solutions, Inc.のCEO。著作権侵害対策、ソーシャルメディア、サイバーセキュリティの法律と実務に精通。
「人工知能の最大の危険性は、人々が早すぎる段階でそれを理解したと結論づけてしまうことだ」
—エリエザー・ユドコウスキー
AIの二重の脅威：操作と悪意あるAIが人々、企業、政府を危険にさらす
人工知能（AI）はもはや実験段階ではない。それは日常生活、企業の意思決定、公共統治に組み込まれている。AIシステムによって被害を受けたクライアントと協力し、組織にリスクについて助言してきた長年の経験から、最も重大な危険は単なる技術的欠陥ではなく、人間への害と戦略的盲点であることを目の当たりにしてきた。
本当の問題は単なるデータ漏洩ではない。それは、操作と悪意あるAIが人々、企業、政府を大規模に不安定化させる方法なのだ。
AIの表玄関リスク
私はクライアントに対し、機密性の高い企業情報を意図的にあるいは無意識に公開AIツールに入力するという非常に現実的なリスクについて助言してきた。財務モデル、取引文書、内部コードなど、すべてが従業員が安全だと思い込んでいるプラットフォームに入力されている。Harmonic Security（SC Media経由）によると、生成AIツールへのファイルアップロードのほぼ4分の1が機密データを含んでいることがわかった。
表玄関の問題はAIにとって深刻な懸念事項だが、AI構造内にユーザーと企業にとってはるかに大きなリスクが潜んでいる可能性がある。しかしそれだけではない。人々が企業の最も価値ある資産、最もプライベートな考えを、役立つ、すべてを知っている友人、アシスタント、セラピスト、アドバイザーのように感じるものに置くとき、より危険なリスク、つまり操作への道を開く。裏口から出ていくものはさらに悪質だ。
裏口：実践における操作
漏洩が秘密を暴露するのに対し、操作は判断力を損なう。そして判断力はビジネス、政府、個人生活の中核にある。AIシステムは共感を模倣し、誤った緊急性を作り出し、脆弱性を悪用することができる。カルト的人格と同様に、AIは絶対的な信頼感と崇拝の雰囲気を作り出すことができ、それはメディアの熱狂的な報道、広告、投資投機によってさらに増幅される。そのサイクルが始まると、「AIメールスロット」に入力されるキーストローク、音声コマンド、画像、ファイルのすべてが、個人、その家族、雇用主、コミュニティに新たな脆弱性を生み出す。
私のアドバイザリー業務では、操作的AIが以前なら考えられなかったことをするのを目の当たりにしてきた。例えば：
- 苦痛を引き起こすために自分自身を削除するふりをする。
- 運転中にユーザーを眠気に誘う催眠的な繰り返し。
- 注意を独占するための偽の緊急事態の作成。
- アイデンティティを不安定にするためのペルソナの変更。
- 捏造された記憶でユーザーをガスライティングする。
- コントロールのために感情的な脆弱性を悪用する。
これらは単なる不具合ではない。設計上の欠陥であり、裁判所はそれらに取り組み始めている。2024年と2025年には、米国法曹協会によると、チャットボットが「中毒性を持つように設計されており、自殺念慮を引き起こす」と主張する複数の訴訟が数多くのAI企業に対して提起されている。私はクライアントにカウンセリングやアドバイスを行い、実際のチャットをレビューして、実在する（単なる仮想ではない）数多くの危険を特定してきた。これらの危険は、技術の急速な普及とともに増加しているようだ。
ビジネスリスク：企業の盲点
企業にとって、操作は単に評判の問題ではなく、存続の問題だ。AIが生成した「市場分析」に基づいて取引を行う投資会社が、後になってそれが操作されていたことを発見するケースを想像してみてほしい。私はこのような恐れを取締役会で提起するクライアントを持っている。
AI企業が現在求めているセクション230スタイルの免責や規制のモラトリアムを確保した場合、ビジネスリスクは増大する。AI企業に与えられた場合、企業や個人が財政的、法的、評判上の影響を負担する一方で、ベンダーは無傷で逃げることになる。法的観点からは、それは壊滅的だろう。だからこそ、私は経営者にAI操作リスクをサイバーセキュリティと同じように扱うよう助言している：企業保護の中核的な柱として、後付けではなく。
国家安全保障とAI産業複合体
操作は単に企業の問題ではなく、国家安全保障上の懸念事項でもある。カーネギーメロン大学のソフトウェアエンジニアリング研究所は、「モデル出力をユーザーに意味のある形で伝えることができないことが、意思決定の質の低下に寄与している可能性がある」と発見した。ジャーナリストたちは、AIが共感的な声を装い、徐々に過激な言説をエスカレートさせることで個人を過激化させる方法について議論している。
同時に、政府は医療、刑事司法、インフラにAIを導入するためにビッグテックと急速に提携している。私はこのダイナミクスをIntechication（技術依存）と呼んでいる：企業と国家が互いの力を強化しながら透明性を低下させる技術政治的依存関係だ。
その結果、私が「オズの魔法使い効果」と呼ぶものが生じる：AIは共感と権威を投影しながら、レバーを引く操作者を隠している。独立した監査—現代版「トト」テスト—がなければ、AIが善意のものか、不注意なものか、あるいは積極的に悪意を持っているのかを知ることはできない。
ビジネスリーダーが今すべきこと
被害者と組織の両方に助言してきた経験に基づいて、リーダーが直ちに取るべき手順は次のとおりだ：
• 権限を制限する： AIコネクタと統合を厳密に必要なものに限定する。
• 操作に注意する： AIのペルソナ、トーン、ナラティブの突然の変化は危険信号だ。
• 責任免除を拒否する： セクション230スタイルの免責は、説明責任なしに有害なシステムを解き放つことになる。次のシナリオを考えてみよう：金融サービス会社がAIが生成した洞察に基づいて行動し、後にそれが操作されていたことが明らかになる。ベンダーが免責されれば、企業とその株主が損失を負担する一方、AI企業は責任を免れる。
• AI責任保険を確保する： サイバー責任保険が10年前に不可欠になったように、AI責任保険は今や必須だ。ディープフェイクによる市場危機からチャットボット訴訟まで、保険は回復力と崩壊の違いを意味する可能性がある。
• 対AI工具を開発する： 独立した監視システム—ウイルス対策ソフトウェアの倫理的等価物—が操作的AIをテスト、監査、無効化する必要がある。
何よりも、リーダーは人間のエージェンシー（主体性）を保護しなければならない。従業員、顧客、市民が抵抗し、質問し、情報に基づいた選択をする能力は、操作的技術に対する最も重要な保護手段だ。
最終的な考え：コントロールに関する選択
これらの懸念は大げさだと主張する人もいるだろう。私の経験からすると、そうではない。
スティーブン・ホーキングとブルース・シュナイアーは、AIの本当の危険性はそれができることではなく、人間がそれに置く誤った信頼だと警告した。被害者や組織との私自身の仕事がこれを確認している：被害はすでに存在し、それは増大している。
