ボブ・アッカーマン | グローバル・サイバー・イノベーション・サミット会長 | DataTribe共同創業者 | AllegisCyber Capital創業者、マネージングディレクター、会長
AI（人工知能）はすべてを変えるだろう。私はそれを確信している。そして、そこに危険が潜んでいる。ある技術が本当にすべてを変えるとき、市場は厳しい問いを発することをやめてしまうのだ。
今日のAI市場を動かしているのは、イノベーションだけではない。それは貪欲さと取り残されることへの恐怖という強力な組み合わせだ。この2つの力が支配すると、非合理的な行動が続く。これは技術に対する批判ではない。市場機能に関する観察である。我々は以前にもこの状況を経験している。
資本コストがゼロに達するとき
市場が熱狂から非合理的な熱狂へと移行したことを示す確実な兆候がある。それは資本コストがゼロに近づくことだ。リスクが価格に織り込まれなくなると、規律は消失する。投資収益率に関する問い、事態が悪化したときに何が起こるかについての問い、そのすべてが殺到の中で犠牲になる。
資本はほぼ無差別に投入されている。起業家たちは、自分たちが構築しているものに「AI」という言葉を付け加えれば扉が開くことを学んだ。企業は大規模なAI購入を行っているが、それは主にR&D（研究開発）として、偵察行動として行われている。競合他社が先に理解する前に、この技術が自社のビジネスにとって何を意味するのかを理解しようとしているのだ。また、リサイクル的な動きも働いている。AI企業の売上高のかなりの部分が、他のAI企業がコンピューティングやサービスを購入することで流れている。諺にあるように、1ドルが10ドルとして数えられているのだ。
これが短期的な過大評価の問題である。破壊的技術から永続的な価値への道のりは、決して一直線ではない。ドットコム時代がそれを証明した。我々は短期的な影響を過大評価し、長期的な影響を過小評価する傾向がある。我々は今、過大評価の段階にいる。
なぜスピードバンプは理論的なものではないのか
私は最近、機械学習研究所の創設者と夕食を共にした。その会話は、AIに注ぎ込まれているすべての資本と並行して、大規模展開への実際の障壁の長く、ほぼ未解決のリストが存在することを思い出させる有益なものだった。
再帰的汚染は最も陰湿なものの1つだ。大規模言語モデルは膨大な量のコンテンツを生成し、それが次世代モデルのトレーニングデータとしてスクレイピングされる。エラーや幻覚は各サイクルで増幅される。コピーのコピーを100万回繰り返すことを想像してほしい。解像度は劣化し、最終的には元のソースが何だったのか分からなくなる。業界は現在、高品質な人間生成コンテンツが枯渇したことを補うために合成データに目を向けているが、これは問題を解決するのではなく、劣化を加速させるリスクがある。
データポイズニングはさらに懸念される。敵対者は意図的にトレーニングデータを破壊することができ、その毒がモデルに組み込まれると、それは永続的なものとなる。軍事応用を考えてみよう。侵害されたデータに基づいて敵味方を区別するように訓練されたAI。あなたは紛争の真っ只中に入るまでバックドアを発見しないだろう。文書化されているように、あらゆる規模のLLMを汚染するにはわずか250の悪意ある文書しか必要とせず、データポイズニングは生成AIシステムにとって仮説的なエッジケースではなく、中核的かつ活発なサイバーセキュリティの脅威となっている。
Anthropic社の副最高情報セキュリティ責任者であるジェイソン・クリントン氏との会話で、彼は今後2〜3年間、SolarWinds規模のサイバーイベントが年次ではなく四半期ごとに発生すると予測した。その能力は今日存在している。
そして、ブラックボックスの不透明性がある。AIベンダーは、モデルの内部に何があるかをほぼ隠している。モデルが安全か、偏りがないか、正確かを独立して検証することはできない。シスコのトム・ギリス氏はこの点を直接指摘している。機密性の高いアプリケーションの場合、モデルをオンプレミスで実行せよ。クラウドで実行してはならない。なぜなら、実際には誰もその中で何が起こっているのか知らないからだ。
これらの問題がユースケースごとに対処されるまで、大規模展開は市場が現在価格に織り込んでいる規模では起こらないし、起こるべきでもない。間違えた場合の結果は、単純に許容できないものだ。
機械速度がリスク方程式をどう変えるか
AIの独特な危険性は、物事が間違う可能性があるということだけではない。それがいかに速く間違うかということだ。ループ内の人間は歴史的に究極のサーキットブレーカーであり、判断が介入できるほどプロセスを遅くするものだった。エージェント型AIは、そのサーキットブレーカーを完全に取り除く。
攻撃的サイバーの意味合いだけでも、すべての取締役会に一時停止を促すべきだ。敵対者が既知の脆弱性の完全なライブラリを悪用することを歴史的に制約してきたのは、経済性だった。攻撃を大規模に自動化することは単純に効率的ではなかった。しかし、機械学習はその制約を排除し、その能力は今日存在している。
AIシステムが制御された環境外で他のAIシステムと相互作用し、機械速度で何かが間違った場合、あなたはそれを止めることができないかもしれない。この技術の意図しない結果があり、我々はまだ考え始めてさえいない。それらは緩慢に進行する問題ではないだろう。
取締役会と投資家が今すべきこと
これらのいずれもAIに反対する議論ではない。原子力エネルギーは、これまでに開発された最も強力でクリーンなエネルギー源の1つだ。それは爆弾も作ることができる。技術はどちらかを決定しない。我々が決定する。違いは、規律、ガードレール、結果の明確な理解の有無だ。
長期的なAI環境を定義する企業と投資家は、今最も速く動いている者ではない。最も慎重に動いている者だ。資本コストが正常化するとき（そしてそれは起こる）、ユースケース固有のベースで展開し、規模を拡大する前にリスクとリターンの理解を構築した企業が、生き残る企業となる。これが耐久性のある企業が常に構築される方法だ。
取締役会と資本配分者にとって、必須事項は減速することではない。それは鋭敏になることだ。市場が現在スキップしている質問をせよ。R&Dと本番展開を区別せよ。組織が実際にどの段階にあるかについて正確であれ。ユースケースの特異性を要求せよ。「我々はAIを使用している」は戦略ではない。リスクを価格に織り込め。展開への文書化された技術的障壁は、脚注ではなく第一次的考慮事項として、あなたの評価モデルと取締役会の議論に含まれるべきだ。
AIの長期的な変革の可能性は現実であり、過小評価されている。金は本物だ。規律とは、金と輝きの違いを知り、その区別を重要視する忍耐力を持つことだ。
ここで提供される情報は、投資、税務、または財務上のアドバイスではない。あなたの特定の状況に関するアドバイスについては、認可された専門家に相談すべきだ。
