米国では人工知能（AI）が金融や行政、ビジネス全般に浸透しつつあり、同時に「悪用リスクへの備え」が業界の常識となっている。特にサイバー攻撃や詐欺への利用は現実的な脅威と見なされ、AIラボは公開前に必ずモデルの脆弱性検証、いわゆるレッドチーミングを行うのが暗黙の了解だ。OpenAIやAnthropic（アンソロピック）も例外ではなく、イスラエルのスタートアップ「Irregular（イレギュラー）」に依頼して、AIがどこまでハッキングに悪用され得るかを検証している。
評価額約662億円のスタートアップ、AIモデルの「脆弱性検証」で急成長
OpenAI共同創業者のサム・アルトマンは2025年7月、サイバー犯罪者がAIを使ってなりすましを行う、「大規模な詐欺が横行する恐れがある」と警鐘を鳴らした。だがその直後から、アルトマンが警告した脅威を作り出したのは他ならぬChatGPT自身だという皮肉をこめたミームが拡散した。
同じ頃、OpenAIはその当時「Pattern Labs（パターン・ラボ）」と呼ばれた企業に、一般公開前のAIモデルをストレステストにかける業務を委託していた。このテストは、ハッカーに悪用されてユーザーデータの窃取や攻撃に利用されかねないモデルの脆弱性を事前に発見・修正するためのものだった。2023年以来、このスタートアップはアンソロピックやGoogle DeepMind（グーグル・ディープマインド）のような大手と組み、AIモデルを模擬環境に置いて、「ITネットワークから機密データを盗み出せ」といった悪意ある命令にどう反応するかを調べてきた。
セコイア・キャピタル主導で約118億円を調達
このスタートアップは9月17日、社名を「Irregular」に改め、ベンチャーキャピタル（VC）大手のセコイア・キャピタルが主導したシードラウンドおよびシリーズAで合計8000万ドル（約118億円。1ドル＝147円換算）を調達したと発表した。同社の評価額は4億5000万ドル（約662億円）に達した。
Claudeの悪用やAI生成の音声による詐欺が示す、現実の脅威
AIの悪用は業界全体の問題だ。つい先月もアンソロピックが、自社モデルのClaude（クロード）が現実のサイバー攻撃に利用され、マルウェアのコード作成やフィッシングメールの生成を手助けしたと警告した。5月には連邦捜査局（FBI）が、米政府の幹部を名乗るAI生成の音声メッセージが実在の政府職員を狙ったフィッシングに使われていると注意を呼びかけていた。
黒字化の早さが示す、Irregularの実力
こうした問題にいち早く取り組んだサンフランシスコ拠点のIrregularは、その成果を享受している。共同創業者兼CEOのダン・ラハブはフォーブスに対し、同社がわずかな期間で黒字化し、初年度に「数百万ドル（数十億円）規模」の収益を上げたと語った。ただし詳細な数字は明らかにしていない。
「私たちと同じことができる人材はほとんどいない」とラハブは話す。ただ彼も、AIモデルが高度化するにつれて「レッドチーミング（リスクを検証するストレステスト）」の難易度がさらに高まることを認識している。ラハブは、より進化したAIモデルが登場する将来を見据え、「その時に通用する緩和策や防御策をあらかじめ組み込んでいくつもりだ」と語った。ここには、一部の専門家が人間の知能を超えると考える汎用人工知能（AGI）も含まれる。
「超知能の時代になれば、こうした問題は当然、さらに深刻になる」とラハブは語った。
