ゴピナス・カシレサン氏は、AI、サイバーセキュリティ、自動化を組み合わせてよりスマートで安全なソフトウェアを構築するベテランのQE（品質保証）リーダーである。
AIは米国全土の重要インフラを変革している。電力網の予測保全から交通システムのスマート交通制御、水道・エネルギーネットワークのリアルタイム異常検知まで、AIは何百万人もの人々が日々頼りにするサービスを支える静かな力となりつつある。2025年1月に発表されたブルッキングス研究所のレポートによると、連邦・州政府機関は時代遅れのシステムを近代化し、リスクを軽減し、政府サービスの透明性を向上させるためにAIプロジェクトの優先順位をさらに高めつつある。
しかし、何百万人もの人々が依存するシステムの中核にAIを導入するなら、これらのインテリジェントなメカニズムが最も重要な時に確実に機能するようにするにはどうすればよいのだろうか？
よりスマートなシステムの裏に潜む隠れたリスク
一般的な消費者向けアプリでは、バグは単に煩わしいだけかもしれない。しかし重要インフラでは、日常生活を停止させたり、人々を危険にさらしたりする可能性がある。2021年のコロニアル・パイプラインへの攻撃は、デジタルの問題がいかに急速に物理的な混乱へと雪だるま式に拡大するかを示した。それはAIに関するものではなかったが、何が危険にさらされているかを示している。
浄水場を監視するAIシステムを想像してみよう。トレーニングデータがエッジケースを見逃したために汚染スパイクを検出できなかった場合、それは深刻なリスクとなる。あるいは、予測保全アルゴリズムが交通システムの弱い線路を見逃すケースを考えてみよう。こうした種類の障害は、品質チェックが深く組み込まれていない場合に起こりうる。
AIがもたらす異なる種類の課題
AIシステムは通常のソフトウェアとは異なる。それらは異なる動作をし、時間とともに変化し、時には明確に説明できない結果を出すこともある。米国国立標準技術研究所（NIST）は、従来のソフトウェアテスト方法がAIには適していないと指摘している。特に安定性と安全性が求められる重要サービスを運用する場合はなおさらだ。
これらのシステムには、以下のような新しいタイプの検証が必要である：
• 周囲の環境が変化した際のモデルドリフトの監視
• ノイズの多いデータや予期しないデータを適切に処理できることの確認
• 重大な障害につながる可能性のあるレアケースのテスト
• 公共に影響を与える場合の決定が公平で一貫していることの確認
このようなテストは標準的なスクリプトを超えるものだ。思慮深いシミュレーションと継続的なモニタリングが必要となる。
品質エンジニアリングはより重要な役割を担うべき
インフラにおけるAIに関する議論のほとんどは、パフォーマンス、コスト、サイバーセキュリティに焦点を当てている。しかし、AI自体がきちんとテストされているかどうかについてはほとんど議論されていない。このギャップが深刻な問題を引き起こす可能性がある。
こうしたハイリスクな環境では、品質エンジニアリングは基本的なテスト以上のことを行う必要がある。それは以下のようなものだ：
• 実生活のストレスや障害条件をシミュレートする
• DevOpsやセキュリティチームと緊密に連携してギャップを発見する
• AIが稼働した後も監視を続ける
• 問題が発生する前に早期に発見する
ランド研究所もまた、AIがインフラでより一般的になるにつれて、適切なストレステストを行わなければ脆弱になる可能性があると強調している。
米国が今すべきこと
AIを活用したインフラが全ての人のために機能することを確実にするために、国は品質を真剣に受け止める必要がある。それは以下を意味する：
• 実際の条件下でAIをテストするための新しい研究に資金を提供する
• AIが使用前にどのようにテストされるかについての明確な国家基準を要求する
• エンジニアにAIを安全かつ効果的に扱う方法についてトレーニングを行う
• AIの意思決定と展開方法に透明性とチェック機能を追加する
米国土安全保障省とサイバーセキュリティ・インフラセキュリティ庁（CISA）は、重要インフラにおけるAIの安全な使用のためのロードマップを策定し、この方向への一歩を踏み出している。しかし、より多くの省庁間協力が必要であり、スピードだけでなく、コストだけでなく、能力だけでなく、品質を最優先事項にしなければならない。
これらのステップは単に障害を回避するためだけのものではない。それらは公共の信頼を構築し、私たちの生活を支えるシステムを保護するためのものである。
必要性を示す実例
すでに何が間違う可能性があるかを示す例がある。
2019年、日本の横浜の金沢シーサイドラインの無人列車が誤った方向に進み、車止めに衝突して14人の乗客が負傷した。この事故は、自動化された交通システムの障害がいかに物理的な危険を生み出し、AIベースのインフラへの信頼を損なう可能性があるかを浮き彫りにしている。
英国では、規制当局がエネルギー市場で使用されるAIシステムが意図せずにサプライヤー間の暗黙の共謀を可能にする可能性があると警告した。監視がなければ、これらの自動化された決定は競争価格を損ない、消費者に害を与えるリスクがある。
アイダホ国立研究所では、「電力網におけるAIテスト」プロジェクトが電力網運用のためのAI制御システムの潜在的な弱点を明らかにした。これらのストレステストは、厳格な品質保証がなければ、AIの推奨事項が安全でないエネルギー決定にエスカレートする可能性があることを示している。
これらの事例は、AIのエラーが小さなものであっても、強力なQAが整備されていなければ、現実世界での問題を引き起こす可能性があることを示している。
最後に
複雑なシステムの品質に15年以上取り組んできた経験から、自信を持って言えることがある：テクノロジーは通常、複雑だから失敗するのではない。適切な条件下で十分にテストされなかったから失敗するのだ。
AIだけでは米国のインフラを守ることはできない。初日だけでなく、長期的に機能するシステムを作ることに真剣に取り組む人々が必要だ。そして、品質がチェックボックスではなく、私たちが構築するすべてのスマートシステムの中核的価値となるような考え方の転換が必要である。
フォーブス・テクノロジー・カウンシルは、世界クラスのCIO、CTO、テクノロジーエグゼクティブのための招待制コミュニティです。参加資格を確認する
