BruceはStorMagicの最高製品責任者（CPO）であり、製品管理、エンジニアリング、企業コミュニケーションのすべての側面を担当している
テクノロジー業界の巨人たちは、AIの軍拡競争で競争力を維持するために今年3000億ドル以上を投じる準備を進めている。アマゾンだけでも1000億ドル以上を投資し、マイクロソフト、アルファベット、メタもそれぞれ数百億ドルを投じて、巨大データセンターの構築、GPUクラスターの拡張、クラウドホスト型AIにおける支配的地位の確保を目指している。
この規模の投資はヘッドラインを飾るが、議論から抜け落ちていることが多いのは単純な疑問だ：これだけの支出が実際により良い成果をもたらすのだろうか？
簡潔な答えは「場合による」だ。AIはモデルや計算能力だけの問題ではない。それらをどこでどのように実行するかが重要なのだ。インフラがタスクに合致していなければ、3000億ドルでさえ不十分になりうる。
AIインフラの真のコスト
AIはもはやデータセンターだけの話ではない。より多くの企業がリアルタイムの意思決定をサポートし、運用を自動化し、現場でビデオストリームを分析するためにAIワークロードをエッジに移行するにつれて、インフラは劇的に変化する必要がある。クラウドスケールのハードウェアは多くのエッジデプロイメントにとって過剰であり、ローカルインフラがより効率的に解決できる遅延、コスト、信頼性のリスクをもたらす可能性がある。
賢明なIT責任者たちは問い始めている：エッジでのAIに実際に必要なものは何か？それを拡張する本当のコストは？そして、必要のないテクノロジーに過剰投資することなく、どうやって結果を出せるのか？
クラウドだけでは追いつけない
長年、クラウドファーストはデフォルトのIT戦略だった。それはスピード、スケーラビリティ、低いOPEXを提供した。しかし、特にエッジでシンプルさとコントロールが必要な場合、このアプローチは限界を見せ始めている。組織はクラウドのみの戦略が遅延、コスト、コントロールに関してトレードオフをもたらすことを発見している。
自律走行車が歩行者を検知するためにクラウドホスト型AIモデルからの判断を待たなければならないとしたら？あるいは、手術ロボットがインターネット接続の障害中にクラウドへのアクセスを失ったとしたら？これらは理論上のシナリオではない。クラウドの遅延と信頼性の制約が許容できないリスクをもたらす実世界の例だ。
AIワークロード、特にリアルタイム処理を必要とするものは、常にクラウドへの往復を許容できるわけではない。それらは工場の現場、小売店、リモートオフィスなど、データが生成される場所で実行される必要がある。そこでエッジインフラが不可欠になる。
新たな重心：エッジ
エッジコンピューティングは新しい概念ではないが、その戦略的重要性は変化している。AIはエッジデプロイメントに新たな命を吹き込み、それらを最新アプリケーションの重要な制御ポイントに変えている。
従来のデータセンタースタックはリモート環境向けに設計されていない。それらは規模を拡大するには複雑すぎてコストがかかりすぎる。
最新のエッジAIにはGPUのラックは必要ない。軽量で回復力があり、適切なサイズのインフラが必要だ。多くのエッジユースケースでは、特にトレーニングがクラウドで行われ、推論がローカライズされている場合、CPUは実世界の推論モデルを実行するのに十分な能力を持っている。
コンパクトで低電力、管理が容易なエッジ向けのハイパーコンバージドインフラ（HCI）により、小売業者、製造業者、医療プロバイダーは世界の反対側ではなく、データが生成される場所でAIを実行できるようになっている。
障壁はコストではなく、複雑さだ
エッジデプロイメントが高すぎるという誤解がある。過去にはそうだったかもしれないが、エッジに最適化されたインフラは現在非常に手頃な価格になっている。高可用性を備えた冗長セットアップは、多くの組織が1か月のクラウドサービスに費やす金額よりも少ない費用で導入できる。IDCのレポートは、コスト効率と応答性が主な推進要因として挙げられ、エッジが企業投資の急成長分野であることを引き続き強調している。
しかし、本当のハードルはコストではなく、複雑さだ。
ITチームは手薄になっている。ほとんどのチームは、集中型データセンターと同じ厳密さで何百ものリモートサイトを管理する装備が整っていない。そのため、最新のエッジインフラはシンプルさと自律性を念頭に設計されなければならない。プラグアンドプレイで、リモート管理可能で、回復力があるべきだ。簡単に言えば、単に機能するべきなのだ。
コンピューティングがより分散化し、AIがエッジに近づくにつれて、最も成功するプラットフォームはIT運用を複雑にするのではなく、シンプル化するものになるだろう。IT責任者は世話をする別のシステムを望んでいない。彼らは最小限の介入で成果をもたらすソリューションを求めている。
AIは完璧な計画を待たない
CIOやインフラ責任者は、手をこまねいていられないことを知っている。ビジネスはより速いイノベーションを求め、AIは競争上の必要性になりつつある。しかし、それはより多くの支出が答えであることを意味するわけではない。
ハイパースケーラーの支出習慣をコピーする代わりに、組織は以下を問うべきだ：
• どのアプリケーションがエッジに近い必要があるか？
• 遅延、信頼性、コストに関してどのような問題が見られるか？
• スタック全体を再構築せずにAIを実現するにはどうすればよいか？
答えは組織によって異なる。しかし多くの場合、それは予算を増やすのではなく、インフラを再考することから始まる。
ここで本当の課題が生じる。エッジデプロイメントは、現場のIT資源の制限、不安定な接続性、厳しい予算によって遅れることが多い。これらの課題に対処するには、特にエッジ向けに設計されたソリューションを探すこと—エッジとして位置づけられているデータセンターソリューションではなく—が重要だ。エッジに最適化されたHCIは通常、現地のITスタッフがいないことを前提としているため、簡単にインストールでき、リモートで管理できるように設計されているため、最も効果的だ。
また、稼働時間が実際のものであり、「ベイパーウェア」ではないことを確認しよう。POC（概念実証）を実行し、ネットワークとサーバーの障害をシミュレートして、データ損失や回復の問題がないことを確認しよう。最後に、予算に優しいエッジHCIソリューションを探そう。ソリューションは5万ドルをはるかに下回る価格で見つけることができる。
これらのステップはすべての課題を排除するわけではないが、CIOにエッジでのAI機能を構築し、パフォーマンス、回復力、コストのバランスを取るための実用的な基盤を提供する。
AIのROIを再考する
世界最大のテクノロジー企業がAIへの投資を正当化できるのは事実だ。しかし、すべての企業がその後に続くべきというわけではない。多くの組織は、ニーズに合ったインフラに焦点を当てることで、より良いパフォーマンスとより低いコストを実現できる。
AIの未来は、最大のデータセンターを構築する企業だけで決まるわけではない。それは、リアルタイムで意思決定が行われる場所により近くにインテリジェンスをもたらすことができる企業によって形作られるだろう。
AIに必要なのはより大きな予算ではない。より良い基盤が必要なのだ。
