Umesh Chauhanはアメリカン・エキスプレスのエンジニアリングディレクターである。
現在、ほとんどの大企業は複雑なデータワークフローに依存して事業を運営している—不正検知、クレジット承認から顧客インサイト、レポーティングまで。これらのパイプラインは、日々テラバイトあるいはペタバイト単位で測定される膨大な量のデータを静かに移動させている。これらは強力だが、現代のシステムがいかに動的になったかに完全には対応できていない。多くのワークフロープランナーは、データが常に同じように振る舞うと仮定して、何年も前に構築された静的なルールとコストモデルに依存している。実際には、データセットは進化し、クラスターリソースは変動し、ワークロードが2日続けて同じになることはほとんどない。結果は予測可能だ：非効率性。ジョブは遅くなり、コンピューティングリソースはアイドル状態となり、エンジニアは無数の時間をパラメータの手動調整に費やしている。
長年、この種の手動最適化は避けられないもの—大規模な分析システムを運用するためのコストだと感じられていた。しかしある時点で、より根本的な疑問が浮上した：システム自体が最適化を学習できるとしたらどうだろうか？データプラットフォームがジョブの動作を観察し、ボトルネックの原因を理解し、自動的に改善できるだろうか？その考えが最終的にAutoGraphMRへとつながった。これはグラフニューラルネットワーク（GNN）を使用してビッグデータワークフローをより自己認識型かつ自己最適化型にする実験である。
システムに設計者のように考えさせる
高いレベルでは、AutoGraphMRは経験豊富なデータアーキテクトと同じようにデータワークフローを理解するための機械学習モデルを訓練する。すべてのMapReduceジョブはグラフとして表現できる—データの流れによって接続されたステージだ。各ノードは詳細なシグナルを運ぶ：実行時間、データ量、リソース消費、そしてシステムを通じて情報がどのように移動するか。時間とともに、これらのシグナルは何が健全で何がドラッグを引き起こすかを明らかにする。
GNNは複雑なグラフ全体の関係を理解することに優れているため、自然な適合性がある。メトリクスを個別に供給する代わりに、モデルはワークフロー構造全体から学習する。シャッフルオーバーヘッドを引き起こすパターンを特定し、データの歪みが並列処理にどのように影響するかを認識し、どのリソース割り当てが最高のスループットにつながるかを推測する。トレーニング後、ジョブが実行を開始する前に最適化を予測できるようになる。
発見したこと
このアプローチを検証するため、システムは大規模なHadoopエコシステム内の幅広い本番ワークロードに適用された—レコメンデーションエンジン、ETLパイプライン、インデックス作成システム、分析ジョブなどだ。改善は顕著だった：ジョブの実行時間は平均で約28%向上し、リソース利用率は約21%増加し、いくつかの複雑なレコメンデーションパイプラインは最大35%速く実行された。
これらのパフォーマンス向上に加えて、システムは通常の手動レビューでは見逃されるような最適化の機会も発見した—データの歪み、非効率なシャッフルステージ、静的なヒューリスティクスが常に見逃す未活用のコンピュートセグメントのパターンなどだ。これらの関係が浮かび上がるのを見ると、AIが顧客向けの分析を強化するだけでなく、それらの分析を可能にするインフラストラクチャも意味のある形で強化できることが明らかになった。
インテリジェントインフラストラクチャ構築の教訓
この取り組みから得られた重要な教訓は、AutoGraphMR自体の具体的な成果を超えている。より大きな教訓は、インテリジェントインフラストラクチャが現代企業の戦略的優位性になりつつあるということだ。データ量が増加し、システムがますます分散化するにつれて、静的なルールと手動調整に依存する古いモデルは単純にスケールしない。真の機会は、自らの動作を観察し、パターンから学習し、自動的に適応できるプラットフォームを構築することにある。
この変化は、生成AI（GenAI）と大規模言語モデル（LLM）の台頭で見られるものと一致している—情報を単に処理するだけでなく、解釈するシステムだ。テクノロジーリーダーにとって、メッセージは明確だ：未来はビジネスユースケースにAIを適用するだけではなく、そのインテリジェンスをエンジニアリングスタックの深部にもたらすことにある。基盤となるプラットフォームがよりスマートで自律的になると、その上に構築されるすべてのものがより高速で、より効率的で、はるかに回復力のあるものになる。
もう一つの重要な教訓は、価値あるものを測定することだった。最初から、明確な成功指標—レイテンシーの削減、リソース効率、コスト改善—を定義した。具体的な数値があることで現実的な基盤が保たれ、上級管理職に結果を伝えやすくなった。イノベーションは、測定可能なビジネスインパクトと結びついたときに信頼性を獲得する。
エンジニアリングにおけるAIの広範な視点
この経験により、より広範な信念が強化された：AIは真のエンジニアリング協力者へと進化している。現代のLLMの背後にある同じ原則—構造から学習し、コンテキストを観察し、パターン全体を一般化する—がデータインフラストラクチャにも適用できる。システムが自らの動作から学習し始めると、それらは受動的なツールではなく、適応性があり自己改善するパートナーになる。
この変化はまだ初期段階だが、方向性は明確だ。次世代のデータプラットフォームはワークロードを単に実行するだけでなく、それらを解釈するようになる。ボトルネックを予測し、ワークロードのセマンティクスを理解し、継続的に自己最適化するだろう。GenAIがエンジニアリングの構造に織り込まれるにつれて、インフラストラクチャはより自律的で、よりインテリジェントになり、静的なルールに基づいて構築されたものよりもはるかに高い能力を持つようになるだろう。
この視点は私個人の見解と研究関心を反映したものであり、特定の組織に関連付けられるものではない。
