エリオットはエンジニアリングとデータ管理の専門家であり、データ近代化を専門とするコンサルティング会社Data Futuresの創設者である
分析プラットフォームの移行や再構築は、企業が取り組む最も複雑な技術的取り組みの一つだ。最も一般的に引用される調査によると、このような移行の83%が失敗するか予算を超過するという結論が出ている。
これらは技術的に非常に複雑であるだけでなく、組織的にも複雑だ。分析システムには明確な境界がほとんどない。それらはレポーティングツール、何百ものダッシュボード、CRM連携、MLモデル、そしてアナリストやデータサイエンティストの日常的なクエリと絡み合っている。
このようなシステムを置き換えるには、数十のチームにわたる調整が必要となり、その多くは成功のための専任リソースやインセンティブを持っていない。彼らにとって成功とは「物事を壊さないこと」と定義される。この現実が、多くの近代化の取り組みが失敗する理由や、古いシステムが何年も並行して稼働し続け、予算を消費し信頼を損なう理由を説明している。
ソフトウェアエンジニアリングから学ぶ
データ管理は歴史的にソフトウェアエンジニアリングに遅れをとってきたが、現在は収束が見られる。DataOpsのような動き、アナリティクスエンジニアリングの台頭、データメッシュの背後にある原則などが、データをモジュール性と回復力に向けて押し進めている。
ソフトウェアエンジニアリングは以前にも同様の問題に直面してきた：モノリシックシステムをマイクロサービスに置き換えることだ。その世界から得られた実証済みのアプローチの一つ—絞め殺しイチジクパターン—は、アナリティクスにとって貴重な教訓を提供している。
絞め殺しイチジクパターン
自然界では、絞め殺しイチジクは宿主の木の周りに成長し、最終的に突然の崩壊なしに宿主を置き換える。システム設計では、このパターンは同様に機能する：レガシープラットフォームの周りに「ファサード」を配置し、古いシステムを廃止できるようになるまで、徐々にワークロードを新しいコンポーネントにリダイレクトする。
このための主な2つのアプローチが存在する：
• 従来のファサード：ターゲットシステムに合わせた新しいインターフェースを構築し、時間をかけて利用者を移行させる。
• レガシーファサード：既存システムの契約を複製し、利用者を変更から隔離しながら、徐々にワークロードを新システムにルーティングする。
どちらのアプローチも「ビッグバン」カットオーバーを回避することでリスクを軽減する。これは分析システムの書き換えが失敗する主な理由だ。特にレガシーファサードは、利用者に移行中にほとんど何もしないよう求めるため、組織的な負担を軽減する。
データリーダーにとっての意味
テクノロジー幹部にとって、成功する近代化は技術選択やソリューション設計だけでなく、リスク管理と組織的障壁の排除にも関わる。ファサードは初期投資が余分に必要だが、移行中の安定性を提供し、重要なレポート、モデル、ビジネスプロセスが無傷のまま維持されることを保証する。
幹部は近代化を一度限りの技術プロジェクトではなく、戦略的能力として捉えるべきだ。私が考えるリーダーが取るべき重要なステップには以下が含まれる：
• 並行運用を計画する。移行中は新旧が共存することを想定する。
• 利用者の負担を軽減する。下流のチームに要求することが少ないほど、成功の可能性は高まる。
• ファサード戦略を検討する。これにより、舞台裏で変更が行われている間もビジネスの継続性を確保できる。
• ソフトウェアエンジニアリングの原則を採用する。モジュラー設計、自動化、明確な契約は、アプリケーションエンジニアリングと同様にデータにおいても重要だ。
これは単なる理論ではない
私は個人的にこの手法を複数の非常に複雑な移行プロジェクトで使用してきた。例えば、ある組織では3つのレガシーデータウェアハウスを抱えていた。これは時間の経過とともに各システムが他のシステムの置き換えに失敗したためで、コストのかかる拡散と信じられないほどの組織的負担を生み出していた。絞め殺しイチジクパターンに触発されたアプローチを採用することで、利用者を混乱から隔離し、最終的に成功した統合が可能になった。
結局のところ、新しい分析システムを構築することよりも素晴らしいのは、ついに古いシステムの電源を切れることだ。リーダーにとって、そのマイルストーンへの道は技術選択だけでなく、変化の組織的複雑さを認識し軽減する戦略によって舗装されている。
