Zoom Communications Incシニアビッグデータエンジニアリングマネージャー、シノイ・ベンガラムコード・バスカラン氏。
AI（人工知能）は多くの組織が追いつけないほど急速に進化しており、私は多くのチームが同じ間違いを繰り返すのを目にしてきた。それは、検索拡張生成（RAG）の成功を実際に決定する2つの要因—データパイプラインとプロンプトエンジニアリング—を見過ごしながら、どの大規模言語モデル（LLM）を導入するかに焦点を当てることだ。私の経験では、GPT-4、LLaMA、あるいは他のモデルを使用するかどうかを議論するよりも、これらの領域に時間を投資する方が、常により具体的な結果をもたらす。
RAGの約束は単純明快だ：知識ソースから関連情報を取得し、LLMを使用して回答を生成する。しかし現実は複雑だ。たとえトップクラスのモデルでも、それに供給されるデータに一貫性がなかったり、プロンプトが適切に作成されていなかったりすると、弱い出力を生み出すことになる。
昨年、中規模のSaaS企業と仕事をした際、彼らは顧客サポートの回答を自動化したいと考えていた。当初、彼らは最小限のパイプライン設定でGPT-4を導入した。モデルは一貫性のない回答を生成した—時には古い情報、時には混乱を招く内容だった。モデルが失敗したのではなく、不十分なデータフローと曖昧なプロンプトの組み合わせが問題だった。データ取り込みプロセスを再設計し、コンテキスト、トーン、構造を提供するプロンプトを繰り返し改良すると、同じモデルが数週間以内に信頼性の高い、実用的な回答を提供し始めた。
高性能なRAGシステムは、堅固なデータパイプラインから始まる。これには、ウィキ、Jiraチケット、Slackスレッド、製品ドキュメントなど、複数のソースからコンテンツを取り込み、それを正規化することが含まれる。
あるクライアントは、スプレッドシートとPDFに断片化された知識を持っていた。それらの文書をチャンク化し、検索可能なベクトルデータベースに埋め込まなければ、検索は遅く不正確だった。私たちは文書をより小さな、意味的にまとまりのあるセグメントに分割し、頻繁にアクセスされるソースを優先し、それらをセマンティック検索のために埋め込んだ。Slackスレッドを単一のチャンクとして扱うか、複数の部分として扱うかといった小さな決断が、検索品質に驚くほど大きな影響を与えた。
プロンプトエンジニアリングはパイプラインの品質と切り離せない。あるプロジェクトでは、複数のチャネルからの顧客フィードバックを要約していた。最初のプロンプトは長く、とりとめのない要約を生成し、人間による大幅な見直しが必要だった。感情に焦点を当て、繰り返される苦情を強調し、要約を100語以内に抑えるようモデルを導くという反復的な改良により、出力はすぐに使用できるものになった。モデル自体は静的なままだったが、プロンプトの進化が直接使いやすさを形作った。私の経験では、最良のプロンプトは既製のテンプレートからではなく、試行錯誤とドメイン知識から生まれることが多い。
私が繰り返し目にしてきた別の落とし穴は、RAGの導入を「設定したら忘れる」ものとして扱うことだ。知識は常に変化している：新しい製品ドキュメント、更新された内部プロセス、進化する顧客の問い合わせなど。パイプラインは本番ソフトウェアのように扱われなければならない—自動取り込み、継続的な再インデックス作成、観測可能性が重要だ。
あるクライアントのパイプラインは、新しいポリシーが自動的に追加されず、プロンプトがコンテキストの変更に合わせて調整されなかったため、停滞した。モニタリングダッシュボードとバージョン管理を導入することで、最初の四半期だけで検索エラーを約30%削減することができた。
リーダーシップの観点から見ると、教訓は単純だ：パイプラインとプロンプトがそれをサポートできることを最初に確認せずに、最新のモデルを追いかけるべきではない。1つのソースから始め、実際のユーザーで出力をテストし、プロンプトを繰り返し改良する。徐々に拡大していく。ツールの選択も重要だ—取り込み、埋め込み、検索、オーケストレーションの各段階で相互運用可能なソリューションを使用することで、ベンダーロックインを防ぎ、ニーズの進化に応じて柔軟性を確保できる。
微妙だが重要な点は、パイプラインとプロンプトがドメイン専門知識を活かす場所だということだ。自分たちのデータ、その特性、そのコンテキストを理解しているチームは、エッジケースを予測するプロンプトを作成できる。例えば、私たちが協力した金融サービスのクライアントは、コンプライアンスに関する質問に自動的に回答することに苦労していた。規制ルールをプロンプトに埋め込み、承認されたドキュメントからの検索を優先することで、正確で監査可能な回答を生成することができた—これはモデル単独では達成できない結果だ。
最終的に、LLMは単なるエンジンにすぎない。差別化要因は、クリーンで検索可能なデータを提供するパイプラインと、モデルがそれを効果的に使用するよう導くプロンプトだ。これらのコンポーネントを生きた製品として扱い—継続的に改良し、ビジネス目標に合わせる—組織は測定可能な成果を見ることができる：より速い応答時間、より高い精度、そして組織知識の真の拡張として機能するAIだ。
RAGは最も派手な、あるいは最大のモデルに関するものではない。それは、パイプラインとプロンプトが連携して、知識を確実に活用するシステムを作ることだ。このアプローチが採用されると、AIは推測をやめ、真の価値を提供し始める。パイロットプロジェクトを超えて進む企業にとって、これらの基本に投資することが、AIを目新しいものから戦略的優位性へと変えるものだ。
