今回のコラムでは、深い専門知識の基盤となる隠れたベストプラクティスを発見し、そのドメイン知識の秘訣を現代の生成AIや大規模言語モデル（LLM）にコード化する方法について解説する。
この厄介な問題の核心は、ルールベースのエキスパートシステム時代に確立された知識抽出の原則を活用できるということだ。LLMに精通している人の中には、AIの初期時代の「時代遅れ」のアプローチを使うことに抵抗を感じる人もいるかもしれない。いわゆるGOFAI（good old-fashioned AI：古き良き人工知能）に対する否定的な意見があるにせよ、深いドメイン知識を引き出す実証済みの技術を活用することには絶対的な価値がある。それによって、生成AIとLLMを選択したドメインにおけるベストプラクティスと深い専門知識の拠点に変えることができるのだ。
詳しく見ていこう。
このAIブレークスルーの分析は、最新のAIに関する私のフォーブスコラムの一部であり、様々な影響力のあるAIの複雑さを特定し説明するものである（リンクはこちら）。
LLMをエキスパートにする
特定のドメインにおいてLLMをエキスパートに変えたいとしよう。
例えば、深い医学的専門知識を持ち、特に泌尿器科や神経学に精通したLLMを開発したいかもしれない。あるいは、不動産法の分野で十分な資格を持つ弁護士と同等の生成AIを形作ったり、CBT（認知行動療法）に深く精通したメンタルヘルスセラピストを目指したりすることも考えられる。
汎用LLMを特定のドメインに精通させるには何ができるだろうか？
一般的なアプローチは、対象となるドメインを網羅する可能な限り多くの文書を収集することだ。その内容をデジタル化し、生成AIに取り込ませる。よく使われる注入技術は検索拡張生成（RAG）であり、AIの初期データトレーニング時ではなく、実行時に追加データとのパターンマッチングを行う。RAGやその他の類似技術についての詳細は、こちらのリンクで解説している。
これは、どこかに書き留められているコード化されたドメイン知識を入手できる場合には非常に有効だ。しかし問題は、深い専門知識の領域では、必ずしもすべてが細部まで文書化されているわけではないということだ。そのドメインのエキスパートの頭の中には、人間が考案した様々な経験則が存在している。
あるドメインにおけるベストプラクティスの秘訣は、そのドメインに精通した人々の脳内に閉じ込められていることが多いと言えるだろう。そこで、ベストプラクティスを含むこの隠れた知識を表面化させ、具体的で目に見えるものにして、対象ドメインで優れた性能を発揮するはずのLLMに取り込むにはどうすればよいかという疑問が生じる。
知識抽出の再注目
知識ベースシステムのAI時代には、ドメイン知識抽出技術に関する多くの研究と実践的な実装が行われていたことをご存知かもしれない。エキスパートシステムを開発するには、専門家が知っていることを明らかにする必要があった。彼らは長年の試行錯誤を通じて、多くの業界の秘訣を頭の中で考案していたのだ。
段階的に、専門家と密接に協力して、彼らの経験に基づく経験則を明らかにしていく。抽出には、彼らに専門知識について話してもらうことが必要だった。もう一つの方法は、解決すべき問題を提示し、問題に取り組むために使用したルールを書き出してもらうことだった。書籍や記事には見られない深いドメイン知識を表面化させるために、様々な巧妙な手段が考案された。
生成AIが人気のある技術として台頭する直前の時期を覚えている人は、機械学習（ML）の進歩に関する多くの取り組みがあったことを知っているだろう。このMLへの注目の中で、研究者たちは知識抽出がAIの進歩の最前線に位置づけられるべきだと認識し始めた。
実際、ある研究論文では、MLと知識抽出の絡み合いについて有益なマクロ的視点を提供している。Daniel Kerrigan、Jessica Hullman、Enrico Bertiniによる「応用機械学習におけるドメイン知識抽出の調査」（Journal of Multimodal Technologies and Interaction, 2021）では、以下のような重要な指摘がなされている（抜粋）：
- 「ドメイン専門家からの知識抽出は、タスクの正確な特定からモデル結果の評価まで、機械学習プロセス全体を通じて重要な役割を果たす可能性がある」
- 「モデリングにドメイン知識—特定のドメインに関連して人が持つ宣言的、手続き的、条件付き情報—を注入することは一般的な目標である」
- 「我々の調査では、28の論文にわたって見つかった73の抽出経路をコード化し、問題特定、特徴エンジニアリング、モデル開発、モデル評価のために抽出が行われた経路を比較した際に現れたトレンドを分析した」
ここでは、知識抽出を生成AIやLLMの希望するドメインへの適応と組み合わせて簡単に使用する方法を紹介する。
株式トレーダーのケーススタディ
成功している株式トレーダーと相談して、株式選びに精通したLLMを調整することが有用だと判断したとしよう。
最初のステップは、LLMを選択し、そのAIが株式取引に関してすでにどの程度データトレーニングされているかを確認することだ。AIがすでにそのドメインについて十分に装備されていて、そのまま使用できる場合は、車輪の再発明をする必要はない。このケーススタディでは、OpenAIの非常に人気のあるChatGPTを選択することにした。他のLLMを選ぶこともできたが、読者全体にとって適切な選択だと考えた。
ChatGPTに様々なプロンプトと会話を行った結果、株式選びに関する従来の資料の多くがLLMの初期開発時に明らかにデータスキャンされていたことがわかった。これは確認できて良かった。なぜなら、そうでなければ、取り組んでいるドメインについてLLMを完全に理解させる必要があるからだ。
ゼロからこれを行うのは時間がかかり、面倒なことだ。しかし、選択したドメインに精通していないLLMを使用することにはメリットもある。
ベストプラクティスの隠れた知識を引き出し、それをAIに取り込み始めると、衝突が生じる可能性が大きいからだ。LLMはすでにそのドメインについて何らかの事前に決められたパターンを持っており、それらの側面と対立する可能性がある。精通度の低いLLMを選ぶか、精通度の高いLLMを選ぶかは、選択したドメインと使用したいAIに基づいて決定する必要がある。
株式トレーダーとの知識抽出
ChatGPTが株式選びについて持っていると思われる知識を深く掘り下げた後、株式トレーダーの秘訣がAIにはまだ含まれていないことに気づいた。これは驚くことではない。この特定の株式トレーダーは、株式選びに関する独自のルールセットを作成している。他の誰も必ずしもこれらのルールを知っているわけではなく、従っているわけでもない。
彼のルールがユニークで前例のないものだと言っているわけではない。私が指摘しているのは、AIがこれから示すルールを持っていなかったということであり、LLMがそれらをすでに持っていないことは驚くべきことではない。この議論のスペースの制限のため、いくつかのルールだけを紹介する。
私は彼と一緒に多くの株式選択を手作業で検討した。我々は共同で彼の過去のパフォーマンスを探った。私は彼がなぜある株を選んだのか、そしてなぜ他の株を選ばなかったのかについて直接質問した。これは知識抽出の「声に出す」または「考えを口にする」プロトコルだ。これには長所と短所がある。
例えば、専門家に自分がやっていることを言葉にしてもらうと、彼らは実際にやっていることを言うことに警戒するかもしれない。もし彼らが推測で仕事をしているなら、他の人にそれを知られると格好悪いだろう。恥をかいたり非難されたりしたくないのだ。その意味で、専門家は偽の合理化を作り出し、それが彼らの仕事のやり方だと言うかもしれない。そうすると、あなたは誤って真実の状態ではないものに頼ることになる。
これが、不適切に行われた知識抽出がドメイン専門家と同等に機能できないエキスパートシステムにつながった理由だ。抽出された専門知識やルールは合理化であり、専門家が本当に行っていることではなかった。注意して、そのような罠に陥らないようにしよう。
2つの例示ルール
以下は、私が表面化させ、株式トレーダーが実際に使用しているルールであることを再確認できた2つの例示ルールだ。
- 収益モメンタムルール -- 企業が少なくとも3四半期連続で収益成長を示し、その成長率が加速している場合、株価収益率（P/E）が30を超えない限り、買い候補と見なす。
- セクターローテーションルール -- 特定のセクター（例：テクノロジー、エネルギー）に資本流入がシフトし、そのセクターが2ヶ月連続で市場をアウトパフォームしている場合、マクロ経済指標（例：金利、インフレ）が今後の収縮を示さない限り、そのセクター内の株式を優先する。
私はこれら2つのルールに似た多くのルールを特定することができた。
次のステップは、これらのルールをLLMに取り込むことだった。
これが私が使用したプロンプトだ：
- 私のプロンプト： 「あなたは株式選びに関する独自の特別なルールを持つ株式トレーダーになります。これからその特別なルールを提供します。ルールを入力したら、あなたがそれらのルールを持ち、それらを使用する準備ができていることを示す応答を提供してください。」
考案したルールをプロンプトとして入力するか、文書に入れてRAGを使用するか、あるいはJSONやYAMLなどの構造化された機械解釈可能な形式にエンコードすることもできる。
収益モメンタムルールはJSONでは次のようになる：
- { "name": "Earnings Momentum Rule", "if": [ "Company has >= 3 consecutive quarters of earnings growth", "Growth rate is accelerating" ], "then": "Consider as buy candidate", "unless": "Price-to-earnings ratio > 30"}
AIによるさらなる抽出
知識抽出を行う一つの方法は、人間対人間ベースで行うことだ。それが私が株式トレーダーと相談して行ったことだ。知識抽出を行うもう一つの方法は、AIに重労働をさせることだ。人間対AIベースで知識抽出を行ってみよう。
これが私のプロンプトだ：
- 私のプロンプト： 「株式選びに関する様々なルールを持っているので、それらのルールを提供した株式トレーダーとやり取りしてほしい。あなたのやり取りは、ルールが株式トレーダーによって検証され、あなたが適切にそれらを導入していることを確認するためのものです。さらに、まだ捉えられていない追加のルールがあるかどうかを判断しようとしています。株式トレーダーと会話しながらこれを行い、特定した追加のルールがあれば示してください。」
株式トレーダーとの広範な会話の後、AIは追加のルールを特定した。これが私の人間対人間の取り組みでは表面化しなかったが、AIが発見したルールだ：
- 新ルール：市場センチメントルール -- 株式に対するソーシャルおよびニュースのセンチメントが圧倒的にポジティブで、価格が1週間で10%以上上昇している場合、少なくとも5取引日は参入を避ける（ハイプサイクルの可能性）。
株式トレーダーと確認し、それが合理的で含めるのに適切だと同意した後、このルールがセットに追加された。
両方の経路を選ぶのがベスト
ここで大局的な視点を持ってみよう。
最初にAIに株式トレーダーと相談させ、ルールの初期ラウンドを特定することから知識抽出プロセス全体を始めることもできただろう。一般的に、私は人間対人間ベースでプロセスを開始することを好む。これは通常、ドメイン専門家を知識抽出に関与する適切な気分とモードにさせる。
そして、ドメイン専門家がAIとのフォローアップ作業を行うときに、ケーキの上のアイシングのような効果が生まれる。専門家は通常、自分のルールがコード化され、自分に反映されているのを見て喜ぶ。さらに、彼らは一般的にルールの検証を楽しみ、AIが彼らに追加のルールを考えるよう刺激することが多い。
したがって、はい、私は人間ベースで最初のブートストラップを行うことを好むが、必要であれば、最初に人間対AIで行い、その後人間対人間でフォローアップするアプローチも可能だ。重要なのは、両方の経路を確実に行うことだ。一つの経路だけを行うことが魅力的かもしれないことは理解している。このプロセスを賢明かつ完全に行う可能性は、両方の経路を進めれば高まる。
データアプローチの採用
ドメインに専門家によるデータの使用が含まれる場合、もう一つの有用なステップは、データを収集し、LLMにデータのパターン検出を試みさせることだ。この考え方は、AIに関連データを検査させ、パターンを見つけ出し、それらのパターンに従ってルールを考案させることだ。
私は取引ID、取引日、株式ティッカー、取引アクション、価格、EPS成長率、P/E、セクタートレンド、センチメント、インサイダー活動、市場指数などの要素を含むデータを収集した。
AIにデータで何をするよう指示したかは以下の通りだ：
- 私のプロンプト： 「以下のデータを検査し、株式とその取引に関連するパターンを探してください。まず、株式が取引される理由の背後にある潜在的なルールを特定してください。次に、そのルールを知識抽出の結果としてすでに持っているルールと比較してください。第三に、すでに明確化されたルールが取引を説明しているように見えるかどうかを示してください。第四に、取引をさらに説明する可能性のある追加のルールを特定してください。」
AIが考案した興味深い新しいルールは次のようなものだった：
- 新ルール：損切り規律ルール -- 株式が購入価格から8%以上下落した場合、将来の見通しに関係なく自動的に売却する。
私はこのルールについて株式トレーダーと議論した。一見すると少し驚きであり、株式トレーダーが個人的に使用していると言ったルールではなかった。ルールについて考え、上質なワインを一杯飲んだ後、株式トレーダーはそれが価値あるルールであり、セットに追加できると示した。
合成エキスパートの出現
人間の専門家の知識抽出を選択したドメインで行い、人間が持つ深い専門知識についてLLMに情報を提供する努力をする方法がわかったと思う。
後続の議論では、導出されたルールをテストし、AIが対象ドメインの推定専門家として準備ができているかどうかを判断する方法について説明する。
このトピックに関する少しひねりを紹介しよう。LLMを専門家として使用することについては、人間対AIによって具現化された専門知識の概念を区別するために、しばしば合成エキスパートと呼ばれる、多くの議論がある。一つの見解は、こちらのリンクで議論している人工汎用知能（AGI）に到達するまで、人間の専門家と同等のAIを持つことはできないというものだ。
狭いvs汎用のジレンマ
これは、狭い知能に関する古典的な問題を提起する。つまり、AIに満足のいく性能を発揮する狭い形の「知能」を持たせることができるのか、それとも汎用知能も必要なのかという問題だ。
現代のLLMには汎用知能の兆しがあるため、深いドメイン専門知識を注入するのに適した場所だという主張がよくなされる。しかし、現在のAIが十分な汎用知能を持っているという点に同意せず、AGIに到達した時点でのみこの前提条件が適切に満たされると主張するかもしれない。これは議論の余地のあるひねりだ。
その間、AI開発者は知識抽出を進め、選択したドメイン内のベストプラクティスと金の塊をLLMに注入することを目指している。議論が熱く続く中、作業は続いている。
偉大なアメリカの作家であり哲学者のElbert Hubbardはかつてこう述べた：「明日の良い仕事のための最良の準備は、今日良い仕事をすることだ」。今日AIで良い仕事をし、それが来るべき明日のさらに良い仕事につながることを願おう。
