アル・キングズリー氏（MBE）は、NetSupportのCEO、英国の複数学校法人の理事長を務め、テクノロジーライター、講演者、複数の教育書の著者でもある。
お気に入りのAIツールを使っていて思い通りの結果が得られないと感じたことがあるなら、その仕組みをより深く理解することで解決できるかもしれない。
ツールの表面的な約束を超えて、テキストをどのように組み立てているかを正確に知ることで、より良いプロンプトを与えたり、出力の失敗をより効果的に診断・修正したり、その限界を認識して覚えておくことができるだろう。
LLMの基本原理
基本的に、LLM（大規模言語モデル）は単語パターンを完成させる高度なエンジンだ。膨大なテキストデータを吸収し、単語間の確率的な関係を学習している。質問すると、入力を符号化し、次に来る可能性の高い単語や「トークン」を予測し、コード内の停止条件に達するまでこのプロセスを続ける。
LLMは私たちのように「考える」わけではない。代わりに、私たちが求めたものの確率的な続きを生成する。これがLLMの流暢さと、テキストを素早く生成できる理由を説明している。また、その欠点も説明している。奇妙な応答が返ってくるのは、学習した統計的パターンがその種の完成に導いたからだ。
トークンとは何か
トークンは通常、約3〜4文字の短いテキストの塊であり、一部の単語の全長にも満たない。LLMは一度に固定数のトークンしか処理できず、これは「コンテキストウィンドウ」と呼ばれる。このウィンドウの外に出るものは事実上「忘れられて」しまう。
この制限は、長い会話や文書でLLMを使い始めると明らかになる。単に以前のコンテンツを見失い、その「記憶喪失」にイライラすることがあるだろう。より大きなコンテキストウィンドウが理想的な解決策に思えるが、必ずしもそうとは限らない。コストが増加し、モデルが何千ものトークンの中から重要な部分を判断するのに苦労して、パフォーマンスが低下することさえある。
学習データの限界
LLMは学習データ（ウェブページ、書籍、学術論文、コードリポジトリなど）から学ぶ。これらのソースに含まれるパターンを採用するが、テキストを「記憶」するわけではない。つまり、その知識は最後の学習日で止まり、トピックによって知識の偏りがある。これが最も忘れられがちな部分であり、フラストレーションにつながる。
これらのギャップを回避するには、検索拡張生成（RAG）を利用して、最新または特定分野の情報を注入できる。プロンプトでLLMに関連コンテンツを指示すれば、出力は大幅に改善される。チャットボットツールはパターン認識に優れているが、学習データ以外の情報源を参照することはできない。
はったりをかける
人間が答えを知らないとき、どうすることがあるだろうか？はったりをかける。LLMも同じだ。弱いプロンプトを与えられると、もっともらしいが誤った内容で埋める。これはハルシネーション（幻覚）と呼ばれる。
より具体的になることでこれから身を守ることができ、物事を分解して必要なことを明確にすることは確実に役立つ。知らないことや確信が持てないことがあれば教えてくれるよう依頼することもでき、これにより結果の中の虚偽をある程度防ぐことができる。
コンテンツにハルシネーションが疑われる場合は、事実を綿密に確認し、それに応じて編集する必要がある。提供される内容が根本的に間違っているなら、LLMは時間の節約にはならない。
バイアスへの対処法
人間は本質的にバイアスを持っており、それはインターネット全体とLLMが学習するすべての情報源に反映されている。この学習データは、オンライン上で最も一般的な層や視点を反映しており、一般的な見解が支配的になる理由を説明している。例えば、出力における西洋的文脈の過剰表現にこれが表れている。
プロンプトを変えて出力を比較することで、このバイアスをある程度管理でき、より良い言い回しでよりバランスの取れた結果を得られるかを確認できる。
プライバシーとデータ処理に関する注意
一般的なルールとして、LLMを他の外部APIと同様に扱い、契約で明示的に許可されていない限り、個人データを送信しないことだ。機密性の高い情報については、利用可能なプライバシー機能を必ず使用すること。
LLMを「同僚」のように扱うのは簡単だ。結局、それは同僚のように話しかけてくる。しかし、可能な限り組織の環境内でデータ処理を維持し、その使用に関するスタッフポリシーを策定する必要がある。
より良い結果を得るために
これらの基本原理を理解することで、LLMとの作業方法が変わるかもしれない。トーン、フォーマット、成功基準についてより明確になればなるほど、出力が求めているものを反映する可能性が高くなる。
しかし、それでも作業は終わらない。詳細に読み、編集し、提供された事実や統計を検証する必要がある。LLMは「推測」して、空白を残すよりも確率的な出力を提供したがることを忘れないでほしい。
最も重要なのは、実験を通じてアプローチを反復し、改良することだ。メンタルモデルが明確であればあるほど、問題のデバッグ、コストの最適化、これらの素晴らしいツールからの本当の価値の抽出がうまくいくだろう。
