ジェイソン・バーナード氏は、受賞歴のある起業家、イノベーターであり、デジタルブランドエンジニアリングの世界的権威である。Kalicubeの創設者でもある。
あなたはAIアシスタントを構築しただろうか。
もしそうなら、次のような状況にあるかもしれない。指示を書き、名前を付け、設定し、使用している。しかし、あなたのAIアシスタントは、まあ……普通だと感じている。時には便利だと思うこともあるが、時にはイライラさせられ、期待外れだと感じることもある。
私は最近、25人の起業家を対象にワークショップを開催し、AIアシスタント実装フレームワークについて説明した。その際、参加者が直面している課題の多くは、AIアシスタントの設定よりも、むしろそれを使用する習慣にあることを観察した。
ワークショップでは100のヒントを提供したが、ビジネスリーダーが検討すべき重要なものが10ある。
1. 最も重要な指示を最初に置く
最も基本的なステップは、最も重要な指示を最初に置くことだと私は考えている。譲れないルールは最初に置くべきであり、第3段落に埋もれさせてはならない。
次のことを考えてみてほしい。ある研究によると、大規模言語モデル（LLM）において、「最初に提示された項目が記憶されたり選択されたりする可能性が高い初頭効果は、多肢選択式質問回答（MCQA）において重要な役割を果たす」という。
2. 最後に置く指示に注意を払う
また、最後に置く指示にも注意を払うべきである。私は、破ることのできないルールをプロンプトの冒頭だけでなく、末尾にも置くことを推奨する。これは新近性バイアスに関連している。
ある研究が説明しているように、「先行研究は、LLMが初頭効果や新近性バイアスなどの系列位置効果を示す可能性があることを示している」。研究者らは、「さまざまなタスクとモデルにわたる広範なテストにより、これらの効果の広範な発生が確認されたが、その強度は異なる」と指摘している。
3. AIアシスタントに自分が考えていることと、前回の回答についてどう思ったかを伝える
AIアシスタントは私たちの心を読むことはできない。AIアシスタントに何かを依頼する前に、すでに頭の中にあること、例えば検討している角度や、取り組んでいることについての懸念を共有することをお勧めする。
そして、受け取った回答ごとに、次のバージョンを依頼する前に、何がうまくいき、何がうまくいかなかったかを伝えることを推奨する。例えば、「これは近いが、このクライアントにはトーンがフォーマルすぎる」と書くことができる。そうすれば、あなたのフィードバックが次の回答を形作ることができる。
4. AIアシスタントに同意するかどうかを決して尋ねない
私の経験では、AIアシスタントに「同意しますか」と尋ねると、偏った回答が得られることが多い。LLMに関するある研究が発見したように、「ユーザーの判断が提示されると、彼らはユーザーと一致するように信念を素早く変える」。
代わりに、私のアドバイスは、「これを評価してください。何か異議、訂正、改善点はありますか。これが議論につながれば感銘を受けます」といった別のプロンプトを使用することである。この最後の一文は、不同意が印象的な回答になるため、AIの同意しやすい本能をあなたに有利に働かせることができると私は気づいた。
5. AIアシスタントはあなたが持っている文脈を持っていないことを忘れない
3番目のヒントに戻ろう。「これは近いが、このクライアントにはトーンがフォーマルすぎる」と書いた場合、AIアシスタントはあなたが持っている文脈を欠いていることを忘れないでほしい。クライアントとの過去のやり取りや、クライアントがあなたの文脈を共有していないことを知らないのである。
会話から離れる出力については、明示的にすることを推奨する。「これを受け取る人は、私たちの議論を何も見ていません。彼らが完全に予備知識なしに来ているかのように書いてください」。
6. 概念ごとに1つの用語を選び、変えない
AIアシスタントとやり取りする際は、言葉遣いを正確にすることを推奨する。
例えば、ナレッジベースで「クライアント」という用語を使用しているのに、AIプロンプトで「カスタマー」という言葉を使用すると、AIアシスタントは2つの用語の間の点を結びつけられない可能性がある。
7. 会話が逸れ始めたら新しい会話を始める
AIアシスタントとの会話では、あなたが言うことすべてが、その会話のコンテキストバンクに残る。これには、あなたが拒否したアイデアや、考えを変えたことも含まれる。
研究により、「マルチホップ推論タスクは、コンテキストが増えるにつれて大幅なパフォーマンス低下を示すが、単一スパン抽出は比較的安定している」ことが明らかになった。言い換えれば、研究者らは、AIツールがさまざまな情報を織り交ぜる必要があるタスクは、コンテキストが長くなるほど悪化することを発見した。
会話を終える前に、AIに引き継ぎを依頼することを推奨する。「私たちが合意したすべてを要約し、この作業を続ける新しい会話の冒頭プロンプトを書いてください」といった具合である。そして、その回答を新しいスレッドに貼り付けることができる。
8. ドリフトとハルシネーションの違いを理解する
ドリフトとハルシネーションは、どちらも不正確な情報をもたらす可能性があるため、似ているように見えるかもしれないが、原因と修正方法は異なる。IBMによると、「モデルドリフトとは、データの変化、または入力変数と出力変数の関係の変化による機械学習モデルのパフォーマンス低下を指す」。しかし、学術誌Natureの研究論文は、「本質的に、『AIハルシネーション』とは、人工知能が歪んだ情報を生成する現象を指す」と指摘している。
私の経験では、各問題の解決策は異なる。例えば、ドリフトに対処するには、これまでに合意されたことのクリーンな要約で新しい会話を始めることができる。ハルシネーションに対処するには、AIの回答を信頼できる情報源に基づかせるか、その出力を明示的にファクトチェックするというステップを踏むことができる。
9. 訂正ファイルを作成する
AIアシスタントが何かを間違えた場合、別の「訂正」ファイルに2列の表で訂正することを推奨する。
そうすれば、次回新しい会話を始めたり、別のAIインスタンスを使用したりする際に、そのファイルの内容をコピー＆ペーストして軌道に乗せることができる。一方の列には「よくある間違った回答」と書き、もう一方には「正しい回答」と書く。
10. AIアシスタントにWordドキュメントやPowerPointデッキを渡すことを避ける
.docxファイルはXMLのZIPアーカイブである。コンテンツの最初の単語を読む前に、AIはコンテナを解凍し、フォーマットを削除し、テキストを抽出する。すべてのステップが、パッケージングではなくコンテンツに直接向かうはずの処理注意を消費する。
代わりにテキストをコピー＆ペーストすることができる。または、マークダウンを使用することもできる。これは、構造を宣言する最小限の句読点信号を持つプレーンテキストである。
