アーティファクト効果
会話の約12％で、Claudeはアーティファクト（コード、文書、インタラクティブなツール、アプリなど、AIが生成する成果物）を作成した。これらの具体的なアウトプットは、完成品のように見え、そのように感じられるよう設計されている。
研究によると、アーティファクトを含む会話では、ユーザーはAIが最終的なアウトプットを生成する前の段階で、より高いスキルを発揮し、より的確に指示を出していた。目標の明確化は14.7％増加し、フォーマットの指定は14.5％増加、求めるものの具体例の提示は13.4％増加していた。
しかし問題は、洗練されたアウトプットが提示された後、つまりアーティファクトが作成された後に起きた。ユーザーが欠落しているコンテンツを特定する行動は5.2％低下した。事実確認を行う可能性は3.7％低下し、モデルの推論に疑問を呈する可能性は3.1％低下した。AIがアーティファクトを作成すると、あらゆる「見極め」の行動が低下したのである。
AIに何を作らせるかを伝えることは上達、AIが作ったものの評価は弱くなった
研究者たちはこれを、「説明と委任」対「見極め」の間の緊張関係と表現している。ユーザーはAIに何を作らせるかを伝えることは上達したが、AIが作ったものを評価することには弱くなったのだ。この乖離は、教育関係者やAIを使う子どもを持つ親にとって懸念すべきものだ。これは、AIツールの使い方を覚える一方で、そのアウトプットについて批判的に考える力を身に付けていない場合に見られるパターンを反映している。
教育界が注目すべき理由
これまで、学校におけるAIに関する議論は、主にアクセスの問題に支配されてきた。生徒はAIを持っているか？ 使うべきか？ ルールはどうあるべきか？ Anthropicのデータは、より緊急の問題はAIを上手く使いこなすスキルを生徒が身に付けているかどうかであることを示唆している。
この流暢性指標では、3つの能力領域を特定している。第1に「説明」、つまりAIに必要なものを伝えること。第2に「委任」、つまりAIとの協働を構造化すること。第3に「見極め」、つまり返ってきたものを評価することである。
AIによる成果物が正しいかどうかを問う能力こそが、人を差別化するスキル
最初の2つの能力領域は、効果的なプロンプティング（AIへの指示出し）に分類できる。第3の「見極め」は最大のギャップを示しており、最も重要なスキルである可能性がある。ユーザーが事実や主張を確認したのは会話のわずか8.7％、AIの推論に疑問を呈したのはわずか15.8％であった。これらはクリティカルシンキング（批判的思考力）の基礎的な要素だ。
AIが説得力のある成果物、たとえばエッセイや動作するアプリケーションを数秒で生み出せるようになった時、それが正しいかどうかを問う能力こそが、人を差別化するスキルとなるのだ。
