高い分析精度は、AI向け手引きの継続更新で支えられる
分析コストが今後どこにかかるのかを示す手掛かりは、Claude Dashboardsの公開約4カ月前に示されていた。アンソロピックのデータチームは、2026年6月の技術記事で、社内の業務分析に使うクエリの95％をClaudeが自動化し、全体で約95％の精度を達成したと報告した。これは社内データ分析でClaudeを活用した実績であり、Claude Dashboards自体の精度を測定した結果ではない。高い精度を支えたのは「スキル」と呼ばれる文章形式の手引きだ。どの情報源を先に調べるか、曖昧なデータをどう解釈するか、どの段階で回答を完了とするかをClaudeに教える。社内テストでは、スキルがない場合の正答率は21％を超えなかったが、追加すると95％を上回った。
問題は、スキルも更新し続けなければならないことだ。アンソロピックでは、データをどのテーブルや項目に整理するかを定める「データモデル」が毎日変わる。手引きを放置すれば数週間で実態と食い違い、社内テストの正答率は1カ月で約95％から約65％まで下がった。そのため、アンソロピックは手引きの更新を、技術者が担う保守業務として扱い始めた。現在は各手引きを対応するデータモデルと同じ場所で管理し、モデルを変える際に手引きも更新できるようにしている。データモデルの変更の約9割では、実際に手引きも更新されている。
AIに業務指標の定義を任せきれない理由
アンソロピックのチームは、AIにデータのテーブルや過去のクエリを読ませ、業務指標の定義を自動で作成する実験も行った。AIが書いた定義の草案は一見もっともらしかったが、人間が手作業で作った少数の定義より社内テストの成績が悪かった。解消すべき曖昧さを、草案がそのまま引き継いでいたためだ。現在は文書全体の下書きをClaudeに任せながらも、指標ごとの定義は人間が責任を持って管理するよう勧めている。
AIを使って自分でデータを分析する際、難しいのはクエリを書くことより、曖昧なデータの意味を確定することだ。質問に合った正しいデータを選べれば、クエリの作成は比較的容易になる。Claude Dashboardsはクエリやグラフを自動生成するが、データの意味を判断するには人間の関与が欠かせない。企業の数値が何を意味するのかを整理するツールを長年開発してきた、データ分析・管理ソフトの提供企業にも役割が残る。
