どう点数をつけるのか？
スカウトの仕事を始めたばかりの頃、スライダーの評価に、あるいは足の速さの評価に何点をつければいいかと色々と思い悩む僕に、ベテランのおじいちゃんスカウトが言ってくれたものでした。
「シュン、単純に考えなさい、評価というのは比較だ。比較を繰り返していけばいいんだよ」と。
イチロー選手と松井選手だったら、どっちが足が速いか？、どっちがホームランを打てるか？ 野球を知っている人であれば、誰でも答えられますよね。
ただ、こうした二人や三個の比較だけでは限界があります。スカウトAはイチロー選手と松井選手を比較していて、スカウトBは大谷選手と柳田選手を比較している。この場合、松井選手と柳田選手では、どの項目においてどちらが上か下か、が分からない。
こういう時に、皆が同じように比べられる、何かしらの一つのものがあればいいわけです。つまり、基準、スタンダード。
別にこの考え方は革命的でもなんでもありません。秦の始皇帝が大昔に度量衡を統一したように、評価項目それぞれに対して“基”として“準”ずるものを設ければいいのです。評価者の皆に、同じ物差しを配ること。5点満点の評価項目にどういう基準で1や5をつけるのか。ここまでデザインしないと意味がありません。あと一息です。
評価の物差しの作り方
では、どのようにその物差しを作るか。プロ野球選手の守備に“普通”があればいいですよね、レストランのサービスが“平均”とか。普通や平均ができれば、それと比較する形で、とても良い、わずかに良い、なども作りやすくなります。
この“普通・平均”が先ず、どの母集団において、であるかを考える必要があります。
メジャーリーグ球団の選手評価システムを作っているのであれば、メジャーという世界トップレベルの野球リーグの“普通”を基準とするのが自然でしょう。「イヤ、小学生も含め、世界中の野球競技者を含めよう」などと言い出すと、“肩の強さ”の一体どこが平均にあたるのか、極めて分かりづらくなってしまいますし、それが何とかできたとしても、差がつかなくなってしまいます。メジャー全員の肩の強さが、10点満点の9.8点から10点になることになるわけですから。
レストランのサービスの良し悪しも、ミシュランガイドの評価デザインであれば世界中を母集団とするべきだと思いますが、日本だけを対象としたレストラン評価をデザインしている場合、そしてその評価者も日本に住んでいる人が大半である場合、やはり“日本の飲食店全体”を母集団とすべきでしょう。日本のレストランのサービスが全世界と比べてどうなのか、というイメージは、世界中を食べ歩いた人にしか分からないわけですから。
このように、評価デザイナーと評価者たちの身の丈にあった母集団を対象とすれば、その中で“普通（平均的）”、“優れている（平均よりも上）”という物差しができやすくなります。
