だが、ある組織に所属する従業員が調査対象である場合、5段階評価は深刻な欠点を露呈する。企業内で用いた場合、5段階評価による調査結果には偏りが生じ、広く一般の人を調査対象とした場合に比べて、回答のばらつきが少なくなる傾向があるのだ(例えば、「1点」よりも「5点」をつける人がかなり多くなる、というように)。
例えば、ABC社の従業員を対象に、「ABC社は働きやすい良い会社だ」という設問を評価させた場合、低スコアの回答(1点や2点など)はあまり多くないはずだ。なぜなら、本当にABC社がひどい会社だと思っているなら、その従業員はおそらく、すでにその会社を辞めているからだ。ABC社に雇われ続けていること自体が、実質的には、「働き続けているのだから、この会社はそれほどひどくはない」と主張しているのと同じだ。確かに、自分が勤めている会社を心底嫌っている従業員も多少は存在する。だが、調査データが正規分布になるほどの数になるかと言えば、そこまで多くはないはずだ。
つまり、従業員を調査する場合、彼らは毎日仕事をしている時点で、勤め先の企業はそれほど悪くないと主張していることになる。ゆえに、調査の結果導き出されるスコアも、「非常にそう思う」側に偏ったものとなり、回答にはそれほどのばらつきはない。筆者が見る限り、5段階評価による従業員向け調査の結果は、実際には5段階になっていない。むしろ3段階評価と言った方が正確だろう。
調査を行う人は、自らの手でこの点を確かめるよう強くお勧めしたい。自分が作成したすべての設問について、それぞれにヒストグラムを作成し、集めたデータが正規分布に近いかどうかを検証してほしい。もし統計学の知識があるなら、これに加えて、調査結果の歪度(分布が正規分布からどれだけ歪んでいるかを表す統計量)と尖度(頻度分布の鋭さを表す指標)を計算すると良いだろう。
とはいえ、従業員向けの調査で、3段階評価を積極的に採用しようとする企業幹部はまずいないはずだ。この場合、回答は「すべて最悪」「すべて最高」「まあまあ」の3つに限られてしまう。
だが、実際の仕事の世界では、ここまではっきり割り切れるものなど存在しない。ある人が会社を辞める場合、理由が「すべてが最悪だから」ということは、通常はまずないだろう。辞める理由はもっととらえがたいもので、こうした理由は5段階評価では決して突き止められない。