一部データは自己申告で、改ざんが可能
カリフォルニア大学バークレー校のような名門校ですら、大学ランキングに影響を与える誤ったデータを報告していた。同校は結果として先月、USニュースのランキングから除外された。この件で最も大きな問題は、同校がUSニュースに申告するまで誤ったデータ報告が発覚しなかった。他の大学、特に数値が少し上がるだけで順位が大きく変動するようなランキング下位の大学では特に、データを誤って報告し、それがまだ発覚していないケースがあると考えられる。
ただ、卒業生の給与や1年目の離職率など、ランキングで使われる数値の多くは学校の自己申告に基づくものではないため、改ざんすることはずっと難しい。フォーブスのランキング作成基準の中で学校の自己申告によるものはなく、情報は「ペイスケール（PayScale）」や「ニッチ（Niche）」といったウェブサイトの調査結果や連邦政府のデータなどに基づいている。
アルゴリズムの調整により、年ごとの変化が実際より大きい
私がUSニュースのランキングよりもフォーブスのランキングを好む理由の一つに、フォーブスがリベラルアーツ大学と研究大学を区別していないことがある。高校生が進学先を考えるとき、リベラルアーツ大学と普通の大学のどちらを希望するかは既に決まっているかもしれないが、それでも両方を比較したいと思うはずだ。しかし、こうしたメリットは年ごとの大きな変動により一部失われてしまう。私はこの原因がアルゴリズムの変更にあると考えている。
この良い例はウィリアムズ大学だ。同大学は2017年までの7年間のうち6年で1位か2位を維持していた。しかし、フォーブスがアルゴリズムを変更した2017年、同校はいきなり13位に落ち、2018年は11位、2019年は19位となっている。ポモナ大学の順位も同じような変動があり、2015年の首位から現在の13位まで順位を落とした。しかしその間、両大学で受けられる教育の価値はそこまで落ちていないはずだ。こうした変動により、名門リベラルアーツ大学が全ての大学の中でどこに位置するかを一貫して理解できなくなる。
