公表されるあらゆる科学的発見は、ほとんどの人が意識しない土台の上に成り立っている。すなわち「その研究は妥当である」という、出版前になされる判断だ。医薬品の承認も、気候予測も、政策を左右する経済予測も、その判断に依存している。これがなければ、科学文献はノイズと見分けがつかなくなる。その判断がいま、深刻な負荷にさらされている。
このプロセスは「査読（peer review）」と呼ばれる。論文が学術誌に掲載される前に、著者は編集者に投稿し、編集者は独立した専門家に回付する。専門家は手法を評価し、主張を精査し、出版に値するかどうかを勧告する。不完全ではある。だが、科学が持つ品質フィルターとしては最もそれに近い。そして、カール・バーグストロムとケビン・グロスがPLOS Biologyに発表した新たなモデルによれば、その仕組みは静かにほどけ始めている可能性がある。先日、私は2人と腰を据えて話し、このモデルをより深く理解しようとした。
自己破壊的な循環
査読が何十年も前から揺らいできたことは理解しておく必要がある。だが、ノースカロライナ州立大学の統計学者であるグロスは、直近の状況は質的に異なると見ている。過去5年から10年の傾向は「本当に事態を深刻化させ」、編集者の間に広範な不満をもたらしたと彼は語った。
彼らのモデルが想定するメカニズムは、誤作動の仕方がほとんど優雅と言えるほどだ。トップジャーナルへの投稿が急増すると、有資格の査読者の層が薄く引き伸ばされる。編集者は、経験の浅い人を起用するか、信頼できる常連に何度も依頼するかを迫られる。査読の質は下がる。著者は合理的に反応する。以前なら外していたかもしれない権威ある掲載先にも、より積極的に投稿する。投稿量は増える。この循環は自己増殖する。
私はこれを現場で見ている。生態学分野でも特に選別が厳しい学術誌の1つであるEcology Lettersの上級編集者として、適任の査読者を見つけることは本当に難しくなった。良い科学には良い査読者が必要であり、実際には、仕事ぶりを既に知っていて判断を信頼できる人を意味する。そうなると母集団は小さくなる。私は分野内の同僚についての知識を、限界ぎりぎりまで使い切ってきた。
問題を特に頑固にしている構造的特徴が2つある。査読は無償労働に依存しているため、供給を増やすために賃金を引き上げるという分かりやすい手段が使えない。さらに、査読は二重の機能を果たしている。編集部の段階で論文を選別するだけでなく、そもそも著者が最も出来の悪い研究を投稿するのを抑止している。査読の質が損なわれると、この2つの機能が同時に劣化する。
科学者が職業的義務を怠っている、という診断もあり得る。しかし私がそう問うと、グロスはその枠組みに異を唱えた。「査読者を見つける苦労は、科学者側の何らかの道徳的欠陥の結果にすぎない、と素朴に言われることがあると思う」と彼は言った。真の原因は構造的なものだ。どれほど呼びかけても覆せない経済的力学である。
ジャーナルが増えても、科学は良くならない
ジャーナルが増えれば負荷は分散するはずだ。だが、そうはならない。原稿がリジェクトされると、著者は単に次の候補へ再投稿する。すでに枯渇しつつある査読者プールによって、同じ研究が繰り返し再査読される波が生じる。どのジャーナルも同じ共有の査読者に依存しているが、査読者を疲弊させるコストを全面的に負担するジャーナルはない。個々のジャーナルにとって合理的な行動が、全体の問題を悪化させる。
ジャーナルがオンライン化し増殖するにつれて、その「顔」がぼやけてきた。査読依頼はただのメールの1通になっている。断ったときに失われる共同体としての当事者意識も、社会関係資本（social capital）も小さくなった。これは、多くの編集者が認めたがらない以上に重要だと私は疑っている。
モデルが示唆すること
私の見立てでは、最も強力な単一のレバーは「デスクリジェクト（desk rejection）」である。編集者が、査読者に回す前に論文を受理しないと判断することだ。これにより、本当に精査に値する投稿に希少な労働を温存できる。だが、ワシントン大学の生物学者バーグストロムは、意外な方面からの抵抗があると指摘する。編集者自身だ。「よくある反応は、『私は学術編集者だが、彼らは私たちに報酬を払わない。実際に意思決定までしなければならないのは十分に大変だ』というものだ」と彼は言う。彼はこれに困惑している。私も同じだ。「意思決定を行い、共同体における研究の方向性を導く手助けをしないのなら、学術編集者を務める意味が私には明確ではない」
次に、金の問題がある。査読者に報酬を払えば、出版社がいま持っていない勧誘の道具になり得る。だがバーグストロムは、よく知られた罠を警告する。彼が引いたのは、保育園が迎えの遅刻に罰金を科し始めたところ、遅刻が増えたという古典的研究だ。社会的義務が取引に置き換わってしまったのだ。「査読に150ドルを払い始めたら、私はその査読を引き受ける動機がなくなる」と彼は言った。さらに悪いことに、最も求められる査読者ほど機会費用が高い。支払いは、誤った人材を引き寄せるリスクがある。グロスは回避策の可能性を見る。定額の報酬ではなく、一定期間で最も建設的な査読に対してジャーナルが高額の賞金を提供することで、社会的動機を保ちつつ物質的インセンティブを加えられるかもしれない。
最も根深い問題は、トップジャーナルでの掲載にひもづいたキャリア上の報酬である。まさにそれがシステムに洪水を起こしている。この報酬をしぼませるには、科学コミュニティが「何に価値を置くか」を集団で再交渉する必要がある。グロスの言葉を借りれば、多くの介入は「通常は協調しない大集団の協調」を必要とする。
機械との競争
最も緊急性の高い側面は論文自体ではほとんど触れられていないが、私が著者たちと話した終盤を支配していた。大規模言語モデル（LLM）は、すでに両側面で状況を変えつつある。投稿側では、LLMが原稿作成にかかる時間コストを下げ、洪水を加速させた。査読側では、一部の学会が投稿作品の一次スクリーニングにLLMを使い始めている。グロスは、編集者が苛立ちのあまりLLMによる機械査読に手を伸ばす日が間近だと考えている。彼によれば、そのリスクはシステムの健全性にとって実存的だ。「学術誌の編集判断のエンジンとして、人間による査読を守らなければならない」
私はグロスが正しいと思うし、その脅威は多くの科学者が認識している以上に近いとも思う。LLMベースの査読は平均的なものを選び、最も重要な「驚き」や「常識外れ」の研究をまさに排除することになるだろう。バーグストロムはこう言った。「外れ値が欲しいのだ。そして機械学習、とりわけLLMベースのアプローチは、欲しい外れ値を保持できる可能性がとても低いと思う」。卓越を見抜けないシステムは品質フィルターではない。同調圧力を生むエンジンである。
査読が生き残るためには、科学コミュニティがそれを、この論文が明らかにしたとおりのものとして扱う必要がある。無料の資源ではなく、壊れやすい共有地（commons）として。
