査読で出来ること、出来ないこと

査読（ピアレビュー）は、学術出版の品質管理機能と言う、大切な役割を担っています。エルゼビア社の調査によると、82％の研究者がサイエンティフィック・コミュニケーションの質を高い状態で維持するためには査読が不可欠であると言っています。査読は、科学に妥当性を与えるものであり、偽情報が乱立する時代においては、非常に重要なものだと言えます。

同時に、査読は常に完璧であるとは言えず、残念ながら限界があるのも事実です。

実際、査読が重要であることに異論を唱える研究者は少数ですが、現在の査読システムに欠陥がある事は、多くの人が認めています。大規模の出版コミュニティーは、既に新しい査読モデルであるプレプリント、オープンサイエンス等で、査読の欠点として挙げられる問題の解決に取り組んでいます。それ故、研究者にとって査読の限界についてよく考える事は、重要だと言えるのです。

特に若手や新人の研究者は、査読の限界を知ることで、責任ある科学者としての自分の役割への理解を深める事が出来るでしょう。それは、自分自身のみならず、専門分野および科学全般にとっても、大変良いことと言えます。

査読者は、本当は何をしているの？

この記事では、査読の限界について詳しく説明します。もし既に査読が何をすべきかについてよく知っている場合でも、反対に、査読が出来ないことについての理解を深めることで、きっと役に立つはずです。

査読者は通常、以下の内容を行います。

• 読者が興味を引く論文かを判断します
• 新しい発見や、既存の知見への追加など、新規性のある研究か否かを確認します
• 投稿によるインパクトを判断します
• 盗用かどうか特定しようとします
• 虚偽やでっち上げのデータや発見を識別しようとします
• 実験結果、結論、提言の科学的根拠を検証し、それが妥当であることを確認します
• 読みやすさや分かりやすさ、語調が適切か等の執筆の品質を確認します

しかし査読者が行うのは、このリストの内容だけではありません。

査読をボランティアに依頼するのは大変なことであり、査読にはかなりの時間を要する場合もあります。読の「成功」は、査読者たちが費やした時間と労力、そして彼らが論文のトピックにどれだけ精通しているか、さらに残念な事ではありますが、個人のバイアスといった要素にも左右されるのです。

人間は完璧ではありません。査読者もまた人間である以上、査読が常にパーフェクトだとは限らないのです。

査読者がしないこと

このように、査読者には多くの期待がかかっています。しかし反対に、査読者が出来ないこともまた、たくさんあるはずです。これらを査読の限界と呼び、次のような内容が挙げられます。

統計を確認する

査読者は研究者ですが、統計の専門家とは限りません（もちろん、統計の研究をしている場合を除いて、ですが）。したがって査読者がすべての種類の統計解析を専門的に出来る訳ではないのです。

査読者は、自分の専門分野で生成されるデータの種類に応じた、一般的で適切なテスト（例えばSTEM分野およびHSSの定量的分野では、一元配置分散分析（one-way ANOVA）、クラスカルウォリス（Kruskal–Wallis）またはカイ二乗など）を知っている可能性が高いでしょう。

一般的に査読者は、テストの選択や結果に明らかな誤りがある場合のみ、それらを特定することが出来ます。査読者が計算をし直すことはありませんし、そうすることを期待されてもいません（明らかな誤りに対し、素早くチェックする方法を知っている場合を除く）。

生データを調べる

査読者は生データの確認も行いません。少なくとも、通常は確認を実施することを期待されてはいないと言えます。

もし確認を実施することになると、レビュープロセスが非常に面倒になり、今以上に時間がかかることになるでしょう。

そのため、元々集められたオリジナルのデータに問題があったとしても、査読者が確認する論文ではそれが分からない場合もあります。

もし査読者が統計分析の問題を見つけた場合も、修正の提案は限定的となり、オリジナルのデータを使い問題を修正するのは、あくまで著者の責任となります。著者は、修正依頼を受け取った場合、念入りに説得力のある回答レターを作成する必要があります。

実験のやり直しおよび再現性のテスト

査読者にすべての生データを確認するよう依頼することが非現実的であるのと同様に、実験のやり直しに関しても同じことが言えます。

査読者は、実験の再現ができるような詳細内容を、論文内で十分に説明しているかを確認します。しかし実際にこれを検証することは、査読がボランティアで行われていることを考えると、依頼できる域を遥かに超えると言えます。

著者の詳細確認

適切なオーサーシップ（authorship）の定義と特定は、学術出版において常に懸念されています。中には、偽の著者や所属、もしくは自分の名前が含まれている事すら知らない著者がいる論文もあります。

チリで行われたある興味深い研究では、Scopusのインデックス付きの論文を調査し、この問題を科学的なレベルで明らかしたくらい問題視されています。

査読者は論文に記載されている研究者を知っている場合もありますが、知らない事の方が多いと言えます。また、ブラインド方式の論文を査読していて著者が伏せられている場合もあります。

すべての著者が実在しており、機関が本物であるかを確認することは非常に困難な作業であり、専門知識を持つ査読者の時間を無駄にしかねません。それ故、現在は著者の誠実さに委ねられています。また、ORCiD識別子のようなシステムも登場し、この分野での価値が証明されています。

利益相反の確認

利益相反（Conflicts of interest）は、人々が研究で感じるバイアス（bias）に強い影響を与えます。ですから、潜在的な利益相反を宣言することは、全ての論文において必須であることは言うまでもありません。

とはいえ、査読者が宣言の妥当性を検証や調査したり、著者が省略した可能性のある利益相反を見つけることはほぼ不可能です。

査読者は、当然著者による申告の有無を確認し、論文に関連するバイアスがあれば指摘しますが、それは査読者に期待される役割の範囲内に留まります。

優秀な研究者が、査読の限界を補う

論文が出版される前にこれらのすべてを把握されることが理想的ですが、現在のシステムでは現実的とは言えません。

しかしながら、査読は不可欠なものであり、論文の質を上げ、結果の解釈に影響を及ぼすような、大きな欠点を発見するのに役立ちます。

これらを念頭に置くことで、これまで読んできた研究で完璧なものはないことが理解できるのではないでしょうか。しかし、もっと多くの人が1つの分野で出版することで、どの研究が他の研究より影響力があるのかを読み解くことが可能になるのです。

論文を批判的な視点で読み、仮に出版後に欠点が見つかっても出版システム全体を即攻撃することは止めましょう。

研究者として、データを念入りに確認し、オーサーシップについての理解を深め研究の質を高めます。

時間はかかりますが、確実に新たな査読のモデルが生まれ、いつの日かこれらの項目が過去のものになる日が来るかもしれません。

—

新たな知見や技術への道を切り拓く研究者・著者の皆さまを、全力でサポートします

エダンズは、皆様が取り組む研究分野における研究のギャップを見つけだし、論文の校正、最適なジャーナル選択、そして研究の影響力を最大限に高めるためのコンテンツ作成まで、研究の全サイクルで一貫したサポートを提供します。多忙を極める研究者の皆様が直面するあらゆる問題に対して、エダンズの専門家チームが徹底した支援を行います。詳細は、研究者向けサービスと英文校正をご覧いただき、ご不明な点等ございましたらこちらまで、お気軽にお問い合わせください。