メタリサーチ。査読報告書の大規模言語分析

Meta-Research: Large-scale language analysis of peer review reports.

• Ivan Buljan
• Daniel Garcia-Costa
• Francisco Grimaldo
• Flaminio Squazzoni
• Ana Marušić

抄録

査読はしばしば欠陥があり、主観的で偏っていると批判されるが、査読に関する研究は査読報告書にアクセスできないことが原因で妨げられてきた。ここでは、47万2,449件の査読報告書の言語的特徴を決定するために、テキスト分析ソフトウェアを使用した研究の結果を報告する。さまざまな特性（分析的なトーン、信頼性、影響力、3つの感情の尺度、道徳性を含む）を、査読者の推薦、研究分野、査読の種類、および査読者の性別の関数として調査しました。その結果、報告書の言語的特性には、査読者の推薦が最も大きな影響を与え、研究分野、査読者の種類、査読者の性別はほとんど影響を与えないことがわかった。研究分野、査読の種類、査読者の性別が報告書の言語特性に影響を与えないことは、査読の堅牢性を示すものである。

Peer review is often criticized for being flawed, subjective and biased, but research into peer review has been hindered by a lack of access to peer review reports. Here we report the results of a study in which text-analysis software was used to determine the linguistic characteristics of 472,449 peer review reports. A range of characteristics (including analytical tone, authenticity, clout, three measures of sentiment, and morality) were studied as a function of reviewer recommendation, area of research, type of peer review and reviewer gender. We found that reviewer recommendation had the biggest impact on the linguistic characteristics of reports, and that area of research, type of peer review and reviewer gender had little or no impact. The lack of influence of research area, type of review or reviewer gender on the linguistic characteristics is a sign of the robustness of peer review.

© 2020, Buljan et al.