数字には何があるのか？研究のインパクトと質のエビデンスを提供する上での問題点

What's in a number? Issues in providing evidence of impact and quality of research(ers).

• Julianne Cheek
• Bridget Garnham
• James Quan

抄録

監査文化が研究機関の多くの側面に浸透している中で、質的研究者が直面している課題の一つは、研究のインパクトと質をいかに確立するかということである。研究業績を調査する際には、助成機関は出版実績を重視する。出版物の質とインパクトは伝統的にピアレビューによって評価されてきたが、現在では世界的な傾向として、定量的な指標、特に引用分析とジャーナルインパクトファクターが開発され、洗練され、使用されるようになってきている。本論文では、著者らが資金提供申請の準備に引用分析とジャーナルインパクトファクターを用いた経験を共有している。著者らの目的は2つあります：これらのメトリクスの実用化における潜在的な問題点についての認識を高めること、そして、出版のインパクトと質をどのように測定するかについての文章やレトリックに批評を提供し、「質」を提供することです。

One of the challenges facing qualitative researchers in a climate in which audit culture has permeated many facets of the institutions in which they research is how to establish the impact and quality of their research. When examining track records, granting institutions place significant emphasis on publication performance. Although the quality and impact of publications have traditionally been assessed by peer review, there is currently a global trend toward the development, refinement, and increased use of quantitative metrics, particularly citation analysis and journal impact factor. In this article, the authors share their experience of using the metrics citation analysis and journal impact factor in the preparation of an application for funding. Their aim is twofold: to raise awareness about potential issues in the practical application of these metrics; and to offer critique about and, they hope, "quality" to the writing and rhetoric concerning how to measure publication impact and quality.