パワーコンター。実験心理学と人間の神経科学におけるサンプルサイズと精度の最適化

Power contours: Optimising sample size and precision in experimental psychology and human neuroscience.

• Daniel H Baker
• Greta Vilidaite
• Freya A Lygo
• Anika K Smith
• Tessa R Flack
• André D Gouws
• Timothy J Andrews

抄録

ヒトの参加者を用いた実験研究を計画する場合、実験者は、各参加者が何回の試行を完了するか、また、何人の参加者をテストするかを決定しなければならない。統計的検出力（研究デザインが効果を検出する能力）についての議論のほとんどは、サンプルサイズに焦点を当て、十分な試行数を想定しています。ここでは、統計的検出力に対する両因子の影響を探り、等倍力の等高線を可視化した2次元プロットで表現します。我々は、試行回数が特に重要な条件、すなわち、参加者内の分散が参加者間の分散に比べて大きい場合を示します。次に、8つの実験パラダイムと方法論（反応時間、感覚閾値、fMRI、MEG、EEGを含む）の既存のデータセットを用いてパワーコンタープロットを導出し、各方法における参加者内分散と参加者間分散の推定値を計算するためのコード例を提供します。すべての場合において、参加者内分散は参加者間分散よりも大きかった。これは、一般的に使用されているパラダイムにおいては、試行回数が統計力に有意な影響を与えることを意味している。これにより、今後の研究を設計する際に最適な試験と参加者の組み合わせを計算することができます（https://shiny.york.ac.uk/powercontours/）。(PsycInfo Database Record (c) 2020 APA, all rights reserved)。

When designing experimental studies with human participants, experimenters must decide how many trials each participant will complete, as well as how many participants to test. Most discussion of statistical power (the ability of a study design to detect an effect) has focused on sample size, and assumed sufficient trials. Here we explore the influence of both factors on statistical power, represented as a 2-dimensional plot on which iso-power contours can be visualized. We demonstrate the conditions under which the number of trials is particularly important, that is, when the within-participant variance is large relative to the between-participants variance. We then derive power contour plots using existing data sets for 8 experimental paradigms and methodologies (including reaction times, sensory thresholds, fMRI, MEG, and EEG), and provide example code to calculate estimates of the within- and between-participants variance for each method. In all cases, the within-participant variance was larger than the between-participants variance, meaning that the number of trials has a meaningful influence on statistical power in commonly used paradigms. An online tool is provided (https://shiny.york.ac.uk/powercontours/) for generating power contours, from which the optimal combination of trials and participants can be calculated when designing future studies. (PsycInfo Database Record (c) 2020 APA, all rights reserved).