診断評価と個人の分類のテストのための心理測定と機械学習のアプローチ

Psychometric and machine learning approaches for diagnostic assessment and tests of individual classification.

• Oscar Gonzalez

抄録

評価は、成績の配置、治療の割り当て、仕事の選択、または診断の情報提供など、個人についての意思決定を行うために一般的に使用されます。アセスメントに基づいて回答者を分類する心理測定アプローチでは、項目をスコアに集約し、各回答者のスコアをカットスコアと比較します。対照的に、回答者を分類する機械学習アプローチでは、評価項目から特定のクラスに属する確率を予測するモデルを構築し、予測されたそのクラスに属する確率に基づいて回答者を分類します。心理測定法と機械学習法が同等の分類精度を持っているのか、それともすべての状況またはいくつかの状況で1つの方法が好ましいのかはまだ不明です。本研究では、診断評価の文脈において、モンテカルロシミュレーション法を用いて、心理測定法と機械学習法の分類精度を、診断テストの相関度、有病率、サンプルサイズ、診断評価の構造の関数として比較した。その結果、ロジスティック回帰やランダムフォレストを用いた機械学習モデルは、推定項目反応理論スコアを用いた心理測定法と同等の分類精度を持つことが示唆された。したがって、機械学習モデルは、心理測定法が実行可能でない場合の分類のための実行可能な代替手段となりうる。方法は、7歳の子どもの行動障害尺度から反抗的反抗性障害の診断を予測した実証例で示されている。また、それぞれの手法の長所と限界を検討し、機械学習とサイコメトリクスの分野との重複を論じている。(PsycInfoデータベースレコード (c) 2020 APA, all rights reserved)。

Assessments are commonly used to make a decision about an individual, such as grade placement, treatment assignment, job selection, or to inform a diagnosis. A psychometric approach to classify respondents based on the assessment would aggregate items into a score, and then each respondent's score is compared to a cut score. In contrast, a machine learning approach to classify respondents would build a model to predict the probability of belonging to a specific class from assessment items, and then respondents are classified based on their predicted probability of belonging to that class. It remains unclear whether psychometric and machine learning methods have comparable classification accuracy or if 1 method is preferable in all or some situations. In the context of diagnostic assessment, this study used Monte Carlo simulation methods to compare the classification accuracy of psychometric and machine learning methods as a function of the diagnosis-test correlation, prevalence, sample size, and the structure of the diagnostic assessment. Results suggest that machine learning models using logistic regression or random forest could have comparable classification accuracy to the psychometric methods using estimated item response theory scores. Therefore, machine learning models could provide a viable alternative for classification when psychometric methods are not feasible. Methods are illustrated with an empirical example predicting an oppositional defiant disorder diagnosis from a behavior disorders scale in children of age seven. Strengths and limitations for each of the methods are examined, and the overlap between the field of machine learning and psychometrics is discussed. (PsycInfo Database Record (c) 2020 APA, all rights reserved).