ChatGPTは信頼できるか？アラビア語を話す妊婦の口腔衛生に関する質問に対するAIの回答を評価する

Can ChatGPT be trusted? Evaluating AI responses to oral health questions among pregnant Arabic-speaking women.

抄録

背景:

OpenAIが開発した人工知能（AI）チャットボットであるChatGPTは、歯科を含むヘルスケアにおいて、患者教育のために使用されることが増えている。本研究は、サウジアラビアにおける妊娠に関連した口腔衛生に関する質問に対するChatGPTの回答の使いやすさと質を評価することを目的とした。

BACKGROUND: ChatGPT, an artificial intelligence (AI) chatbot developed by OpenAI, is increasingly being used in healthcare, including dentistry, for patient education; this study aimed to assess the usability and quality of ChatGPT's responses to pregnancy-related oral health queries in Saudi Arabia.

方法:

この2部構成の横断研究では、妊娠中のアラビア人女性の口腔保健クエリに対するChatGPTの認識を評価し、オンライン質問票を用いてその回答を評価した。ChatGPT-4o miniからの回答は、5人の歯科専門家により、正確性、明確性、関連性、受容性について5段階リッカート尺度で評価された。

METHOD: This two-part cross-sectional study assessed pregnant Arabic women's perceptions of ChatGPT for oral health queries and evaluated its responses using an online questionnaire. Responses from ChatGPT-4o mini were rated by 5 dental experts with regard to accuracy, clarity, relevance, and acceptance using a 5-point Likert scale.

結果:

参加者300名のうち、42.0％（126名）がChatGPTを知っており、33.7％（101名）が利用したことがあり、14.3％（43名）が医療情報を得るために利用したことがあり、8.7％（26名）が歯科情報を得るために利用したことがあり、8.3％（25名）が妊娠中の歯科情報を得るために利用したことがあった。ChatGPTに対する意識は1～4で評価され、1項目を除いて平均値はすべて中間値以上であった。ChatGPTの能力は平均2.71(SD 0.76)から、人間関係に取って代わる能力は平均2.34(SD 0.92)であった。しかし、ChatGPTの能力(P=.028)、安全性(P=.015)、問い合わせにChatGPTを使用する意欲(P=.021)、情報に基づいた意思決定を支援する能力(P=.01)、推奨に基づいて意思決定を行う意欲(P=.024)、説得力(P=.049)は、教育水準によって有意差があった。教育レベルの高い妊婦は、高卒または学士号取得者よりもこれらの点を有意に低く評価した。

RESULTS: Among the 300 participants, 42.0% (126) knew about ChatGPT, 33.7% (101) had previously used it, 14.3% (43) had used it to obtain medical information, 8.7% (26) had used it for dental information, and 8.3% (25) had used it for dental information during pregnancy. Attitudes regarding ChatGPT were rated from 1 to 4. Except for 1 item, the means were all above the midpoint. Attitude ratings ranged from a mean of 2.71 (SD 0.76) for ChatGPT competency to a mean of 2.34 (SD 0.92) for its ability to replace human interactions. However, ChatGPT competency (P = .028), security (P = .015), willingness to use ChatGPT for inquiries (P = .021), ability to assist in informed decision-making (P = .01), willingness to make decisions based on recommendations (P = .024), and persuasiveness (P = .049) were significantly different based on educational level. Pregnant women with higher levels of education rated these aspects significantly lower than those with a high school diploma or bachelor's degree.

結論:

ChatGPTは妊婦に有用な口腔保健情報を提供したが、その回答には医療専門家による改訂と監督が必要であった。サウジアラビアの妊婦におけるChatGPTの利用率は依然として低かった。

CONCLUSION: ChatGPT provided useful oral health information for pregnant individuals, but its responses required revision and supervision by health professionals. Its usage among pregnant women in Saudi Arabia remained low.