RGB-Dセンサーからの表情や身体姿勢による感情認識を利用した適応型ユーザーインターフェースの設計と解析

Adaptive user interface design and analysis using emotion recognition through facial expressions and body posture from an RGB-D sensor.

• Selma Medjden
• Naveed Ahmed
• Mohammed Lataifeh

抄録

本研究では、RGB-Dセンサから顔の表情と体の姿勢の両方からユーザの感情を認識する新しいソリューションを用いたデスクトップアプリケーションの適応型ユーザインタフェース(AUI)の設計と解析を行った。顔の表情から6つの基本的な感情を認識し、体の姿勢から認識する生理的な状態に加えて、顔の表情からも6つの基本的な感情を認識します。顔の表情と体の姿勢は、Kinectセンサーからリアルタイムで取得します。スコアリングシステムを用いて、異なる感情の混同を最小限に抑えることで認識率を向上させています。実装されたソリューションは、90%以上の精度を達成しています。認識された感情は、ユーザーが音声コマンドを使用してユーザーインターフェース（UI）を自動的に変更することができる自動AUIを導出するために使用されます。自動、手動、ハイブリッドAUIの使い勝手を比較するために、包括的なユーザー調査を実施しました。AUIは、効率性、有効性、生産性、エラーの安全性の観点から評価されます。さらに、異なる性別と年齢層の視点から結果を評価するために、包括的な分析を実施した。その結果、ハイブリッド適応により、生産性と効率性の面で使い勝手が向上することが示された。最後に，自動化とハイブリッドAUIの両方を組み合わせた場合には，手動適応と比較して有意にポジティブなユーザーエクスペリエンスが得られることが示された．

This work presents the design and analysis of an Adaptive User Interface (AUI) for a desktop application that uses a novel solution for the recognition of the emotional state of a user through both facial expressions and body posture from an RGB-D sensor. Six basic emotions are recognized through facial expressions in addition to the physiological state, which is recognized through the body posture. The facial expressions and body posture are acquired in real-time from a Kinect sensor. A scoring system is used to improve recognition by minimizing the confusion between the different emotions. The implemented solution achieves an accuracy rate of above 90%. The recognized emotion is then used to derive an Automatic AUI where the user can use speech commands to modify the User Interface (UI) automatically. A comprehensive user study is performed to compare the usability of an Automatic, Manual, and a Hybrid AUI. The AUIs are evaluated in terms of their efficiency, effectiveness, productivity, and error safety. Additionally, a comprehensive analysis is performed to evaluate the results from the viewpoint of different genders and age groups. Results show that the hybrid adaptation improves usability in terms of productivity and efficiency. Finally, a combination of both automatic and hybrid AUIs result in significantly positive user experience compared to the manual adaptation.