感性・生体情報によるマルチメディア学習の評価手法開発と学習効果に関する研究
【研究分野】教育工学
【研究キーワード】
瞳孔面積 / 視点移動 / 瞬目 / 課題解決 / 音環境 / 顔表情 / 感性情報 / 生体情報 / 興味 / 番組評価 / ニューラルネットワーク / 皮膚温度
【研究成果の概要】
本研究では、マルチメディア学習環境における、学習者の表情などの感性情報や眼球運動などの生体情報を計測できるシステムを製作し、学習行動の評価分析方法を開発を検討した。さらに、学習におけるシステム環境の問題点や認知負荷を調べ、学習者の支援を行う方法についても検討した。本研究では、以下の内容を検討した。
(1)瞳孔面積による興味印象の評価手法の開発:映像に対する興味関心の変化を計測するために、瞳孔面積や瞬目率、視聴者の興味度合いを同時計測するシステムを開発し、これらに相関関係があることを明らかにした。
(2)瞳孔面積計測における瞬目の除去と復元手法の開発:瞳孔面積の計測中の瞬目による影響を除くために、瞬目復元のモデルを構成した。
(3)鼻部皮膚温度による学習活動の評価:学習課題時の活動を、サーモグラフィーによる鼻部温度によって評価し、鼻部温度低下量と学習成績との相関関係を明らかにした。
(4)顔の特徴点による顔表情程度の推定:顔の表情を特徴づける特徴点の動きによって、表情の分類とその表情の程度を推定するニューラルネットワークモデルを検討した。
(5)眼球情報に基づく精神活動の評価:課題解決における心的負荷や情意的な変化を検討するために、眼球情報の変化を計測した。指標追従課題とドライブシミュレータにおける運転操作を与えた条件で、計算課題などの音声課題を与え、二重課題条件での変化を基に、眼球情報の変化モデルを構築した。
(6)音楽環境と音楽習慣の関係の検討:BGMなどの音環境が、被験者の日常的な音楽習慣によって異なることを、実験によって明らかにした。
【研究代表者】