人物頭部の3次元構造モデルに基づく顔面表情の定量的計測システムの開発
【研究分野】情報通信工学
【研究キーワード】
表情合成 / 感情空間 / 表情認識 / 表情計測 / アクションユニット / テクスチャマッピング / ニューラルネット / リップシンク / コンピュータグラフィックス / 表情分析 / 3次元モデル / モーションキャプチャ / コンピュータビジョン / ヒューマンコンピュータインタラクション / 感性情報処理 / FACS / モデリング / エージェント / 3次元グラフィックス
【研究成果の概要】
まず、本研究では、顔面の動きを3次元的に計測するシステムを構築した。これは、被験者の顔面にマーカーを付与し、これを垂直に配置した2台のカメラで撮影して、各特徴点の動きを3次元座標の移動量として取得するものである。このシステムを利用して、心理学分野で提唱されているFacial Action Coding Systemのアクションユニットの定量化や、発話時の口形状の実測を実施した。また頭部を表現した3次元ワイヤフレームの変形と正面画像のテクスチャマッピングにより、計測した原画像の表情をそのままコンピュータグラフィックスとして再現することを可能にした。次のテーマとして、アクションユニットの組み合わせによって実現される6つの基本表情を作成し、この表情記述パラメータからニューラルネットの恒等写像学習によって3次元の感情空間を獲得した。これは、表情記述パラメータの組み合わせによって記述された感情状態を3次元の空間の1点として表現するもので、感情の認識と合成を同時に実現することができる。この感情空間の評価により、空間内では表情が連続的に記述され、心理学的にも妥当な空間が獲得されていることが明かとなった。次に手がけたテーマは、マーカを添付せずに、表情認識する試みである。これは、目と唇領域に注目し、画像の空間周波数情報が表情変形と相関が高いことに着目して、縦方向と横方向の周波数帯域成分から6つの基本感情を推定するシステムを構築した。このシステムでは目と唇領域を自動的に追跡して、フレーム毎に感情状態の認識結果を実時間で出力することができるようになった。実験結果から人間の主観による認識に近い性能を実現できた。
【研究代表者】