映像コンテンツ制作におけるマルチモーダル感情表出モデルの構築に関する研究
【研究分野】知能情報学
【研究キーワード】
映像コンテンツ / マルチモーダル感情表出モデル / コンピュータグラフィックス / キャラクタアニメーション / 韻律制御 / 動作制御 / 動作生成 / 感情表出モデル / 映像制作 / ディジタルアクタ / 韻律情報
【研究成果の概要】
音声において感情情報がどのような形で表出するかを明らかにするために,演技の流れに応じて自然なもっともらしい感情表現がされている落語音声を使用して分析を行った.その結果,感情表現は発話の最後の部分に比較的現れやすいことが確認された.また,生理的な発声による感情表現に着目し,笑い声の分析を行った結果,ピッチ周波数及び音素タイミングが笑い声を表現する上で最も基礎的なパラメータであることが確認された.さらに,台本のみから感情音声を合成するには,台詞や文章といったテキスト情報から感情を推定する必要がある.そこで,入力された文章の感情の推定を,大局的感情分類と局所的感情分類の2つの方法で行った.
次に,言語を用いた指示により感情動作を生成・制御可能なディジタルアクタシステムの構築を目的とし,感情語-動作間の関係を木構造として表現した感情表出モデルの構築を行った.また,感情表出モデルから目的動作を生成・制御する感情表出部と,未知語が入力された場合等に新たに感情語を学習し感情表出モデルを更新する感情学習部から成るディジタルアクタシステムを実装した.さらに,実装システムを用いて評価実験を行った結果,適切な動作が表出可能であることが確認された.
最後に,映像や音声といった物理信号と,人間がそこから知覚する感情との対応関係を明らかにするために,映像と音声を組み合わせ,それぞれに感情表現を付与した場合,人間がそれをどのように知覚するかについて分析を行った.その結果,一般的に感情の度合いの変化は表情ではなく声色の変化で表現され,聞き手は,発話者の表情を見ることでどのような感情であるかは認識できるが,その感情の度合いに関しては,声色を重視して認識していることが確認された.
【研究代表者】