人工現実感ディスプレイを利用した聴覚障害者向けコミュニケーション支援装置の研究
【研究分野】リハビリテーション科学・福祉工学
【研究キーワード】
聴覚障害 / 情報保障 / バーチャルリアリティ / 感覚代行 / 字幕 / HMD / 生体影響 / 触覚ディスプレイ / 聴覚障害者支援 / 音声認識 / ノンバーバル情報 / 触感 / 皮膚力学モデル
【研究成果の概要】
本研究では,人工現実感ディスプレイおよびウェアラブルPCなどのヒューマンインタフェース技術を応用して,利用状況に応じた3種類の聴覚障害者向けのコミュニケーション支援装置を開発した.具体的には,友人同士での会話などのパーソナルな環境での利便性に重きを置いたシステムと,講演会や会議などのパブリックな環境における情報保証システムである.以下に,本研究の成果をまとめる.
1.パーソナルな環境で視覚ディスプレイを利用,した「携帯型自動筆談装置」を開発した.これは,軽量な透過型HMDと小型PCを利用し,音声認識エンジンをPCに組み込んだウェアラブルな装置である.また,このような視覚ディスプレイの長時間利用の安全性を探る神経眼科学的な研究も実施した.その結果,長時間のVR映像負荷は,調節応答速度と瞳孔運動に影響を及ぼすことがわかった.
2.触覚ディスプレイを利用した「携帯型タクタイルエイド」を開発した.これは,読話補助のために音声を振動刺激に変換して指先に呈示する装置である.ここでは,情報伝達に効果的な触覚刺激の生成を目標として指先皮膚の機械インピーダンス特性を精密に調べ,圧電バイモルフ素子を利用した広帯域振動型の触覚ディスプレイを試作した.また,心理物理実験より,この装置を用いて話者の声質を指先に呈示できる可能性が得られた.
3.パブリックな環境における「リアルタイム音声字幕システム」を開発した.これは,「携帯型自動筆談装置」の表示部をプロジェクターに置き換え,様々な講演者への柔軟な対応を可能にするために同時復唱者を組み入れ,音声認識装置からの出力結果を講演者の映像と合成して大型スクリーンに表示する装置である.聴覚障害ユーザの情報伝達の精度向上を目指し,字幕と話者の映像の最適な空間的および時間的な重畳条件を求める実験も行った.現在,このシステムは大学の講義や国際会議などで利用されている.
【研究代表者】