音環境理解と対話管理技術に基づく大規模レシピデータを用いた調理支援に関する研究
【研究キーワード】
調理支援 / 音響イベント検出 / ニューラルネットワーク / 調理支援対話 / 中間特徴量 / 対話制御 / 調理行動認識 / 非負値行列因子分解 / 音声対話システム
【研究成果の概要】
2021年度は音響イベント検出の最新動向に注視しつつ、それらの知見を調理行動推定に応用することについて検討を行った。これまでの成果では、HMMを用いた時系列解析をベースにニューラルネットワークを特徴量抽出の一部として用いる、いわばハイブリッド型のイベント検出を行っていた。近年の音響イベント検出は、そのモジュールの全てをニューラルネットワークを用いて行うものが検討されており、こちらを利用することについて基礎的な検討を行った。前年度においても、調理に直接関係しない音響的データを活用してもその特徴量抽出部分が調理行動支援に活用できることが明らかになっていたが、本年度はそれを識別も含めたモジュールまで検討を広げた。その結果、ラベル情報の事後確率などを利用することで、識別まで含めた場合でも、汎用的な音響イベント検出の枠組みが、調理行動支援に活用できることについて、一定の確認を行うことができた。イベント検出については今後これらの知見を確認するため、大規模な実験系へと拡張していく予定である。
一方、調理中音響データの収録については、引き続き新型コロナウィルス感染症の状況から十分に進めることができなかったため、こちらについては引き続き研究課題実施を延長して取り組みことを予定している。
調理行動をナビゲーションする対話管理については、ニューラルネットワークに基づく対話管理について、改めて調査を実施して、今後これらをナビゲーションに活用する方策を検討する予定である。
【研究代表者】
【研究分担者】 |
山岸 順一 | 国立情報学研究所 | コンテンツ科学研究系 | 教授 | (Kakenデータベース) |
高木 信二 | 名古屋工業大学 | 工学研究科 | 特任准教授 | (Kakenデータベース) |
|
【研究種目】基盤研究(C)
【研究期間】2018-04-01 - 2023-03-31
【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)