Discovery Sagaサイレントキーワード俯瞰

2021年度は音響イベント検出の最新動向に注視しつつ、それらの知見を調理行動推定に応用することについて検討を行った。これまでの成果では、HMMを用いた時系列解析をベースにニューラルネットワークを特徴量抽出の一部として用いる、いわばハイブリッド型のイベント検出を行っていた。近年の音響イベント検出は、そのモジュールの全てをニューラルネットワークを用いて行うものが検討されており、こちらを利用することについて基礎的な検討を行った。前年度においても、調理に直接関係しない音響的データを活用してもその特徴量抽出部分が調理行動支援に活用できることが明らかになっていたが、本年度はそれを識別も含めたモジュールまで検討を広げた。その結果、ラベル情報の事後確率などを利用することで、識別まで含めた場合でも、汎用的な音響イベント検出の枠組みが、調理行動支援に活用できることについて、一定の確認を行うことができた。イベント検出については今後これらの知見を確認するため、大規模な実験系へと拡張していく予定である。
一方、調理中音響データの収録については、引き続き新型コロナウィルス感染症の状況から十分に進めることができなかったため、こちらについては引き続き研究課題実施を延長して取り組みことを予定している。
調理行動をナビゲーションする対話管理については、ニューラルネットワークに基づく対話管理について、改めて調査を実施して、今後これらをナビゲーションに活用する方策を検討する予定である。

【研究分担者】
山岸順一	国立情報学研究所	コンテンツ科学研究系	教授	(Kakenデータベース)
高木信二	名古屋工業大学	工学研究科	特任准教授	(Kakenデータベース)