Discovery Sagaサイレントキーワード俯瞰

本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的としている．文脈については，動画像が時系列的に変化することを踏まえ，空間的な文脈（ある時点でどういう状況か）と時間的な文脈（過去からの変化を踏まえてどのような状況か）という二つの側面からモデル化することを試みる．今年度は(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズム，それぞれについて研究を進めた．
(a)については，画像中の物体間の関係性を記述するシーングラフの生成に焦点を当てて研究した．画像中の物体の検出と検出した物体間の関係性の推定をEnd-to-Endに同時に処理可能な手法を新たに開発し，ViEW2021で発表，またSSII2022での発表を予定している．また，国際会議へも現在投稿中である．
(b)については，Transformerを用いて動画中の時系列を表現する手法について研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，ViEW2021で発表した．また，国際会議へも現在投稿中である．
(c)については，文脈にとらわれない人物行動を表現するために，人物姿勢を推定するための手法について研究を進めた．
(d)については，暫定的な行動の表現モデルと文脈の表現モデルを組み合わせて利用し，実動画中の異常行動を検出する技術についての研究を進めた．最終的には(a), (b), (c)で構築したモデルを統合して異常行動を検出することを試みる予定である．

【研究分担者】
青木義満	慶應義塾大学	理工学部(矢上)	教授	(Kakenデータベース)
金子直史	青山学院大学	理工学部	助教	(Kakenデータベース)
片岡裕雄	国立研究開発法人産業技術総合研究所	情報・人間工学領域	研究員	(Kakenデータベース)