【研究領域課題番号】19K05324 (KAKENデータベースで見る）

【研究キーワード】

作業安全 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 深層学習 / 位置推定 / 危険行為 / 画像認識 / アラーム

【研究成果の概要】

廃炉作業中の危険動作の自動判定手法を開発するため、物体認識と姿勢推定という異なる深層学習モデルの同士を融合し、画像に映る状況をグラフ構造で表現するScene Graph化手法を開発した。また、画像との比較で危険判定の根拠とする作業安全ルールについても、自然言語処理手法とオントロジーモデルとを用いて新たに考案した階層型Scene Graphに自動変換する手法を開発した。このような画像（物体認識と姿勢認識と）と自然言語処理という異なる深層学習モデルの融合手法は、本研究が世界で初である。２つのScene Graphを比較することで、作業安全上の危険をリアルタイム高精度で検知することにも成功した。

【研究の社会的意義】

本研究の学術的意義は、画像（物体認識と姿勢認識と）と自然言語処理という異なる深層学習モデルを融合した手法としては世界初の研究であることである。一般的に深層学習を用いた研究は、画像は画像、言語は言語というように、各々の分野の中で閉じており異種深層学習同士を組みあわせることはない。しかし、人間の脳は視覚、聴覚、触覚、言語など多様な情報を同時に取り入れ比較することで情報を適切に処理している。本研究では、そのような異なる深層学習モデルを融合するための共通データフォームとしてグラフ構造が有効であることを提案し、かつその有効性を実証した。この成果は、異種深層学習モデル融合という新たあ分野の基礎を築いた。

【研究種目】基盤研究(C)

【研究期間】2019-04-01 - 2022-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)