視覚・言語情報を統合処理するニューラルネットワークに関する研究
【研究分野】ソフトコンピューティング
【研究キーワード】
視覚情報処理 / 言語情報処理 / ニューラルネットワーク / 感性情報 / 対話システム / キャプション自動生成 / 転移学習 / 畳込みニューラルネットワーク / 分散表現 / 連想メモリ
【研究成果の概要】
視覚情報と言語情報の統合的な処理機構の開発と、入力画像からの常識の自動獲得に関しては、画像を感性豊かに説明するキャプション自動生成システムの構築を行った。本システムは、物体の感性語を推定する際、画像特徴だけでなく物体の名詞情報も活用している。また表現力の高い感性語を生成するための感性語変換機構も有している。
自然言語を生成できるニューラルネットワークの開発に関しては、文脈を考慮した会話文の自動生成が可能な対話システムの構築を行った。さらにこれを、共感と助言に着目した自動相談システムへ発展させた。
【研究の社会的意義】
従来より学術的には、画像のような視覚情報と言語情報は別々に扱われることが多かった。しかし実生活やTV、書籍、Webなど、ほとんど場合、これらは分離されることなく総合的に扱われている。
本研究の目的は、画像と言語を統合的に扱う方法を考案することにある。これは社会からの需要も高く、また学術的にも画像のようなパターン情報と言語のようなシンボル情報を統合処理するという意味で高い意義を有している。
【研究代表者】
【研究種目】基盤研究(C)
【研究期間】2016-04-01 - 2020-03-31
【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)