Discovery Sagaサイレントキーワード俯瞰

自然言語処理 / 知識獲得 / マルチモーダル / マルチメディア / 少量データ学習 / 画像認識 / グラウンディング / 知識グラフ / ゼロショット認識 / 深層学習 / シーングラフ / ストーリー生成 / 教師なし学習

本研究では、画像・動画像等のマルチメディアに言語概念をグラウンディング（記号接地）させ、時空間的な共起関係を手掛かりにさまざまな概念間の関連性を推定し、グラフ構造を有するデータベース（知識グラフ）として獲得する新しいアプローチを提案する。本年度は、大きく分けて以下に示す三つの成果を得た。

１．BERTにより辞書データ(Wiktionary)から特徴抽出を行った単語概念と画像領域特徴をアラインメントし、共通の埋め込み空間を学習する手法を提案した。これにより、事前学習済み言語モデルの表現能力を活用しながら、画像概念と言語概念のグラウンディングを行ったマルチモーダル埋め込み空間を得ることができる。この空間では、Transformerの注意機構により、画像領域の視覚的特徴のみならず複数領域の共起関係や位置情報なども考慮された埋め込みが行われていることが重要であり、この空間上での距離を基準として概念が為すグラフを構築することができる。その具体的な応用として、画像中の未知物体に対しグラフ上の最近傍の単語を検索することで、ゼロショットの画像キャプショニングを高い精度で実現できることを示した。本研究はコンピュータビジョンの最難関国際会議であるCVPRへ採択された。
２．自然言語処理におけるストーリー生成タスクを題材とし、概念グラフ上の探索を通じて論理性を保ちながら多様性のあるテキスト生成を行う手法を開発した。ここで提案したグラフ探索法は汎用性の高いものであり、ストーリー生成に限らずさまざまなダウンストリームタスクで、知識グラフを活用するための重要な基礎技術となる。
３．グラウンディング自体の性能向上を行うため、基礎的な画像認識の手法開発にも引き続き取り組み、訓練時に想定しない入力ノイズに対して認識の頑健性を高める手法を複数開発した。

漫画 / 画像処理 / データセット / 物体検出 / セリフ検出 / 中割り / フォント / マルチモーダル / マルチモーダル学習 / 着色 / 画像検索 / GAN / 深層学習 / コンピュータビジョン / グラフィックス / 彩色

本研究では、２つの命題について取り組んだ。一方は、漫画のデータセットであり、もう一方は、着色を中心とした漫画の新技術の研究である。前者は、109巻、約2万ページ、約50万のアノテーションからなり、研究コミュニティが自由に学術研究に利用できる。後者の新技術では、着色と検索、検出に取り組んだ。着色：たった一枚の参照画像からcGANのトレーニングを行い、同一キャラクタを彩色できることを示した。検索：2種のデータで学習した深層特徴量により、スケッチから精度よく漫画を検索できることを示した。検出：セリフ、コマ、キャラクタの顔と全体の検出を行い、AUCが0.92以上と高い精度を実現した。

日本の漫画は、世界的に注目され、人気のあるコンテンツである。日本におけるいわゆる電子書籍の市場は前年比25％増と大きな増加をたどっており、コミックがその8割を占めるに至っている。しかし、書籍であったことから、メディア処理の研究対象とされてこなかった。本研究では、この漫画に対して、着色、検索、検出などのメディア処理に関する主導的な研究を行うことができた。
特に、技術的な課題だけでなく、データセットを完成させたことは大きな貢献となった。これは、研究コミュニティで広く利用可能な基盤となり、現時点で、約500のリクエストがあり、うち3分の2は海外からのものである。

機械翻訳 / ゼロショット学習 / マルチモーダル / 画像認識 / ニューラルネットワーク / 表現学習 / 自然言語処理 / デコーディング / 量子化 / 教師なし学習 / 深層学習 / データ圧縮 / マルチモーダル学習

本研究では、画像を異言語テキスト対応付けのハブとして活用することで、対訳テキストコーパスを必要とせず、ソース言語・ターゲット言語それぞれの画像付き単一言語ドキュメントのみから学習する機械翻訳手法を実現した。さらに、翻訳の出力多様性の向上や、手法の軽量化によるスケーラビリティの向上など、実用性を高める各種の改良を行った。これらの成果はACL, ICLRをはじめとするトップレベル国際会議に複数採択されると共に、言語処理学会年次大会で最優秀賞を二度受賞するなど高い評価を得た。

機械翻訳はより一層の技術革新が強く求められているアプリケーションであるが、現在の一般的なアプローチにおいては、学習に用いる対訳テキストコーパスの量が性能向上の鍵となる。しかしながら、実際には同一内容を複数言語で記述したテキストドキュメントは少なく、GAFA等一部の巨大企業にデータを独占されているのが現状である。本研究で提案するアプローチでは、誰でも比較的容易に入手可能な画像付き単一言語ドキュメントのみからの学習を実現するものであり、学術的にも独創的な試みであると同時に、機械翻訳の民主化に貢献しうる点で社会的意義も大きいものであると考える。

深層学習 / 予測学習 / マルチモーダル / 動作プリミティブ / RTミドルウェア / 認知ロボティクス / End to End学習 / マルチモーダルシステム / 多目的ロボット / 知能ロボティクス / 認知科学 / 知能ロボティックス / 機械学習 / 自己組織化 / ロボット動作学習 / マルチモーダルインターフェース

近年，深層学習が多様な領域で利用されているが，その適用範囲は電子化されたデータ処理に特化されており，実世界での作業性が十分に得られていない．一方，ロボットを用いた生活支援が強く期待されている．近年は，汎用型のロボットOSを利用した多機能型汎用ロボットの可能性が着目されている．そこで本研究では，ロボットOSと深層学習を用いたロボット動作学習を実現し，ロボットの知能化と開発コスト削減を行った．
具体的には，乳幼児の発達学習に関連した認知発達ロボティクス研究の成果を活用し，模倣学習，予測符号化などの概念を元に，実ロボットのから得られる感覚運動情報（経験）を深層学習によりモデル化する手法を提案した．

【研究分担者】
有江浩明	早稲田大学	次世代ロボット研究機構	その他(招聘研究員)	(Kakenデータベース)