Discovery Sagaサイレントキーワード俯瞰

本研究の目的は、深層ニューラルネットワークが学習する表現が特定の情報を持たないように制御する要素技術の開発である。これにより、未知のユーザの行動を高精度に認識（ドメイン汎化）したり、深層ニューラルネットの判断基準が特定の因子によらないことを保証（プライバシー保護、公平性配慮）することができる。
昨年度に引き続き、大きく次の２つの方向から研究を行った。
(1) 教師なしでの不変表現学習。既存の不変表現学習は「どの情報を表現から消すか」を明示する必要があり、消したい情報についての教師データが必要であるという問題があった。このようなデータを使うことは、事前にユーザのセンシティブな情報を開示されている状況にあたり現実的ではない。この問題を解決するためには「どの情報を表現から消すか」に関する教師データなく表現から望ましくない情報を削除できることが望ましい。本研究では、ユーザに関する情報がデータセット全体に影響を与える大域的な情報であり、予測したい情報はある単一のデータに影響を与える局所的な情報であると考え，グラフィカルモデルを構築することにより分離すること、またその分離するための技術の開発を行った。本成果はECML2021に採択された。
(2) モデルアーキテクチャによる影響の調査。これまでの研究ではモデルを固定したうえでの検証を行ったが、例えばSelf Attention（SA）の言語領域の成功に代表されるように、深層学習の成功はデータに適したモデル構造（あるいはそのモジュール）をうまく発見できたことに大きな要因がある。そこで、本研究では「表現を制御する」という観点から望ましいネットワーク構造や基本モジュールの発見に向けて、畳み込みネット以外のモジュールを使った場合の影響を調査し、SAを用いたモデルが良い性能を示すことを検証した。本研究成果の一部はNeurIPS2021に採択された。