最適汎化ニューラルネットワークの能動的学習法に関する研究
【研究分野】知能情報学
【研究キーワード】
ニューラルネットワーク / 学習 / 汎化能力 / 追加学習 / 能動学習 / 過学習 / 許容性 / 許容化問題 / 汎化 / 最適汎化ニューラルネットワーク / ニューラルネットワークの追加構成 / 訓練データの判別 / 訓練データの棄却
【研究成果の概要】
能動学習とは,ニューラルネットワーク自身が学習の途中経過をみながら次の訓練データを積極的に選んでいく学習であり,いわゆる追加学習の問題と,最適な訓練データの選び方の問題に分けて考えられる.
第1の追加学習(incremental learning)とは,ある訓練データに対して最適な汎化能力をもつニューラルネットワークが既に得られている状態で,新しく訓練データが追加されたとき,既に得られている最適汎化ニューラルネットワークと新しい訓練データだけを用いて効率よく学習を行う問題である.現在世の中で行われている追加学習の方法によれば,古い訓練データと新しく追加された訓練データを併せた全訓練データに対して最適な汎化能力を得ることはできず,ただその近似を得るだけであった.これに対して我々は,全く同じ汎化能力をもつニューラルネットワークを効率よく構成することができる追加学習の方法を確立した.
第2の最適な訓練データの選び方に関する問題に対しては,それが更にいくつかの型に分類できることを明らかにし,汎化能力の立場からみて最適な訓練データを一括して求めるという最も基本的な問題に対して1つの解を与えた.その結果,ある訓練データに対して既に学習が進んでいるときに新しく追加すべき訓練データを選択していくという,能動学習本来の問題を論じていくための基盤ができた.
また,ニューラルネットワークの学習によく使われる誤差逆伝搬法では,訓練誤差があまりに小さくなるまで学習を続けると,かえって汎化能力が低下するという過学習現象が知られている.我々はこの問題に対して,既に許容性という概念を導入することにより,理論的解決を与えている.即ち,各種許容性が成立するための必要十分条件を求め,過学習を防ぐための訓練データの設計法を与えている.本研究では,許容性の問題を能動学習の立場からみなおし,許容化問題という新しい問題を提起した.これは,ある訓練データに対して許容性が成立していないとき,更に訓練データを追加・削除することにより,許容性を成立させる問題である.汎化能力が最大になるような許容化教材の構成法を与えた.
【研究代表者】
【研究分担者】 |
平林 晃 | 東京工業大学 | 大学院・情報理工学研究科 | 助手 | (Kakenデータベース) |
熊沢 逸夫 | 東京工業大学 | 大学院・情報理工学研究科 | 助教授 | (Kakenデータベース) |
|
【研究種目】基盤研究(B)
【研究期間】1996 - 1997
【配分額】8,500千円 (直接経費: 8,500千円)