Discovery Sagaサイレントキーワード俯瞰

本研究では,まず多層ニューラルネットワークの学習問題が,数学的には関数近似の問題と等価であることに着目し,学習と汎化の問題と逆問題として定式化した.そして,多層ニューラルネットワークが,与えられた訓練データに対して最適汎化能力をもつために,中間層の素子数,中間層の入出力関数,および各重み係数の値が満たすべき必要十分条件を求め,最適汎化能力をもつニューラルネットワークの構成法を与えた.
この構成法によると,同じ汎化能力をもつニューラルネットワークを構成する方法が,一般には無限に存在することがわかる.この無限の自由度の中から,現実の場面で現れる誤差等に対して最も頑健になるような構成法を求めた.具体的には,ニューラルネットワークの結合荷重に現える比例性誤差,断線故障,およびr-縮退故障の汎化能力に及ぼす影響が最小になるような結合荷重の決定法を与えた.更に,上記3種類の問題に対して,結合荷重だけでなく,中間素子の入出力関数も変化させた場合の最適な結合荷重と入出力関数を求めた.
また,追加学習(incremental learning)の理論を構築した.これは,ある訓練データに対して最適汎化ニューラルネットワークが既に得られているとき,新しく追加された訓練データを併せた全訓練データに対して最適なニューラルネットワークを,これまでの結果と新しい訓練データだけから構成する理論であり,将来,訓練データを能動的に選んでいく能動学習(active learning)の研究へとつながるものである.
更に、上述の学習と汎化の理論の立場から,誤差逆伝搬学習における過学習の問題に対しても一つの解決を与えた.即ち,2種類の評価基準の間の許容性の概念を導入し,もって過学習を抑制するための訓練データの設計法を与えた.

【研究分担者】
山下幸彦	東京工業大学	工学部	助教授	(Kakenデータベース)