Discovery Sagaサイレントキーワード俯瞰

本研究の目的は,異質な並列性が相手を害することなく共存して一つの問題を解くことができる計算環境と,その上で走らせることができる超並列計算学習アルゴリズムの開発を行うことにある.
異質な並列性の計算環境については,平成4年度の初頭にエミュレータとしての作成を終えている.これはSIMD型の超並列プロセッサ群を,上位の疎粒度プロセッサ群が管理する方式となっている.この上位層にはKL1処理系を充てている.このエミュレータ系において,多重最適競合学習アルゴリズムを実行してみた結果,並列処理に起因する非決定性は,劣悪な局所最適性からの回避にとってむしろ有益であると判明した.
アリゴリズム面での主要な課題は,異質な並列性の存在が顕著であるコネクショニズム的学習において,新たなものを開発し,並列計算との親和性を調べることである.まず,研究代表者は誤差逆伝播法をとりあげ.外部出力,内部出力および重み分布に対してダイバージェンスやエントロピを付加項として加えることにより,収束性や汎化性能を著しく改善するアルゴリズムを導出した.
教師なし学習については,競合学習を取り上げ,一般的な多目的最適化を競合学習によって解くことを試みた(調和競合学習).この問題において,研究代表者は,劣悪な局所最適からの脱出を図る対数バイアスの導出,そしてその対数バイアスに基づいた重みベクトルの突然変異アルゴリズムの導出を行った.これらの新たな提案は,競合学習(情報圧縮型)における劣悪な局所最適性の問題を実質的に解決したことになっている.
このように,本研究は予想していた所定の成果を収めて終了した.