Discovery Sagaサイレントキーワード俯瞰

研究過程で、そもそも再帰的神経回路網の表現能力に関して、一般に考えられているよりはるかに制限された能力しかないのではないかとの疑問が生まれ、それを肯定する結果とそれに対する対応(能力が制限されているのに何故学習可能か?また逆にそれを克服するにはどうするか)に対する知見が得られた。
(a)耐ノイズ性を多少とも要求すると、一般的なcounterは学習できず、従ってstackも学習できないことを理論的に示した。これに対し、single-turn counter(一度減算を始めると以降減算のみが可能なcounter)は実現できることを構成的に示した。これにより、再帰型神経回路網はある程度の学習は可能であるが、'single-turn counter'+有限状態オートマトンより大きな表現能力は持ち得ず、従って、最近研究報告が増加しているcounterが獲得できたという結果さえ実は、数値実験に依存する結果であることを示した。
(b)従って、原理的には'single-turn counter'+有限状態オートマトンが学習できるのみである。しかし、有限状態オートマトンの学習は適当な学習バイアスがない限り不可能であり(既知)、再帰型神経回路網による学習では、実際に獲得されたものの同定が理論上不可能である(既知)。そこで、各素子をその動作が離散状態である古典的なパーセプトロンとした再帰結合型神経回路網に対する確率的学習アルゴリズム(新規)を考案し、自然な学習バイアスにより有限状態オートマトンが学習可能となり、またその抽出が可能なことを示した。このアルゴリズムの性格には未知なことが多いが、確率1での収束は保証されている(収束までの平均時間は無限大の可能性がある)。
(c)single-turn counterを用いた有限状態オートマトンが解釈可能な文法体系の特徴づけを行った。それは、counterの数に応じた階層構造をもち、Chomsky階層とは独立のものである。