実ロボットにおける自律的な軌道計画を実現する階層型深層強化学習の開発
【研究キーワード】
軌道最適化 / 深層強化学習 / 動作計画 / 深層学習 / ニューラルネットワーク / 強化学習
【研究成果の概要】
本研究では,実ロボットに適用可能な,複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発することを目標としている.本研究においては,タスクを実行するための多様な解を見つけ出し,それぞれをオプションとして使い分けることで,複雑な軌道を計画することを目指す.提案するシステムの実現には,多様な軌道を学習し,一つのニューラルネットワークでモデル化することが必要になる.
3年目となる当該年度では,多様な解を同時に学習する深層強化学習アルゴリズムを開発した.2年目までに開発したアルゴリズムは軌道計画を対象としていたが,当該年度に開発したアルゴリズムは制御系への適用などが可能であり,より汎用性の高いものになる.提案手法では,解の多様体に対応する潜在変数を学習するため,潜在変数と状態変数および行動変数の間の相互情報量を最大化する問題として,問題を定式化した.提案アルゴリズムでは,潜在変数を切り替えると挙動が変わるニューラルネットワークを得ることができる.提案するアルゴリズムは,歩行動作や食事介護タスクなどに適用できることがシミュレータ上で確認され,一つのタスクに対して様々な解を見つけられることが示された.また,学習された多様な挙動を使い分けることにより,タスクの条件が変化した際にも少ない試行で適応できることが確認された.例えば歩行タスクにおいては,多様な歩行動作を学習した後,足の長さなどが変化した場合でも,学習済みの歩行タイプの中から使用可能なものを同定することで,少ない試行で適応できることが示された.
【研究代表者】
【研究種目】若手研究
【研究期間】2019-04-01 - 2023-03-31
【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)