【研究領域課題番号】19K20370 (KAKENデータベースで見る）

【研究キーワード】

軌道最適化 / 深層強化学習 / 動作計画 / 深層学習 / ニューラルネットワーク / 強化学習

【研究成果の概要】

本研究では，実ロボットに適用可能な，複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発することを目標としている．本研究においては，タスクを実行するための多様な解を見つけ出し，それぞれをオプションとして使い分けることで，複雑な軌道を計画することを目指す．提案するシステムの実現には，多様な軌道を学習し，一つのニューラルネットワークでモデル化することが必要になる．
3年目となる当該年度では，多様な解を同時に学習する深層強化学習アルゴリズムを開発した．2年目までに開発したアルゴリズムは軌道計画を対象としていたが，当該年度に開発したアルゴリズムは制御系への適用などが可能であり，より汎用性の高いものになる．提案手法では，解の多様体に対応する潜在変数を学習するため，潜在変数と状態変数および行動変数の間の相互情報量を最大化する問題として，問題を定式化した．提案アルゴリズムでは，潜在変数を切り替えると挙動が変わるニューラルネットワークを得ることができる．提案するアルゴリズムは，歩行動作や食事介護タスクなどに適用できることがシミュレータ上で確認され，一つのタスクに対して様々な解を見つけられることが示された．また，学習された多様な挙動を使い分けることにより，タスクの条件が変化した際にも少ない試行で適応できることが確認された．例えば歩行タスクにおいては，多様な歩行動作を学習した後，足の長さなどが変化した場合でも，学習済みの歩行タイプの中から使用可能なものを同定することで，少ない試行で適応できることが示された．

【研究種目】若手研究

【研究期間】2019-04-01 - 2023-03-31

【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)

【研究領域課題番号】18H01437 (KAKENデータベースで見る）

【研究キーワード】

次世代移動通信 / へトロジーニアス・ネットワーク / 干渉抑圧技術 / 機械学習 / 強化学習 / 教師無し学習 / 移動通信 / システム制御 / ニューラルネットワーク / 干渉抑圧 / 送信電力制御 / 送信ビームフォーミング制御 / Deep Learning / 誤差逆伝搬法 / Dropout / 変分法的ベイズ推定 / 干渉キャンセル / 送信制御 / EMアルゴリズム / Message-Passing アルゴリズム / 人工知能

【研究成果の概要】

次世代移動通信のへトロジーニアス・ネットワークにおいて，受信機も干渉キャンセル機能を有することを前提に，複雑かつ膨大な演算量を要する統合送信技術を低演算量で，かつ最適システム容量を達成するように制御することを検討した．
具体的には，MIMO (Multiple-Input Multiple-Output) 通信で7セル以上のセルラーシステムを想定し，受信機の干渉キャンセル機能として，線形受信では最適な MMSE (Minimum Mean Square Error) を検討した．全システムの通信路容量を最大にするよう，昨年度と同様，機械学習の強化学習 (Reinforcement Learning)を送信電力及び送信ビームフォーミングの制御に適用した．計算機シミュレーションにより，演算量が膨大となる最適化手法（全探索）に較べ，システム容量の劣化を抑えられ，かつ全探索よりも演算量を大幅に削減できることを確認した．
さらに，教師信号の情報を不要とするため，機械学習の教師無し学習 (Unsupervised Learning) を適用し，Adam Algorithmを用いて学習の収束速度向上を図った．加えて，3セル以上にも適用できるように，評価関数を修正して自律分散制御法の導入を検討した．計算機シミュレーションにより，7セル，3セクターアンテナのセルラーシステムにおいて，同様にシステム容量を改善できることを確認した．
上記の検討例は MMSE を前提にしていたが，現在，固有モード伝送及び注水定理に基づく送信電力制御を行い，1セルでの通信路容量を局小的に最大化し，これを他セルでも繰り返し行うことでシステム全体の通信路容量の最大化を検討しており，自律分散制御のための計算機シミュレーション・プログラムを作成中である．

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2023-03-31

【配分額】5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)

【研究分野】ウェブ情報学・サービス情報学

【研究領域課題番号】16K00417 (KAKENデータベースで見る）

【研究キーワード】

推薦システム / マルコフ決定過程 / 顧客クラス / 新規顧客 / 動的計画法 / 半教師付き学習 / EMアルゴリズム / 統計的決定理論 / 商品推薦システム / 新規顧客問題 / ニューラルネットワーク / 強化学習 / ベイズ基準 / マルコフ連鎖 / 人工知能

【研究成果の概要】

マルコフ決定過程（MDP）を用いて顧客クラスが変化する推薦システムのモデル化を行った。遷移確率が既知の場合に総売上の期待値を最大化する推薦方法を提案した。また、遷移確率が未知の場合の半教師付き学習方法も提案した。
MDPを用いて推薦システムにおける新規顧客に対する質問方法のモデル化も行った。遷移確率が既知の場合に総売上の期待値を最大化する質問方法を提案した。また、遷移確率が未知の場合の半教師付き学習方法も提案した。

【研究種目】基盤研究(C)

【研究期間】2016-04-01 - 2019-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】システム工学

【研究領域課題番号】14350212 (KAKENデータベースで見る）

【研究キーワード】

学習 / 進化 / 共生 / 強化学習 / 遺伝的アルゴリズム / 知的システム / 相互作用 / マルチエージェント / ニューラルネットワーク / 遺伝的プログラミング / 知的エージェント / 複雑システム / 共生学習 / 共生進化 / ネットワーク構造

【研究成果の概要】

本研究では、知的システムの構築に必要な、知的工一ジェントの構築、エージェント問の相互作用の構築、マルチエージェントシステムの学習と進化をテーマに研究を推進してきた。
1.知的工一ジェントの構築:有向グラフ構造でプログラムを構成する遺伝的ネットワークプログラミング(GNP)を開発し、エージェントの行動生成における性能評価を行ったところ、従来手法と比べて良い性能を示すことが明らかになった。
2.エージェント間の相互作用の構築:GNPで構成される複数のエージェント間の知的相互作用を構築するため、共利、競争、搾取、利他という生態系における共生の概念を応用した、共生学習進化アルゴリズム(Masbiole)を開発した。タイルワールド問題を用いたシミュレーションの結果、提案手法が共生戦略を導入したことによる複雑なエージェント間の相互作用を示すことを明らかにした。
3.マルチエージェントシステムの学習と進化:一般に、生物は長い世代を通じて行われる進化と、一生の間に試行錯誤を通じて行われる学習が相互に影響しあってその発達を促進していると考えられる。この考え方を基に、上記1で提案したGNPと強化学習と呼ばれる学習アルゴリズムを組み合わせることで、より効率的な処理ができるプログラムを自動生成する手法を開発した(学習進化型GNP)。複数の個体問で選択、交叉、突然変異を行うことで良い個体が生成される進化に加え、各個体の処理実行中にもオンライン学習によるプログラムの改善が行えることにより、進化のみのGNPおよび従来の進化型計算手法(遺伝的プログラミング)より性能が良くなることを明らかにした。

【研究種目】基盤研究(B)

【研究期間】2002 - 2004

【配分額】14,200千円 (直接経費: 14,200千円)

【研究分野】知能情報学

【研究領域課題番号】12680387 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / マルチエージェント強化学習 / 強化学習 / 機械学習 / 進化計算 / ニューラルネットワーク / 実数値GA / 最適化 / 共進化 / 世代交代モデル / 自律エージェント / 進化的計算 / ニューラルネット / 人工知能 / 分散人工知能 / 実数値遺伝的アルゴリズム

【研究成果の概要】

近年,強化学習手法を応用して,マルチエージェント環境におかれたエージェント群そのものに,試行錯誤な相互作用を行わせ,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み("マルチエージェント強化学習"と呼ぶ)が数多くなされている.しかし,マルチエージェント環境におかれたエージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの状態空間は組合せ的に爆発してしまう.
本研究の代表者らは,適度に圧縮表現された状態空間上で各エージェントが学習可能なマルチエージェント強化学習手法を提案し,それにより上記の状態空間の爆発が回避し得ることを実験的に示してきた.平成12年度は,この手法と進化計算を併用することによって,エージェント群に,状態空間の爆発を回避するための適切な状態空間表現を自動的に獲得させながら,それらが採用すべき協調行動を効果的に組織化させるための手法を提案した.提案手法は,マルチエージェントシステムを構成するエージェントの状態表現およびその行動政策を人手に頼ることなく自動的に設計するための要素技術を提供する.
平成13年度は,状態空間の爆発を回避可能な新しいマルチエージェント強化学習手法として,エージェントの行動政策を予め構造が決定されたニューラルネットにより表現すると共に,その重みベクトルを実数値GAにより最適化することに基礎をおく"進化型ニューラルネット手法"に基づく手法を提案した.提案手法は,連続値/離散値が混在する入出力への対応,連続/離散時間による意思決定への対応,大規模な問題への対応,大域的に良好な行動政策の獲得への対応など,従来手法にはない優れた特色を有しており,マルチエージェントシステムの自動設計のための汎用的な要素技術を提供する.

【研究種目】基盤研究(C)

【研究期間】2000 - 2001

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】制御工学

【研究領域課題番号】10650434 (KAKENデータベースで見る）

【研究キーワード】

学習 / 最適化 / カオス / 共生 / ゲート付きニューラルネットワーク / RBFネットワーク / 自律移動エージェント / 非線形システム制御 / ニューラルネットワーク / ゲート / 適応 / 自律システム / ケート付ネットワーク / 経路切替 / 強化学習 / 一般化 / 最適値探索

【研究成果の概要】

本研究課題である「モデル内部形成型自律システム」の構築には,多様な試行に基づいて学習を行う手段,学習結果の中から未学習の状況にも適用可能な一般性の高いものを抽出して表現する手段,階層的な構造をもつ制御機構とその適切な切替え機構が必要である.これらを実現するために,以下の事項について研究を行った.
多様な試行に基づいた学習を実現する手段として,非決定論的な試行を生み出すことが可能なカオス的な挙動の生成と消滅を制御できる機構,探索範囲を必要に応じて自動的かつ階層的に拡大あるいは縮小する最適化法,多様な解を得ることができる遺伝的共生アルゴリズム,最適化手法に含まれる設計パラメータをも適切な値に自動調整する発見的最適化手法を開発し,それぞれ例題を用いてその有効性を検証した.
一般性のある知識の抽出の実現手段として,入力ゲート付きニューラルネットワークとRBF(Radial Basis Function)ネットワークのノード統合手法を考案し,より少ない変数(条件)で表される一般的なルールの抽出を行うことができることを,自律移動エージェントの行動学習を例として確認した.
また,ノードゲート付きニューラルネットワークを開発し,これにより複数階層からなる制御系とその切替え機構が実現できることを,非線形システム制御を例題として確認した.さらに,移動エージェントの行動学習において,与えられた環境のみに有効な行動方針を学習する通常の学習に加え,一般性の高い知識を抽出する学習方法を付加し,環境が変化した場合にも,環境変化に素早く対応できる行動学習システムを構築した.

【研究種目】基盤研究(C)

【研究期間】1998 - 1999

【配分額】3,000千円 (直接経費: 3,000千円)

【研究分野】制御工学

【研究領域課題番号】10650433 (KAKENデータベースで見る）

【研究キーワード】

学習 / ニューラルネットワーク / 強化学習 / 非線形システム制御 / カオス / 遺伝的アルゴリズム / 連想記憶 / ファジィ / モデル化 / 制御 / 不完全観測 / オブザーバ / 高速化 / ロバスト性

【研究成果の概要】

非線形複雑系のモデル化と制御には、生物の学習方式及び記憶方式を解明し、その工学的利用が有益であると考えられる。このことから、生物の学習方式を範とするモデル化と学習方式及び,複雑系の代表格である脳の連想記憶方式とそのモデル化に関する研究を行った.
1.モデル化に関する研究
遺伝的アルゴリズムを用いた可変長の遺伝子コードを間接符号化法に基づく,最適ネットワークサイズと適切なネットワークパラメータを持つニューラルネットワーク設計法を提案し,シミュレーションによりその有効性を確認した.
2.学習及び制御に関する研究
・ロバストな制御器構築を目的として,制御器構造をコンパクト化する方式の検討を行い,非線形クレーンシステム制御のシミュレーションによりその有効性を確認した.
・ネットワークによるモデルを学習にて構成する場合の学習時間の短縮化に関する検討を行い,学習すべきシナプス重みパラメータを関数表現化する方式を提案し,学習の高速化の点で有効であることを確認した.
・生物の自然な学習方式である強化学習方式について,不完全観測環境下におけるactor-critic学習方式と確率傾斜法の協調学習方式を開発,また,強化学習における試行錯誤において試行に関する探索方向を適応的に変化させることを提案し,倒立振子の制御及び自律走行ロボットの行動学習を例題として高い探索効率及び学習試行回数の減少効果を持つことを確認した.
3.連想記憶方式とそのモデル化に関する検討
・記憶の記銘・想起のうち,想起に関する記憶検索モデルについて検討し,従来方式に比較して想起したい記憶を想起するまでの時間ステップが短い記憶探索モデルを提案した.

【研究種目】基盤研究(C)

【研究期間】1998 - 2000

【配分額】2,700千円 (直接経費: 2,700千円)