【研究領域課題番号】20H04301 (KAKENデータベースで見る）

【研究キーワード】

強化学習 / 深層学習 / ゲーム / 深層強化学習 / モデルベース

【研究成果の概要】

部分観測環境における深層強化学習における報酬設計の問題に対処するため、部分観測環境における教師なし強化学習のアルゴリズムの開発を行った。具体的には、部分観測性に対処するための記憶機構、および相互情報量に基づいた内発的報酬を設計した。本内発的報酬は、観測情報が限られている状態空間を優先的に探索し、有効な記憶を学習することを可能にする。実験では、外部報酬を使用せずに、部分観測環境において有益な方策を学習することに成功した。
強化学習の問題点の一つとして、学習時に見たことがない未知の環境においてエージェントの性能が大きく低下することが知られている。その問題に対処するため、行動類似性に基づく潜在状態表現を利用することで、モデルベース強化学習の汎化性能を向上させる手法の開発を行った。提案手法を背景画像が変化する環境における連続行動空間の制御タスクに適用し、汎化性能の検証を行なったところ、一部のタスクにおいて汎化性能の向上が見られた。
深層強化学習における報酬設計の問題に対処するため、これまでに様々な内発的報酬の仕組みが提案されている。本研究では、状態遷移の予測不可能性と、状態の新規性をベースにした内発的報酬を組み合わせることで、noisy-TV problem と呼ばれる、ランダムな状態遷移が継続して起きる状況にエージェントがトラップされる問題の解消を試みた。実験の結果、探索が難しいとされるベンチマークでの性能向上を確認し、新規性ベースの内発的報酬と組み合わせることで noisy-TV problem を緩和できることを確認した。

【研究種目】基盤研究(B)

【研究期間】2020-04-01 - 2023-03-31

【配分額】16,510千円 (直接経費: 12,700千円、間接経費: 3,810千円)

【研究領域課題番号】19H02377 (KAKENデータベースで見る）

【研究キーワード】

交通システム / エージェントシミュレーション / 強化学習 / 深層学習 / 信号制御 / ライドシェア / MaaS / 機械学習 / グローカル制御 / HPC

【研究成果の概要】

本研究では，自動走行車の普及を見越した交通システムの適応進化型制御とサービスの提案をめざした．前者に関しては制御に用いるための交通流状態予測アルゴリズムを提案した．後者に関してはライドシェアサービス車両の配車アルゴリズムを提案し，リアルタイムに応答可能であるかどうかを評価した．またシミュレーションの基盤として交通流のハイブリッドモデル（流体近似モデル＋マルチエージェントモデル）を提案した．

【研究の社会的意義】

すべての人々に安全かつ安価で容易に利用できる，持続可能な輸送システムへのアクセスを提供することがSDGsに掲げられており，自動走行車を用いたライドシェアサービスはこれを達成するためのアプローチの1つである．加えて，ITSや自動走行車の普及に伴って取得される交通データの量が増大しており，これを効率よく処理して交通流を予測する技術もまた近い将来の交通システムに貢献するものである．

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】13,260千円 (直接経費: 10,200千円、間接経費: 3,060千円)

【研究領域課題番号】19K20370 (KAKENデータベースで見る）

【研究キーワード】

軌道最適化 / 深層強化学習 / 動作計画 / 深層学習 / ニューラルネットワーク / 強化学習

【研究成果の概要】

本研究では，実ロボットに適用可能な，複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発することを目標としている．本研究においては，タスクを実行するための多様な解を見つけ出し，それぞれをオプションとして使い分けることで，複雑な軌道を計画することを目指す．提案するシステムの実現には，多様な軌道を学習し，一つのニューラルネットワークでモデル化することが必要になる．
3年目となる当該年度では，多様な解を同時に学習する深層強化学習アルゴリズムを開発した．2年目までに開発したアルゴリズムは軌道計画を対象としていたが，当該年度に開発したアルゴリズムは制御系への適用などが可能であり，より汎用性の高いものになる．提案手法では，解の多様体に対応する潜在変数を学習するため，潜在変数と状態変数および行動変数の間の相互情報量を最大化する問題として，問題を定式化した．提案アルゴリズムでは，潜在変数を切り替えると挙動が変わるニューラルネットワークを得ることができる．提案するアルゴリズムは，歩行動作や食事介護タスクなどに適用できることがシミュレータ上で確認され，一つのタスクに対して様々な解を見つけられることが示された．また，学習された多様な挙動を使い分けることにより，タスクの条件が変化した際にも少ない試行で適応できることが確認された．例えば歩行タスクにおいては，多様な歩行動作を学習した後，足の長さなどが変化した場合でも，学習済みの歩行タイプの中から使用可能なものを同定することで，少ない試行で適応できることが示された．

【研究種目】若手研究

【研究期間】2019-04-01 - 2023-03-31

【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)

【研究領域課題番号】19H04121 (KAKENデータベースで見る）

【研究キーワード】

データセンター / 運用 / 人工知能 / スケジューラ / ログ収集 / 強化学習 / ジョブスケジューリング / 最適化 / オーバーコミット / システムモデル / スーパーコンピュータ / 深層学習 / AI / 計算機運用 / 機械学習 / センサーデータ / スケジューリング / サイバーフィジカルシステム

【研究成果の概要】

データセンターの運用の自動化のため、データセンターからのデータを取得して仮想空間上に再現する方法と、その仮想空間上で運用ポリシーを最適化する方法を研究した。
前者のデータ取得については、機器によるデータフォーマットの違いやデータの用途に依存することなく、様々な運用に役立つ汎用的なデータを多くのデータセンターから収集できる一般的なデータフォーマットと保存形式を定義することに成功した。後者の運用最適化については、制御方法を自動的に学習する強化学習を用いてジョブスケジューリングを最適化することに成功すると共に、その学習の場としてスケジューリングや冷却設備のシミュレータを実装した。

【研究の社会的意義】

データセンターの運用はより少ない資源で多くの計算需要を満たすための高度な技術であり、スケジューリングポリシーの設定、計算機のメンテナンス、さらには電力空調設備の運用やメンテナンスを含む専門的に高度な業務である。近年の労働人口減少に伴い、このような運用業務に携わる人材の確保は容易でなく、今後、益々増大する計算需要を安定的に満たすためには運用の省力化、少人化は必須の課題である。本研究の成果はこの要請に応じるものであり、設備運用やジョブスケジューリングをシミュレーションで再現する方法、さらにそれを用いて人工知能に最適な運用を試行錯誤させる方法を開発したものである。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究領域課題番号】19H02268 (KAKENデータベースで見る）

【研究キーワード】

自動運転 / ミクロ交通流シミュレーション / 深層学習 / 強化学習 / 車線変更 / 交通流 / 動的交通マネジメント / 交通管制 / 高速道路 / コネクティッド車両 / 自動走行車両 / 介入制御 / シミュレーション / データ同化 / ミクロ運転挙動 / ゲームAI

【研究成果の概要】

本研究は，将来的なコネクティッド車両や自動走行車両（CA車両）の普及を想定し，交通管制側からCA車両の挙動を介入的に制御することで，渋滞発生の緩和，ショックウェーブの解消，それに伴う事故防止のための交通流マネジメント手法に関わる諸要素の理論構築を行う．とりわけ，従来の研究では考慮されていなかった車線変更を含むCA車両と一般車両の相互作用や，現実的なリアルタイムデータ取得環境を考慮した上で，ロバストな制御効果を得ることを目標とする．そのための個別課題として，具体的には，1)深層学習を用いたデータ駆動型車両挙動モデルの開発とミクロ交通流シミュレーションへの実装，2)多種データの融合利用による全車両走行軌跡を動的に推定する手法の構築，3)モンテカルロ木探索を用いた車線変更を含むCA車両の挙動制御アルゴリズムの開発，に取り組んだ．
1)に関しては，前年度に構築したプロトタイプモデルをベースに，入力変数の精緻化とモデルの改良を行った．学習させるデータとしては，阪神高速道路が提供する車両走行軌跡データ（ztd）を用いた．その結果，時空間的なダイナミクスを表現できるような形で入力データを構造化することで，精度の向上が可能であることが明らかとなった．
2)に関して，昨年度まで使用していた交通流シミュレータでは，一旦，シミュレーションを停止してから車両を再配置してリスタートする際に，全車両の速度がリセットされる，ということが，推定精度を大きく低下させることが課題となっていた．そのため，シミュレーションのホットスタート機能と特定車両への介入制御機能を追加する取り組みをおこなった．
3)については，ボトルネックにおける交通状態を感知し，それに応じて上流区間でCA車両に対して車線変更を誘導するアルゴリズムを構築した．また，シミュレーション分析により．ショックウェーブの緩和が可能であることを示した．

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究領域課題番号】18K11600 (KAKENデータベースで見る）

【研究キーワード】

連続空間ゲーム / 深層学習 / 強化学習

【研究成果の概要】

本研究ではカーリングのような連続状態空間,連続アクション空間を対象にしたゲームについて,効果的な畳み込みニューラルネットワーク(CNN)の構成法を構築し,連続アクション空間でも可能な探索手法を提案,評価することを目的として,研究を開始した.
ネットワーク構造の構築,学習アルゴリズムの設計のために,より簡易化した問題を用いた様々な条件下での大量の実験が必要となり,2018年度に導入したGPU搭載並列計算機を用いての実験環境は整ってきたが,連続状態空間,連続アクション空間の例であるカーリングをターゲットとする上で,非決定性を持つ環境についての研究をすすめる必要があり,2021年度は不完全情報ゲームのうちでも扱いやすい同時手番ゲームについて，強解決することにより，学習の教師とすることを可能にすることを試みた．その際に，ある程度の大きさを持つゲームが必要であるため，状態数が 537,103個のR-Rivals というランダムな要素を含まない同時手番ゲームの2人零和ゲームのナッシュ均衡戦略を求めた．また，Content Generationの可能性を評価するため，タワーディフェンスゲームというジャンルのゲームのレベル（地図と敵の出現パターン）の敵対的生成ネットワーク（GAN）を用いた自動生成を試みた．タワーディフェンスゲーム自体は，連続状態空間,連続アクション空間を対象にしたゲームではないが，同様のアプローチは連続状態空間,連続アクション空間を対象にしたゲームにも適用できる可能性がある．
これらの研究成果はプログラムや解析結果のデータを公開することによって,今後の研究者がゲームを対象にした強化学習の評価をおこなう際の題材として利用可能にしている.

【研究種目】基盤研究(C)

【研究期間】2018-04-01 - 2023-03-31

【配分額】2,990千円 (直接経費: 2,300千円、間接経費: 690千円)