【研究領域課題番号】20H02267 (KAKENデータベースで見る）

【研究キーワード】

交通工学 / 機械学習 / 交通流理論 / 交通ネットワーク分析 / 統計的推定 / 強化学習 / スパースモデリング / 出発時刻選択問題 / 統計的機械学習 / シミュレーション

【研究成果の概要】

本研究はテーマA，B，Cに分かれて遂行する計画となっている．今年度はそれぞれのテーマで以下の研究に取り組んだ．テーマA：動的ネットワーク交通流の性質の交通工学理論に基づく数学的解析，テーマB：統計的機械学習に基づく交通状態・需要情報の推定・将来予測手法，テーマC：理想的な状況を仮定した強化学習による交通システム制御手法などを開発した．各テーマの具体的な成果を以下に述べる．Aでは，例えば道路利用者の属性に異質性がある場合の単純な道路ネットワーク上の出発時刻選択問題を解析することで，その動的利用者均衡配分と動的システム最適配分を導出し，それらの類似点と相違点を明らかにするとともに，実際の制御についての理論的な示唆を得た．テーマBでは，例えばスパースモデリングに基づく県間旅行行動の長期分析を行い，COVID-19のような大規模事象に応じてどのように需要が変化するかを明らかにした．また，GPSデータにもとづく都市規模の観光流動分析手法や，高速道路上の交通状態推定手法を開発した．さらに，交通サービスのユーザーの利用動向を観測し，その行動モデルを構築し交通サービス固有の状況との関係を明らかにした．テーマCでは，例えば強化学習手法として知られるQ学習を用い，比較的単純な道路ネットワークに対し観測可能な交通情報のみから最適な動的混雑課金を漸近的に求める手法を開発し，シミュレーションにより検証した．また，自動運転システムの運行計画を最適化するためのヒューリスティックなアルゴリズムを開発した．

【研究種目】基盤研究(B)

【研究期間】2020-04-01 - 2024-03-31

【配分額】17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)

【研究領域課題番号】19H02377 (KAKENデータベースで見る）

【研究キーワード】

交通システム / エージェントシミュレーション / 強化学習 / 深層学習 / 信号制御 / ライドシェア / MaaS / 機械学習 / グローカル制御 / HPC

【研究成果の概要】

本研究では，自動走行車の普及を見越した交通システムの適応進化型制御とサービスの提案をめざした．前者に関しては制御に用いるための交通流状態予測アルゴリズムを提案した．後者に関してはライドシェアサービス車両の配車アルゴリズムを提案し，リアルタイムに応答可能であるかどうかを評価した．またシミュレーションの基盤として交通流のハイブリッドモデル（流体近似モデル＋マルチエージェントモデル）を提案した．

【研究の社会的意義】

すべての人々に安全かつ安価で容易に利用できる，持続可能な輸送システムへのアクセスを提供することがSDGsに掲げられており，自動走行車を用いたライドシェアサービスはこれを達成するためのアプローチの1つである．加えて，ITSや自動走行車の普及に伴って取得される交通データの量が増大しており，これを効率よく処理して交通流を予測する技術もまた近い将来の交通システムに貢献するものである．

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】13,260千円 (直接経費: 10,200千円、間接経費: 3,060千円)

【研究領域課題番号】19K12173 (KAKENデータベースで見る）

【研究キーワード】

転移学習 / 認知心理学モデル / プロトタイプ理論 / 機械学習 / 強化学習 / マルチエージェントロボットシステム / マルチエージェント強化学習 / マルチロボット強化学習 / 認知的経済性

【研究成果の概要】

転移学習を用いた強化学習ロボットの認知的経済性を実現するため，学習知識のカテゴリ化とプロトタイプの抽出，知識選択の高速化について検討した．最短経路探索を対象に，活性化拡散モデルに基づく知識のネットワーク化，プロトタイプ理論に基づくK-means++を用いた知識のカテゴリ化，カテゴリ内知識の平均化によるプロトタイプ抽出を行い，計算機実験により学習時間の短縮を確認した．計算機クラスタを用いた並列計算による知識選択時の計算高速化を図り，自律移動ロボットに実装し効果を検証した．物体形状のカテゴリ化とプロトタイプ抽出のために，学習による物体のプリミティブ形状認識を行い，形状に適した物体操作を実現した．

【研究の社会的意義】

本研究の最終的な目標は，「直観」や「直感」といったヒトの無意識的な判断機構をモデル化し，学習ロボットに実装することである．これにより，知能ロボットの新たなタスクへの導入時に，環境の拘束条件の緩和，タスク適応的な行動の迅速な獲得，咄嗟の環境条件変化への対応などが期待できる．本研究課題では，その基礎検討として，認知心理学の知見である活性化拡散モデルおよびプロトタイプ理論の導入による強化学習ロボットの効率的かつ高速な知識のカテゴリ化と選択（認知的経済性）の方法について提案し，実験により検証した．本研究課題の成果は，学習ロボットや学習エージェントの実用化・普及への貢献が期待できる．

【研究種目】基盤研究(C)

【研究期間】2019-04-01 - 2022-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究領域課題番号】19H04121 (KAKENデータベースで見る）

【研究キーワード】

データセンター / 運用 / 人工知能 / スケジューラ / ログ収集 / 強化学習 / ジョブスケジューリング / 最適化 / オーバーコミット / システムモデル / スーパーコンピュータ / 深層学習 / AI / 計算機運用 / 機械学習 / センサーデータ / スケジューリング / サイバーフィジカルシステム

【研究成果の概要】

データセンターの運用の自動化のため、データセンターからのデータを取得して仮想空間上に再現する方法と、その仮想空間上で運用ポリシーを最適化する方法を研究した。
前者のデータ取得については、機器によるデータフォーマットの違いやデータの用途に依存することなく、様々な運用に役立つ汎用的なデータを多くのデータセンターから収集できる一般的なデータフォーマットと保存形式を定義することに成功した。後者の運用最適化については、制御方法を自動的に学習する強化学習を用いてジョブスケジューリングを最適化することに成功すると共に、その学習の場としてスケジューリングや冷却設備のシミュレータを実装した。

【研究の社会的意義】

データセンターの運用はより少ない資源で多くの計算需要を満たすための高度な技術であり、スケジューリングポリシーの設定、計算機のメンテナンス、さらには電力空調設備の運用やメンテナンスを含む専門的に高度な業務である。近年の労働人口減少に伴い、このような運用業務に携わる人材の確保は容易でなく、今後、益々増大する計算需要を安定的に満たすためには運用の省力化、少人化は必須の課題である。本研究の成果はこの要請に応じるものであり、設備運用やジョブスケジューリングをシミュレーションで再現する方法、さらにそれを用いて人工知能に最適な運用を試行錯誤させる方法を開発したものである。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究領域課題番号】18H01437 (KAKENデータベースで見る）

【研究キーワード】

次世代移動通信 / へトロジーニアス・ネットワーク / 干渉抑圧技術 / 機械学習 / 強化学習 / 教師無し学習 / 移動通信 / システム制御 / ニューラルネットワーク / 干渉抑圧 / 送信電力制御 / 送信ビームフォーミング制御 / Deep Learning / 誤差逆伝搬法 / Dropout / 変分法的ベイズ推定 / 干渉キャンセル / 送信制御 / EMアルゴリズム / Message-Passing アルゴリズム / 人工知能

【研究成果の概要】

次世代移動通信のへトロジーニアス・ネットワークにおいて，受信機も干渉キャンセル機能を有することを前提に，複雑かつ膨大な演算量を要する統合送信技術を低演算量で，かつ最適システム容量を達成するように制御することを検討した．
具体的には，MIMO (Multiple-Input Multiple-Output) 通信で7セル以上のセルラーシステムを想定し，受信機の干渉キャンセル機能として，線形受信では最適な MMSE (Minimum Mean Square Error) を検討した．全システムの通信路容量を最大にするよう，昨年度と同様，機械学習の強化学習 (Reinforcement Learning)を送信電力及び送信ビームフォーミングの制御に適用した．計算機シミュレーションにより，演算量が膨大となる最適化手法（全探索）に較べ，システム容量の劣化を抑えられ，かつ全探索よりも演算量を大幅に削減できることを確認した．
さらに，教師信号の情報を不要とするため，機械学習の教師無し学習 (Unsupervised Learning) を適用し，Adam Algorithmを用いて学習の収束速度向上を図った．加えて，3セル以上にも適用できるように，評価関数を修正して自律分散制御法の導入を検討した．計算機シミュレーションにより，7セル，3セクターアンテナのセルラーシステムにおいて，同様にシステム容量を改善できることを確認した．
上記の検討例は MMSE を前提にしていたが，現在，固有モード伝送及び注水定理に基づく送信電力制御を行い，1セルでの通信路容量を局小的に最大化し，これを他セルでも繰り返し行うことでシステム全体の通信路容量の最大化を検討しており，自律分散制御のための計算機シミュレーション・プログラムを作成中である．

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2023-03-31

【配分額】5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)

【研究領域課題番号】18K18898 (KAKENデータベースで見る）

【研究キーワード】

構造最適化 / 機械学習 / 強化学習 / 鋼構造骨組 / 建築骨組 / 構造設計 / 最適化

【研究成果の概要】

建築の鋼構造骨組を対象として，優れた構造性能を有する設計の特徴を，機械学習によって抽出する手法を開発した。その手法を用いて得られた部材の配置や断面性能の関係などのメタレベルの知識を用いることにより，優れた設計を少ない計算量で得ることができる手法を提案した。さらに，構造設計における逐次設計変更のプロセスをマルコフ決定過程としてモデル化し，強化学習を用いて学習することにより，さまざまな設計条件を満たす設計を求めることができるエージェントを開発した。また，機械学習の分野で有用とされている最適化手法が，ある種の最適設計に対して既存の手法よりも有用であることを明らかにした。

【研究の社会的意義】

大規模建築鋼構造骨組の優れた力学的性能につながる部材配置や部材断面の特徴量を，機械学習の手法であるサポートベクターマシンで求める手法を提案し，その手法を用いて，静的地震荷重に対する応答を最小化する問題に対する近似最適解を，少ない計算量で得られることを示した。また，構造設計において部材断面を逐次変更するプロセスをマルコフ決定過程としてモデル化し，強化学習を用いて最適方策を求めることにより，さまざまな実際的条件を考慮した構造設計を行うエージェントを開発した。さらに，交互方向乗数法や次元削減などの機械学習で用いられる手法に基づいて，扱いにくい最適設計問題に対して優れた近似解を得る手法を提案した。

【研究種目】挑戦的研究(萌芽)

【研究期間】2018-06-29 - 2020-03-31

【配分額】5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)

【研究分野】知能情報学

【研究領域課題番号】17H00757 (KAKENデータベースで見る）

【研究キーワード】

強化学習 / 機械学習 / 多腕バンディット問題 / 模倣学習 / ベイズ推論 / ロバスト性 / 多椀バンディット問題 / ロバスト化 / クラウドソーシング / 次元削減 / マルチタスク学習 / オンライン学習

【研究成果の概要】

本研究では，逐次的意思決定および確率的推論の理論とアルゴリズム構築を行った．強化学習の研究では，実用性向上を目指し弱教師付き模倣学習や複雑な問題の階層化などの手法を開発し，その有効性を実験的に示した．多腕バンディット問題の研究では，線形バンディット，比較バンディット，良腕識別，組み合わせバンディットなどに対する理論保証付きアルゴリズムを開発した．確率的推論の研究では，ベイズ推論のロバスト化や近似計算の高速化，および，時間とともに発生する事象のモデル化に関する研究を行い，理論的・実験的に有効性を検証した．

【研究の社会的意義】

逐次的意思決定や確率的推論は，今後の発展が大いに期待される重要な機械学習技術である．本研究では，強化学習や多腕バンディットの適用範囲を拡大する新しいアルゴリズムを開発するとともに，確率的推論のロバスト性向上や近似計算の高速化に関する研究を行った．このような基礎理論的な研究成果は，逐次的意思決定や確率的推論の原理の解明に貢献するものであり，機械学習分野の主要国際会議で学術的に高い評価を受けた．また，開発したアルゴリズムの有効性は計算機実験によって示されており，将来の社会実装につながる社会的意義のある開発であるとも考えられる．

【研究種目】基盤研究(A)

【研究期間】2017-04-01 - 2022-03-31

【配分額】44,980千円 (直接経費: 34,600千円、間接経費: 10,380千円)

【研究分野】人工物システムの強化

【研究領域課題番号】17KT0044 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / 持続可能性 / 分業 / 強化学習 / 交渉 / 自律分散システム / タスク委託 / ノルム / 進化計算 / 協調体制 / 交渉プロトコル / 巡回問題 / 分業体制 / 人工知能、 / エージェント / 機械学習 / 協調

【研究成果の概要】

本研究では、自律的に判断をする複数のエージェント（自走ロボットなど）から構成されるマルチエージェントシステムにおいて、システムの持続可能性や頑健性を維持するために必須な、取替・更新・定期点検などで停止したときに発生する、一時的な効率・性能低下を緩和するために、エージェント達が自らのタスクを委託し合う交渉手法と、全体の効率を上げるための自律的な組織化・分業化を達成する学習法を追求した。成果は、当該分野でのトップレベルの国際会議で採択されるなど、学術的な評価を得ているものと考える

【研究種目】基盤研究(B)

【研究期間】2017-07-18 - 2022-03-31

【配分額】18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円)

【研究分野】ウェブ情報学・サービス情報学

【研究領域課題番号】16H02907 (KAKENデータベースで見る）

【研究キーワード】

逆強化学習 / 強化学習 / 多目的最適化 / 社会シミュレーション / 行動規範 / マルチエージェントシミュレーション / 行動科学 / 最適化 / 敵対的生成ネットワーク / マルチエージェント / メカニズムデザイン / マルチエージェント強化学習 / 多目的強化学習 / 深層強化学習 / ソフトコンピューティング / 機械学習 / 都市計画 / 土木環境システム / 避難行動の規範抽出 / 鉄道運行整理 / 分散深層強化学習 / データ同化 / 対話 / 自然災害 / 認知科学 / エージェント / 人工知能

【研究成果の概要】

本課題では，都市交通が頑健かつ柔軟に機能する状況を「レジリエンス」と定義し，これを実現する上で，情報インフラや人の状況判断，法制度の３つのソフトインフラの連携が必要との立場から研究を進めてきた．特に緊急時の二次被害減災は人の行動が鍵であるとし，人の挙動特性を考慮した都市交通システム設計法を提案した．災害における人の行動の規範は，過去の似た状況の記憶に影響を受けるため，正しい情報を直接提供するよりも，最適な行動選択を促す方が効果的であることを確かめた．また，人流の軌跡から行動規範の推定法として，遺伝的アルゴリズムと逆強化学習を導入した２つの方法を提案した．

【研究の社会的意義】

災害時，都市交通機能の停止は，人々の移動手段を奪うが，その後の情報提供や運転再開についての意思決定が重要である．SNSなどによる不確かな情報の錯綜による混乱はもちろん，運営側の運転再開に関する誤った意思決定や避難誘導はさらなる二次災害を引き起こす．本研究の学術的貢献として，災害時の人の意思決定傾向や，情報の局所性，曖昧性を考慮した運営側，あるいは政府による最適な避難誘導案の生成支援が挙げられる．また，社会的意義として，人の意思決定傾向を踏まえた混乱や混雑が生じる状況や場所を予測可能にしたこと，および，本結果に基づいた法の見直しの根拠を与えることを可能にした点を挙げる．

【研究種目】基盤研究(B)

【研究期間】2016-04-01 - 2019-03-31

【配分額】15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)

【研究分野】知能ロボティクス

【研究領域課題番号】15K00366 (KAKENデータベースで見る）

【研究キーワード】

ロボット工学 / インタラクション / 機械学習 / ロボット / 強化学習 / 遊び / 動物実験 / 遊び行動

【研究成果の概要】

ラットの「遊び行動」を研究するための実験系の構築に取り組んだ．まず，ラットと遊び行動を行う新たな小型移動ロボットを開発した．ラットとロボットの遊び行動をリアルタイムで計測するシステムと，その計測結果にもとづいてロボットの行動を制御するシステムについても構築した．これらを用いて，機械学習によって，ロボットがラットとのインタラクションを通して，適応的に遊び行動を獲得することを試みた．
その結果，学習が比較的短時間で収束することが確認された．学習結果にもとづいてロボットが行動する場合，ラットの活動性を高めるなど，ラットとの間に遊び行動が成立することが確認できた．

【研究種目】基盤研究(C)

【研究期間】2015-04-01 - 2018-03-31

【配分額】4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)

【研究分野】知能情報学

【研究領域課題番号】25700022 (KAKENデータベースで見る）

【研究キーワード】

機械学習 / 情報量 / 密度比 / 密度差 / 密度微分 / 教師付き学習 / 教師なし学習 / 強化学習 / クラス事前確率推定 / 次元削減 / リーマン幾何 / 類似度 / ダイバージェンス / 密度差推定

【研究成果の概要】

本研究では，密度比や密度差を各密度を推定することなく直接学習する手法を開発し，それらに基づく様々な機械学習アルゴリズムを開発した．具体的には，半教師付き分類アルゴリズム，教師なしクラスタリングアルゴリズム，教師付き因果推論アルゴリズム，教師付き次元削減アルゴリズム，教師なし次元削減アルゴリズム，正例とラベルなしデータからの分類アルゴリズム，ターゲットシフト下での教師付き学習法，異ドメイン間オブジェクト適合法などを開発した．また，密度微分を密度を推定することなく直接学習する手法も開発し，モード回帰アルゴリズム，非正規成分分析アルゴリズムなどを開発した．

【研究種目】若手研究(A)

【研究期間】2013-04-01 - 2017-03-31

【配分額】25,350千円 (直接経費: 19,500千円、間接経費: 5,850千円)

【研究分野】統計科学

【研究領域課題番号】23240043 (KAKENデータベースで見る）

【研究キーワード】

医療・福祉 / 機械学習 / 統計数学 / 知識表現 / 循環器・高血圧 / 強化学習

【研究成果の概要】

本研究課題では、日常の診療行為の中で日々生み出される膨大な臨床情報をより高度に活用するための新たな統計解析手法を開発することを目的とした研究を実施した。治療過程を患者と医師とのインタラクションとみなす立場から、マルコフ決定過程を用いて医療臨床時系列データをモデル化し、強化学習や逆強化学習などの手法を用いて、患者の状態の価値や、医師の処方の価値を評価するという新たな分析の枠組みを提案した。そうした分析を容易に実行するためのツール群を整備し、臨床データを可視化しながら、医師にとって重要な意味のあるデータ群を抽出し、分析することを可能にした。

【研究種目】基盤研究(A)

【研究期間】2011-04-01 - 2014-03-31

【配分額】47,970千円 (直接経費: 36,900千円、間接経費: 11,070千円)

【研究分野】知能情報学

【研究領域課題番号】20680007 (KAKENデータベースで見る）

【研究キーワード】

学習と知識獲得 / 知能情報処理 / 機械学習 / データマイニング / 非定常環境適応 / 共変量シフト / 重点サンプリング / 重要度重み / ロボット制御 / 強化学習 / 政策反復法 / 政策探索法 / 非定常環境 / 密度比推定

【研究成果の概要】

従来の機械学習の研究では,データが生成される環境が時間とともに変化しないという大前提のもとで理論やアルゴリズムが構築されてきた.しかしながら,近年の応用場面ではそのような定常性が成り立たない場合が多い.そこで本研究プロジェクトでは,環境の変化に対応するための基礎理論,および,実用的なアルゴリズム開発を行なった.そして,その成果をロボティックス,画像認識,脳波解析,音声識別,自然言語処理など様々な分野に応用した.

【研究種目】若手研究(A)

【研究期間】2008 - 2011

【配分額】25,480千円 (直接経費: 19,600千円、間接経費: 5,880千円)

【研究分野】知能情報学

【研究領域課題番号】15500095 (KAKENデータベースで見る）

【研究キーワード】

神経回路網モデル / 再帰型神経回路網 / 文法学習 / 言語モデル / 浅い意味解析 / 強化学習 / 機械学習

【研究成果の概要】

人工神経回路網における学習モデルとして、複数の強化学習エージェントがあり、しかも、的確になりうるモジュールが複数あるという枠組みを検討した。その結果、複数の強化学習エージェントが競合しながら学習する機構を考案し、シミュレーションでその有効性を確認した。さらに、再帰型ニューラルネットワーク(RNN)を2種類用いて文法獲得をさせた。一方のRNNは、他方のRNNの神経素子活動をモニタしながら、活動状況を入力として学習を行う。その結果、構文範疇の獲得が可能となり、また損傷に対してロバストな回路を構築することができた。
構文解析方法の獲得モデルとして、shift-reduceパーザーを獲得する実験を行った。Penn TreeBankの中のATISコーパスを対象としILPを用いた。従来方法の欠点(実行時の高メモリ・時間コスト)を軽減するため学習単位を統語範疇とし、合理的な負例を生成するため統語範疇レベルでの負例生成方法を案出した。さらに、解析木上の誤りを負例として学習しなおす再学習機構を考えた。これにより、正解率が90%弱にまで向上することが確かめられた。
有限状態オートマトンは、脳内知識を表現する手段としては充分強力であるが、それを伝達することは一般に不可能である。そこで、近似的に、しかも、比較的短い時間で伝達する手法を検討した。一つの方法として強化学習を用いる手法を検討し、実行可能であることを示した。範疇候補を数多く用意し、それらを知識伝達に試用し、その中から最適なものを発見する方法を考案した。再帰型神経回路網を用いた数値シミュレーションの結果、学習誤差に着目するのみで、もとの文法範疇(またはその細分)が再構築できることが確認できた。

【研究種目】基盤研究(C)

【研究期間】2003 - 2005

【配分額】3,700千円 (直接経費: 3,700千円)

【研究分野】知能情報学

【研究領域課題番号】13780270 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェント / 機械学習 / 協調学習 / 強化学習 / 確率推定 / サッカーエージェント / RoboCup / チャンキング

【研究成果の概要】

昨年度は,人間のサッカープレイヤに類似した学習方法によって,他プレイヤの行動の予測と状況のリスク計算の最適化を行うサッカーエージェントを構築したが,本年度は,構築した学習エージェントが,(1)チームプレーに関する学習を行わない既存のRoboCupチーム以上のパフォーマンスを示せるかどうかを実験的に検証した上で,(2)適切なパスの受渡しにとって重要なファクターである,パスの強さとプレイヤの移動速度のバランスをシステマティックに設定する方法を提案するための予備実験を行った。
(1)に関しては,学習の課題として,1.味方間でパスが通れば報酬がもらえる課題(ボール支配課題),2.エンドラインを突破すれば報酬がもらえる課題(防御突破課題),3.11対11形式のゲームによる学習結果の確認,の3種類のシミュレーション実験を行った。比較対象は,申請者らがペースとして用いた,かつてのNo.1チームYowAIである。その結果,ボール支配課題に関しては,申請者の学習エージェントのボール支配時間がYowAIエージェントのそれを有意に上回り,防御突破課題に関しては,学習エージェントのアタッカチームがYowAIエージェントに比較して高い防御突破課題の達成率を示し,11対11のゲームに関しては,申請者のチームが30戦中16勝8敗6引き分けであった。したがって,申請者が提案した学習方法が動的環境下におけるマルチエージェント学習の方法として優れていることが,サッカーエージェントにおけるパフォーマンスの比較から示された。
(2)に関しては,まず,3対2の中盤におけるボール支配を課題としたシミュレーションを行い,グリッドサイズとダッシュ時のプレイヤ移動速度を一定とし,パスの強さのみを変化させた.その変化に応じてボール支配時間が変化することを確認した。さらに,パスの強さに応じたパスの受渡しの変化を調べた結果,近距離パスが通りやすいパラメータ設定と,遠距離パスが通りやすいパラメータ設定があることが明らかとなった。

【研究種目】若手研究(B)

【研究期間】2001 - 2002

【配分額】2,500千円 (直接経費: 2,500千円)

【研究分野】知能情報学

【研究領域課題番号】12680387 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / マルチエージェント強化学習 / 強化学習 / 機械学習 / 進化計算 / ニューラルネットワーク / 実数値GA / 最適化 / 共進化 / 世代交代モデル / 自律エージェント / 進化的計算 / ニューラルネット / 人工知能 / 分散人工知能 / 実数値遺伝的アルゴリズム

【研究成果の概要】

近年,強化学習手法を応用して,マルチエージェント環境におかれたエージェント群そのものに,試行錯誤な相互作用を行わせ,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み("マルチエージェント強化学習"と呼ぶ)が数多くなされている.しかし,マルチエージェント環境におかれたエージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの状態空間は組合せ的に爆発してしまう.
本研究の代表者らは,適度に圧縮表現された状態空間上で各エージェントが学習可能なマルチエージェント強化学習手法を提案し,それにより上記の状態空間の爆発が回避し得ることを実験的に示してきた.平成12年度は,この手法と進化計算を併用することによって,エージェント群に,状態空間の爆発を回避するための適切な状態空間表現を自動的に獲得させながら,それらが採用すべき協調行動を効果的に組織化させるための手法を提案した.提案手法は,マルチエージェントシステムを構成するエージェントの状態表現およびその行動政策を人手に頼ることなく自動的に設計するための要素技術を提供する.
平成13年度は,状態空間の爆発を回避可能な新しいマルチエージェント強化学習手法として,エージェントの行動政策を予め構造が決定されたニューラルネットにより表現すると共に,その重みベクトルを実数値GAにより最適化することに基礎をおく"進化型ニューラルネット手法"に基づく手法を提案した.提案手法は,連続値/離散値が混在する入出力への対応,連続/離散時間による意思決定への対応,大規模な問題への対応,大域的に良好な行動政策の獲得への対応など,従来手法にはない優れた特色を有しており,マルチエージェントシステムの自動設計のための汎用的な要素技術を提供する.

【研究種目】基盤研究(C)

【研究期間】2000 - 2001

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】知能情報学

【研究領域課題番号】12680369 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェント / 機械学習 / 協調学習 / サッカーエージェント / 強化学習 / RoboCup / 確率推定 / 適応学習 / 協調 / 戦術 / ベイズ推定

【研究成果の概要】

本研究は,実際のサッカーの指導で戦術がいかに獲得されるかを参考に,小人数による練習課題の達成,グリッドによる適切な認知地図の獲得,そして,適応学習によるプレーの最適化を軸にした協調戦術決定学習アルゴリズムを提案し,そのパフォーマンスをシミュレーションにより検証したものである.エージェントは環境をグリッド化して知覚することで有限の状態変数空間を持ち,この状態変数の遷移を条件付き確率によって予測することで他エージェントの振舞いの傾向を知り,この予測と各状態変数の効用から期待効用を計算し,これを最大化する戦術を選択する.練習を通じエージェントは状態間の条件付確率と効用関数を学習することができる.
本研究では,まず3×4の離散グリッドフィールドで,3対2のミニゲームを対象にシミュレーションを行った.3攻撃エージェントと2防御エージェントはそれぞれエンドラインの突破課題と防御課題の達成時に状態の効用値を強化した.シミュレーションの結果,学習によって壁パスやワン・ツー・パスのような局所的協調戦術が獲得されること,および数的に優位な攻撃チームのミニゲームでの勝率が安定して高くなること,が確認された.
次に,連続空間でのシミュレーションをRoboCup標準サッカーサーバ環境で行うための予備的実験を行った.各エージェントの周囲に相対的なグリッドを内部モデルとして与え,各グリッドをパス到達可能性や敵味方の寡多により変数化し,離散空間でのエージェント同様,条件付き確率により予測し,課題の達成により状態の効用値を学習する方式を採用した.予備的なシミュレーションの結果,区切られた学習領域でのディフェンスライン突破課題に基づき学習したエージェントを,11対11のゲームの中盤で用いると,学習エージェントの参加したチームは,学習を行わないエージェントのチームに対して優勢であることが示された.

【研究種目】基盤研究(C)

【研究期間】2000 - 2001

【配分額】3,700千円 (直接経費: 3,700千円)

【研究分野】知能機械学・機械システム

【研究領域課題番号】12750204 (KAKENデータベースで見る）

【研究キーワード】

知能ロボット / 機械学習 / 情報理論 / 概念学習 / 強化学習 / 環境地図獲得 / 状態抽象化 / 行動獲得

【研究成果の概要】

本研究の最終年度である本年度は、主に2つの具体的なタスクを対象として取り上げ、ロボットの学習戦略に関する本研究の提案手法を適用した。その2つのタスクとは、・環境報酬に基づく反射的ルール獲得・定性的な観測情報に基づく環境地図の学習である。まず、前者については、従来ロボット学習の分野では別個に扱われてきた帰納的概念学習法と強化学習法とを統合する方法を情報理論的な立場から提案した。この成果は別掲のように雑誌論文で発表済みである。
また、後者については、従来ロボット設計者が暗黙のうちにプログラムに埋め込んでいた環境に関する定性的知識をロボット自身が処理し、環境地図を学習する新しい手法を提案した。この成果も国際学会等で発表され、また雑誌論文に投稿中である。
以上のように、本研究で得られた成果はロボット学習分野において非常に新規性・意義に富んだものであり、本課題が終了した後もさらに発展的なテーマに取り組んで行く予定である。

【研究種目】奨励研究(A)

【研究期間】2000 - 2001

【配分額】2,200千円 (直接経費: 2,200千円)