【研究領域課題番号】19H04121 (KAKENデータベースで見る）

【研究キーワード】

データセンター / 運用 / 人工知能 / スケジューラ / ログ収集 / 強化学習 / ジョブスケジューリング / 最適化 / オーバーコミット / システムモデル / スーパーコンピュータ / 深層学習 / AI / 計算機運用 / 機械学習 / センサーデータ / スケジューリング / サイバーフィジカルシステム

【研究成果の概要】

データセンターの運用の自動化のため、データセンターからのデータを取得して仮想空間上に再現する方法と、その仮想空間上で運用ポリシーを最適化する方法を研究した。
前者のデータ取得については、機器によるデータフォーマットの違いやデータの用途に依存することなく、様々な運用に役立つ汎用的なデータを多くのデータセンターから収集できる一般的なデータフォーマットと保存形式を定義することに成功した。後者の運用最適化については、制御方法を自動的に学習する強化学習を用いてジョブスケジューリングを最適化することに成功すると共に、その学習の場としてスケジューリングや冷却設備のシミュレータを実装した。

【研究の社会的意義】

データセンターの運用はより少ない資源で多くの計算需要を満たすための高度な技術であり、スケジューリングポリシーの設定、計算機のメンテナンス、さらには電力空調設備の運用やメンテナンスを含む専門的に高度な業務である。近年の労働人口減少に伴い、このような運用業務に携わる人材の確保は容易でなく、今後、益々増大する計算需要を安定的に満たすためには運用の省力化、少人化は必須の課題である。本研究の成果はこの要請に応じるものであり、設備運用やジョブスケジューリングをシミュレーションで再現する方法、さらにそれを用いて人工知能に最適な運用を試行錯誤させる方法を開発したものである。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2022-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究領域課題番号】19H00597 (KAKENデータベースで見る）

【研究キーワード】

創造性 / 洞察問題解決 / 計算論的アプローチ / fMRI / イノベーション / 拡散思考 / 収束思考 / Q学習 / 探索 / 活用 / 脳神経基盤 / グループダイナミクス / 強化学習 / 生体データ / 認知特性 / 集団力学 / AI

【研究成果の概要】

2021年度は、主に２つの実験を実施した。第一に、神戸大学の学部学生を対象とした大規模実験を実施した。具体的には、2020年度と同様、Psytoolkitでプログラムした心理実験（２腕バンディット）を、個人、ダイアド（２名のグループ）、トライアド（３名のグループ）に対して実施した。それに加え、今年度はAUT（alternative use test）テストを実施した。これは拡散思考、創造性を測定するテストであり、このテストによって、これらの個人、集団の創造性のパフォーマンスについても測定した。その結果、昨年度の研究では明らかにすることができなかったグループレベルでの学習特性が創造性パフォーマンスにどのような影響を与えているのかについて分析することができた。データ分析の結果、個人、グループの創造性のパフォーマンスは、リスク愛好度や探索志向性に大きく影響されることが明らかになった。また、創造性のパフォーマンスはダイアドが最も低く、個人、トライアドが高いパフォーマンスを示すことがわかった。これは昨年度に実施した認知課題に対しるパフォーマンスの個人、ダイアド、トライアド、テトラッド間での比較分析結果と整合的なものであった。
第二に、生理学研究所の協力を得て、2019年度、2020年度に個人を対象に実施したfMRI検査に対し、そのデータ解析を進めた。これらの年度では２つのfMRI実験を実施し、そのデータ解析の概要は得られている。それらの結果を１つの論文にまとめるため、検討を続けている。それに加え、今年度は２名のコミュニケーション活動を取り入れたうえで、同様のfMRI実験を実施した。ただし、実験実施時においてコロナ感染状況が悪化したため、当初予定していた被験者数を集めることができず、次年度に追試を実施していく予定である。

【研究種目】基盤研究(A)

【研究期間】2019-04-01 - 2024-03-31

【配分額】36,920千円 (直接経費: 28,400千円、間接経費: 8,520千円)

【研究領域課題番号】18H01437 (KAKENデータベースで見る）

【研究キーワード】

次世代移動通信 / へトロジーニアス・ネットワーク / 干渉抑圧技術 / 機械学習 / 強化学習 / 教師無し学習 / 移動通信 / システム制御 / ニューラルネットワーク / 干渉抑圧 / 送信電力制御 / 送信ビームフォーミング制御 / Deep Learning / 誤差逆伝搬法 / Dropout / 変分法的ベイズ推定 / 干渉キャンセル / 送信制御 / EMアルゴリズム / Message-Passing アルゴリズム / 人工知能

【研究成果の概要】

次世代移動通信のへトロジーニアス・ネットワークにおいて，受信機も干渉キャンセル機能を有することを前提に，複雑かつ膨大な演算量を要する統合送信技術を低演算量で，かつ最適システム容量を達成するように制御することを検討した．
具体的には，MIMO (Multiple-Input Multiple-Output) 通信で7セル以上のセルラーシステムを想定し，受信機の干渉キャンセル機能として，線形受信では最適な MMSE (Minimum Mean Square Error) を検討した．全システムの通信路容量を最大にするよう，昨年度と同様，機械学習の強化学習 (Reinforcement Learning)を送信電力及び送信ビームフォーミングの制御に適用した．計算機シミュレーションにより，演算量が膨大となる最適化手法（全探索）に較べ，システム容量の劣化を抑えられ，かつ全探索よりも演算量を大幅に削減できることを確認した．
さらに，教師信号の情報を不要とするため，機械学習の教師無し学習 (Unsupervised Learning) を適用し，Adam Algorithmを用いて学習の収束速度向上を図った．加えて，3セル以上にも適用できるように，評価関数を修正して自律分散制御法の導入を検討した．計算機シミュレーションにより，7セル，3セクターアンテナのセルラーシステムにおいて，同様にシステム容量を改善できることを確認した．
上記の検討例は MMSE を前提にしていたが，現在，固有モード伝送及び注水定理に基づく送信電力制御を行い，1セルでの通信路容量を局小的に最大化し，これを他セルでも繰り返し行うことでシステム全体の通信路容量の最大化を検討しており，自律分散制御のための計算機シミュレーション・プログラムを作成中である．

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2023-03-31

【配分額】5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)

【研究分野】人工物システムの強化

【研究領域課題番号】17KT0044 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / 持続可能性 / 分業 / 強化学習 / 交渉 / 自律分散システム / タスク委託 / ノルム / 進化計算 / 協調体制 / 交渉プロトコル / 巡回問題 / 分業体制 / 人工知能、 / エージェント / 機械学習 / 協調

【研究成果の概要】

本研究では、自律的に判断をする複数のエージェント（自走ロボットなど）から構成されるマルチエージェントシステムにおいて、システムの持続可能性や頑健性を維持するために必須な、取替・更新・定期点検などで停止したときに発生する、一時的な効率・性能低下を緩和するために、エージェント達が自らのタスクを委託し合う交渉手法と、全体の効率を上げるための自律的な組織化・分業化を達成する学習法を追求した。成果は、当該分野でのトップレベルの国際会議で採択されるなど、学術的な評価を得ているものと考える

【研究種目】基盤研究(B)

【研究期間】2017-07-18 - 2022-03-31

【配分額】18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円)

【研究分野】ウェブ情報学・サービス情報学

【研究領域課題番号】16K00417 (KAKENデータベースで見る）

【研究キーワード】

推薦システム / マルコフ決定過程 / 顧客クラス / 新規顧客 / 動的計画法 / 半教師付き学習 / EMアルゴリズム / 統計的決定理論 / 商品推薦システム / 新規顧客問題 / ニューラルネットワーク / 強化学習 / ベイズ基準 / マルコフ連鎖 / 人工知能

【研究成果の概要】

マルコフ決定過程（MDP）を用いて顧客クラスが変化する推薦システムのモデル化を行った。遷移確率が既知の場合に総売上の期待値を最大化する推薦方法を提案した。また、遷移確率が未知の場合の半教師付き学習方法も提案した。
MDPを用いて推薦システムにおける新規顧客に対する質問方法のモデル化も行った。遷移確率が既知の場合に総売上の期待値を最大化する質問方法を提案した。また、遷移確率が未知の場合の半教師付き学習方法も提案した。

【研究種目】基盤研究(C)

【研究期間】2016-04-01 - 2019-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】ウェブ情報学・サービス情報学

【研究領域課題番号】16H02907 (KAKENデータベースで見る）

【研究キーワード】

逆強化学習 / 強化学習 / 多目的最適化 / 社会シミュレーション / 行動規範 / マルチエージェントシミュレーション / 行動科学 / 最適化 / 敵対的生成ネットワーク / マルチエージェント / メカニズムデザイン / マルチエージェント強化学習 / 多目的強化学習 / 深層強化学習 / ソフトコンピューティング / 機械学習 / 都市計画 / 土木環境システム / 避難行動の規範抽出 / 鉄道運行整理 / 分散深層強化学習 / データ同化 / 対話 / 自然災害 / 認知科学 / エージェント / 人工知能

【研究成果の概要】

本課題では，都市交通が頑健かつ柔軟に機能する状況を「レジリエンス」と定義し，これを実現する上で，情報インフラや人の状況判断，法制度の３つのソフトインフラの連携が必要との立場から研究を進めてきた．特に緊急時の二次被害減災は人の行動が鍵であるとし，人の挙動特性を考慮した都市交通システム設計法を提案した．災害における人の行動の規範は，過去の似た状況の記憶に影響を受けるため，正しい情報を直接提供するよりも，最適な行動選択を促す方が効果的であることを確かめた．また，人流の軌跡から行動規範の推定法として，遺伝的アルゴリズムと逆強化学習を導入した２つの方法を提案した．

【研究の社会的意義】

災害時，都市交通機能の停止は，人々の移動手段を奪うが，その後の情報提供や運転再開についての意思決定が重要である．SNSなどによる不確かな情報の錯綜による混乱はもちろん，運営側の運転再開に関する誤った意思決定や避難誘導はさらなる二次災害を引き起こす．本研究の学術的貢献として，災害時の人の意思決定傾向や，情報の局所性，曖昧性を考慮した運営側，あるいは政府による最適な避難誘導案の生成支援が挙げられる．また，社会的意義として，人の意思決定傾向を踏まえた混乱や混雑が生じる状況や場所を予測可能にしたこと，および，本結果に基づいた法の見直しの根拠を与えることを可能にした点を挙げる．

【研究種目】基盤研究(B)

【研究期間】2016-04-01 - 2019-03-31

【配分額】15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)

【研究分野】知能情報学

【研究領域課題番号】12680387 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / マルチエージェント強化学習 / 強化学習 / 機械学習 / 進化計算 / ニューラルネットワーク / 実数値GA / 最適化 / 共進化 / 世代交代モデル / 自律エージェント / 進化的計算 / ニューラルネット / 人工知能 / 分散人工知能 / 実数値遺伝的アルゴリズム

【研究成果の概要】

近年,強化学習手法を応用して,マルチエージェント環境におかれたエージェント群そのものに,試行錯誤な相互作用を行わせ,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み("マルチエージェント強化学習"と呼ぶ)が数多くなされている.しかし,マルチエージェント環境におかれたエージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの状態空間は組合せ的に爆発してしまう.
本研究の代表者らは,適度に圧縮表現された状態空間上で各エージェントが学習可能なマルチエージェント強化学習手法を提案し,それにより上記の状態空間の爆発が回避し得ることを実験的に示してきた.平成12年度は,この手法と進化計算を併用することによって,エージェント群に,状態空間の爆発を回避するための適切な状態空間表現を自動的に獲得させながら,それらが採用すべき協調行動を効果的に組織化させるための手法を提案した.提案手法は,マルチエージェントシステムを構成するエージェントの状態表現およびその行動政策を人手に頼ることなく自動的に設計するための要素技術を提供する.
平成13年度は,状態空間の爆発を回避可能な新しいマルチエージェント強化学習手法として,エージェントの行動政策を予め構造が決定されたニューラルネットにより表現すると共に,その重みベクトルを実数値GAにより最適化することに基礎をおく"進化型ニューラルネット手法"に基づく手法を提案した.提案手法は,連続値/離散値が混在する入出力への対応,連続/離散時間による意思決定への対応,大規模な問題への対応,大域的に良好な行動政策の獲得への対応など,従来手法にはない優れた特色を有しており,マルチエージェントシステムの自動設計のための汎用的な要素技術を提供する.

【研究種目】基盤研究(C)

【研究期間】2000 - 2001

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】知能情報学

【研究領域課題番号】10680384 (KAKENデータベースで見る）

【研究キーワード】

マルチエージェントシステム / 強化学習 / 進化的計算 / マルチエージェント強化学習 / 人工知能 / 協調行動 / エージェント / マルチエージェン強化学習 / 分散人工知能 / 創発

【研究成果の概要】

近年,強化学習手法を応用して,マルチエージェント環境におかれた自律エージェント群そのものに,試行錯誤な相互作用を行わせ,それらが採用すべき協調行動をボトムアップ的に組織化させ,それによってマルチエージェントシステムの設計者を支援しようとする試み("マルチエージェント強化学習"と呼ぶ)が数多くなされている.しかし,マルチエージェント環境におかれた自律エージェント群に,従来の強化学習を適用して適切な協調行動を獲得させようとすると,各エージェントの状態空間は組合せ的に爆発してしまう.
本研究の代表者らは,各エージェントを適度に圧縮表現された状態空間上で強化学習させることによって,この問題点を回避し得ることを実験的に示してきた.この成果は強化学習に基づく現実的なマルチエージェントシステムの設計支援の可能性を示したという意味では重要であるが,これをさらに現実的なマルチエージェント強化学習手法として発展させるためには,状態空間の適切な圧縮表現を自動的に設計するための手法を確立する必要があった.
本研究では,代表者らが提案してきた上記のマルチエージェント強化学習手法と進化的計算を併用することによって,エージェント群に,適切な状態空間表現を自動的に獲得させながら,それらが採用すべき協調行動を効果的に組織化させるための手法を提案した.提案手法は,(i)状態空間の適切な圧縮表現の自動獲得を目指して提案されている従来手法よりも優れた圧縮表現を安定的に獲得可能であること,(ii)人手によって試行錯誤的に設計された圧縮表現よりも優れた圧縮表現を獲得可能であることが実験的に確認されており,マルチエージェントシステムを構成する自律エージェントの状態表現およぴその行動政策を人手に頼ることなく自動的に設計するための強力な要素技術を提供する.

【研究種目】基盤研究(C)

【研究期間】1998 - 1999

【配分額】1,000千円 (直接経費: 1,000千円)