【研究領域課題番号】20H04239 (KAKENデータベースで見る）

【研究キーワード】

不確実性 / 機械学習 / 確率予測 / 深層学習 / 医用画像 / 細胞画像 / 汎化能力 / 学習理論 / PAC Bayes

【研究成果の概要】

深層学習の診断予測確率を補正する方法を開発し，機械学習分野の難関国際会議であるAISTATS2021で発表した．
医療の現場では, 症例に関する識別結果よりもその症例である可能性の確率を出力することが重要視される場合がある．例えば今回の研究で具体的に扱った血液検査ではすべての細胞を肉眼で網羅的にチェックすることができないため，異常細胞をその異常確率でリストアップすることは重要である．また，明らかに異常細胞というのが分かるだけでなく，人の判断が分かれるような不確実なデータに対してその不確実性を定量化することが重要である．
しかし，深層学習を用いた判断では，その予測確率を出力すると自信過剰な確率予測をすることが知られている．例えば，99%の確率でこの細胞はがん細胞であると判断したのであれば，そのような細胞画像を100枚持ってくれば，その中で判断の誤りは1枚程度であることが望ましいものの実際には，自信過剰に，つまり，多くの判断で高い(極端な)確率を出力をして判断結果を出力してしまう．本研究では，特に医療分野を背景とし，１つのデータに対して複数人が判断をする場合を想定し，その判断の正答率を反映し予測確率を補正するalpha-calibrationを提案した．提案手法は学習済モデルに対して補正することができるので再学習する必要はない．この方法は単なる予測の不確実性だけでなく，人の判断の不一致度も推定することができるため専門家の判断が難しい症例の予測が可能となる．さらに専門家の判断により予測確率を更新することができるためセカンドオピニオンの必要性も定量化可能である．

深層学習における確率的勾配の性質を拡散定理により解析し機械学習の難関国際会議であるICLRで発表した．確率的勾配に現れる摂動の性質に着目し，学習のダイナミクスを解析することで損失関数の非平坦な解への回避に関する性質を解明した．

【研究種目】基盤研究(B)

【研究期間】2020-04-01 - 2025-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究領域課題番号】18K18114 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / 関数推定 / ノンパラメトリック統計 / 汎化誤差 / ノンパラメトリック統計学 / 学習理論 / ミニマックス最適性 / 機械学習

【研究成果の概要】

当該研究計画の概要は、深層学習の原理を説明することができる理論の構築である。深層学習は実用上で高い性能を発揮しているが、その原理は未解明の点が多く、この性能を説明できる理論は未だ発展途上である。
当該研究課題では、以下のような成果を得た: (i)データを生成する真の関数が特異性などの特殊な性質を持つ場合、深層学習の優位性が示されることを証明した。(ii) 深層学習の複雑な非凸損失関数が過学習を回避できることを示す理論を開発した。(iii) 深層学習モデルでも過剰パラメータ下での二重降下現象が起こることを示した。(iv)理論的な知見を用いて非凸最適化問題を解くアルゴリズムを開発した。

【研究の社会的意義】

深層学習は、その高い性能から強い注目を集め、社会の各所で応用されている重要な技術である。今回のAIブームにおいて、深層学習によって実現する技術は数多い。
しかしながら、深層学習の原理は未だ十分に解明されていないのが現状である。その結果として、深層学習の欠点である膨大な計算コストや、ブラックボックスな挙動などの問題点は、未解決のまま残っている。これらの問題を根本から解決するには、基礎研究を通じて深層学習の原理を理解し、抜本的な解決手法を開発することが望まれる。
本研究はその試みの一端として、深層学習という新しい技術を数学的に記述することを試み、そして深層学習の成功の要因を明らかにする理論を構築した。

【研究種目】若手研究

【研究期間】2018-04-01 - 2022-03-31

【配分額】3,900千円 (直接経費: 3,000千円、間接経費: 900千円)

【研究領域課題番号】18H03201 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / カーネル法 / 汎化誤差解析 / ノンパラメトリック統計 / モデル圧縮 / 機械学習 / 確率的最適化 / 統計的学習理論 / 汎化誤差 / 数理統計 / 高次元統計 / 学習理論 / 構造解析 / 最適化

【研究成果の概要】

深層学習は現在機械学習でも中心的な役割を果たしており，多くのタスクで高い性能を示している．一方で，その原理への理論的理解は進んでおらず，ブラックボックス化しているのが研究開始当初の状況であった．その状況を改善するために，本研究では深層学習の原理解明に関して以下の研究成果を得た．(1) カーネル法的視点による深層学習の圧縮型汎化誤差解析，(2) 統計自由度による最適なモデル構造の探索とモデル圧縮への応用，(3) 新しい確率的最適化手法の提案，(4) 深層学習のカーネル法への優位性の理論的証明．これらの研究を通して深層学習が他の方法に比べてなぜ良いのかという問いへ多くの知見を得ることができた．

【研究の社会的意義】

深層学習は機械学習の社会実装が進む中，社会的重要な技術となっている．一方でその原理が解明されずに応用だけ進むことは，制御可能性や説明可能性という観点からも望ましくない．本研究では，種々の数学的道具を用いて深層学習の原理解明に貢献し，また理論の応用として最適なモデルの探索やモデル圧縮法を提案した．研究成果により研究開始時期と比べて非常に多くの理論的知見が得られた．これは，深層学習をホワイトボックス化するという意味で社会的意義が大きい成果である，

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2022-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究分野】知能情報学

【研究領域課題番号】19300051 (KAKENデータベースで見る）

【研究キーワード】

学習理論 / 情報量 / 情報幾何 / 機械学習 / 確率的コンプレキシティ / ユニバーサルポートフォリオ / 超解像 / 通信路容量 / Bregmanダイバージェンス / データ圧縮 / ユニバーサル符号 / 密度比推定 / Boosting / 凸2次計画法 / 暗号解読 / 固有値分布 / 一般物体認識

【研究成果の概要】

機械学習,情報理論,およびそれらの応用に関する諸課題について,記述長最小原理に基づく統一的視点のもとに研究を行った.特に,Markovモデルの幾何学的構造と確率的複雑度の関係,通信路容量と確率的複雑度の関係について考察し新たな知見を得た.また,アンサンブル学習等に関して考察し,効率的アルゴリズムや推定法を提案した.さらに,これら基礎的知見に基づき,ネットワークセキュリティにおけるインシデント検知,ポートフォリオ(分散投資戦略),超解像などについて,新たな学習手法を提案し,その有効性を示した.

【研究種目】基盤研究(B)

【研究期間】2007 - 2010

【配分額】18,590千円 (直接経費: 14,300千円、間接経費: 4,290千円)

【研究分野】統計科学

【研究領域課題番号】17300089 (KAKENデータベースで見る）

【研究キーワード】

非線形モデリング / 関数データ解析 / 機械学習 / ベイズ理論 / カーネル法 / 計算統計 / 確率過程 / 共分散構造分析 / 因子分析モデル / プロフィールモデル / 多変量確率過程 / 学習理論 / 統計的漸近理論 / モデル選択 / 拡散過程 / 識別・判別 / 空間データ解析 / 統計的学習理論 / 漸近理論 / 非正則モデル / 高次非線形モデリング / モデル評価基準

【研究成果の概要】

高次元データに基づく複雑現象解明を目的として, 非線形多変量解析の理論・方法論の開発研究と応用研究に取り組み, 現象の構造を有効に捉える非線形回帰モデリング, ロジスティックモデルに基づく非線形識別・判別法, リスクを定量的に評価・予測するリスク予測モデルを提唱した. また, 観測・測定されたデータを関数化処理し, 処理した関数化データ集合に基づく解析手法について研究し, 回帰, 識別・判別, 次元圧縮に関して, 関数データ解析手法を提唱することができた. 開発した解析手法は, 生命科学, システム工学, 地球環境科学などの問題解決に応用した.

【研究種目】基盤研究(B)

【研究期間】2005 - 2008

【配分額】14,870千円 (直接経費: 12,800千円、間接経費: 2,070千円)

【研究分野】社会システム工学

【研究領域課題番号】03832042 (KAKENデータベースで見る）

【研究キーワード】

知識情報処理 / 情報理論 / 経営工学 / 推論 / 学習 / 不確実性 / 機械学習 / 決定理論 / 符号理論 / 意思決定システム / 知識処理 / 人工知能 / 学習理論 / 統計的決定理論 / 計算量理論

【研究成果の概要】

近年,曖昧性や矛盾を含んだ知識の推論や学習等の,より人間的で複雑な判断をめざした新しい知識情報処理の基礎研究も様々な分野で盛んに行われている.しかしながら従来の論理学を中心としたエキスパートシステムに比べて基礎理論が不完全であり評価基準も不明確であるため得られる結果が理論的に明快に保証されずシステム化が進んでいないのが現状である.本研究ではこれら新しい知識情報処理のために今までの個別的な研究ではなく,人間や組織における判断で取り扱われる情報に着目した統一的な基礎理論の構築をめざしている.そして,その基礎理論上で個々の新しい知識情報処理の分野でネックとなっている基本問題について情報理論,統計理論的尺度から最適なアルゴリズムをいくつか提案し,さらにこのアルゴリズムを応用した知識情報システムの評価を行うことを目的とした.
各研究者は主に以下の分担で研究を行った.研究代表者は主として情報の基本的性質に立脚し,情報理論及び符号理論を基本として情報の高信頼化,圧縮の基礎的研究を行うと共に分担研究者それぞれの情報にたいする視点をとりまとめ総合的に知識情報処理問題の考察を行った.研究分担者(石渡)は主として人間や組織における判断に必要となる情報やその判断の機構について基本的視点から考察すると共に,現在の意思決定システムの問題点及び将来像から打開しなければならない本質的問題を抽出し情報的視点から整理を行なった.研究分担者(松嶋)は主として従来型の知識情報処理の基礎理論である論理学だけでは取り扱えない新しい知識情報処理の問題点を整理し,情報理論,統計確率理論,決定理論など情報の基礎理論からの意味づけとモデル化を行った.
さらに研究代表者と研究分担者がそれぞれ個別に研究を進めてきた情報に対する視点をまとめ,相互に意見交換することにより,現在及び将来の知識情報処理の基本問題を情報的視点より整理し,新しい基礎理論体系の枠組みの設定を行なった.また,この新しい基礎理論体系の枠組みをさらに洗練化させ,情報の視点から整理された新しい知識情報処理の為に重要ないくつかの基本的問題に対してこの基礎理論のモデルを適用する事により,いくつかの情報的視点から評価基準を設定し,そのもとで最適なアルゴリズムを提示した.また,経営工学やその周辺領域で今後必要となる将来型の知識情報システムにおける上記アルゴリズムの応用についての考察も行った。

【研究種目】一般研究(C)

【研究期間】1991 - 1993

【配分額】1,800千円 (直接経費: 1,800千円)