【研究領域課題番号】20H01822 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / 数値解析的アプローチ / ニューラルネットワーク / 数値解析 / 微分方程式 / 数値積分 / 関数近似

【研究成果の概要】

申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．そして第１フェーズは統合班の指揮の下，各班で以下の実験的研究を行う予定であった．
まず，数値微分方程式班は「微分方程式の数値解法に基づく実験的DNN構築」を標語として計画を構成していた．これは，ResNet だけでなく類似 DNN （PolyNet，FractalNet等）も数値解法と関連づけられる可能性が示唆されていたがその先にある「数値解法から生まれる新DNN」は極めて最近調査が始まったばかりであることから，数値解析学の観点から，実際に新しいDNNを構築し画像認識等でその性能を評価するものであった（例えば異なる近似精度のRunge-Kutta法を試し性能を比較する）．これらの計画に対し該当班は予備的な調査過程として実験的DNNを構築しその性能評価等を開始している．
また，関数近似・数値積分班は「数値積分公式に基づく実験的DNN構築」という標語のもとに計画をたてていた．これは，数値積分公式に基づく観点からの新たなDNN構築の可能性が未解明であることから種々の数値積分公式の適用・開発によるこの可能性を調べるものである．本申請グループにはすでにその試みの実績がある（たとえば，一段NNにおける被積分関数に対して適切な重み・分点の組を数値解析学的に定めるアルゴリズムを考案している）ことからこの方向性で研究を発展，推進するものである．そして実際，DNNにどのような公式が真に有用であるかについて検証が必要であることから本段階でこの検証に取り掛かり，新たなDNNの構築に向けて検討を繰り返しているところである．

【研究種目】基盤研究(B)

【研究期間】2020-04-01 - 2024-03-31

【配分額】17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)

【研究領域課題番号】20H00625 (KAKENデータベースで見る）

【研究キーワード】

計算論的精神医学 / 人工知能 / 精神障害 / 深層学習 / ニューラルネットワーク / 精神疾患

【研究成果の概要】

本研究は、精神障害に関する症状・神経生理・認知行動のビッグデータに対して、疾患横断的・次元的アプローチに基づいて、機械学習・AI技術を含む計算論的精神医学の手法を適用することで、既存の精神障害カテゴリーには基づかない新しい表現型：症候学的タイプ、バイオタイプ、計算論的表現型の抽出を試みている。また、深層学習・データ融合技術を用いて、各水準の表現型を媒介するメカニズムを明らかにすることで、精神障害の統合的理解と新しい疾病概念を創出することを目的とする。
今年度の研究では、昨年度に引き続き、クラウドソーシングを通じた大規模Web調査の枠組みを用いて、疾患カテゴリー横断的・網羅的な精神障害の症状評価、および認知行動実験を実施した。症候学的データのクラスタリングにより、症候学レベルの精神障害亜型（症候学的タイプ）を探索的に構成することを試みた。また、複数の疾患カテゴリーに関する脳画像データベースを用いたデータ駆動アプローチにより、神経生理学的レベルの精神障害亜型（バイオタイプ）を探索的に発見することを試みた。さらに、症候学的タイプ・バイオタイプ、計算論的表現型の各水準の表現型の背後に、共通すると仮定する潜在状態抽出のための基盤技術として、マルチモーダル変分自己符号化器を用いた多元的データ融合技術の開発を試みた。

【研究種目】基盤研究(A)

【研究期間】2020-04-01 - 2025-03-31

【配分額】43,160千円 (直接経費: 33,200千円、間接経費: 9,960千円)

【研究領域課題番号】20H04255 (KAKENデータベースで見る）

【研究キーワード】

リザバーコンピューティング / 深層学習 / ニューラルネットワーク / ダイナミカルシステム / 波動カオス / スペックル / 高速ランダムパターン生成 / 光情報処理 / 光ニューラルネットワーク / 最適制御

【研究成果の概要】

本研究の目的の一つは，柔軟で高度な並列分散処理機能を光の物理現象に担わせることで認識・予測処理を高効率かつ高速に実行する光情報処理系を提案・実証することである。昨年度，光による仮想的な空間連続的ニューラルネット（光ニューラルフィールド）の概念を導入し，光ニューラルフィールドを生成するシリコンチップを製作した。これにより光ニューラルフィールドによる大容量のリザバー計算が可能となった。今年度は，カオス時系列予測，母音認識等の標準的なタスクに対して，その製作した光シリコンチップの処理能力を評価したところ，全てのタスクにおいて既存の光リザバー計算を超える性能があることを示した。特に，カオス時系列予測タスクにおいては，12.5GS/sでの入力レートに対する高速処理を示すことができた。２つ目の成果は，超高速現象の認識処理に向けた前処理系を構築したことである。本システムは，高速な光ランダムパターン生成器とそれを捉える検出系からなっており，高速に物体のイメージを時系列信号に変換することができる。実際，12.5GS/sのレートでスペックルと呼ばれる複雑パターンを生成し、それを物体に照射することで、12.5GS/sのレートでの時系列データ変換を示すことができた。また，認識したい物体をディスプレイに映した手書き数字として，その時系列データ変換を行い，主成分分析や多様体学習で低次元化させた結果，数字ごとのクラスタリングが可能であることを確認した。また，時系列データをニューラルネットで学習したところ９６％以上の認識率を確認できた。３つの目の成果は， Direct feedback alignmentと呼ばれるランダム行列を用いた学習方法を最適制御の文脈に展開し，実際のシステムでの学習処理に応用可能としたことである。この成果に基づき，光電気遅延システムへの実装を検討中である。

【研究種目】基盤研究(B)

【研究期間】2020-04-01 - 2023-03-31

【配分額】18,330千円 (直接経費: 14,100千円、間接経費: 4,230千円)

【研究領域課題番号】19K20370 (KAKENデータベースで見る）

【研究キーワード】

軌道最適化 / 深層強化学習 / 動作計画 / 深層学習 / ニューラルネットワーク / 強化学習

【研究成果の概要】

本研究では，実ロボットに適用可能な，複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発することを目標としている．本研究においては，タスクを実行するための多様な解を見つけ出し，それぞれをオプションとして使い分けることで，複雑な軌道を計画することを目指す．提案するシステムの実現には，多様な軌道を学習し，一つのニューラルネットワークでモデル化することが必要になる．
3年目となる当該年度では，多様な解を同時に学習する深層強化学習アルゴリズムを開発した．2年目までに開発したアルゴリズムは軌道計画を対象としていたが，当該年度に開発したアルゴリズムは制御系への適用などが可能であり，より汎用性の高いものになる．提案手法では，解の多様体に対応する潜在変数を学習するため，潜在変数と状態変数および行動変数の間の相互情報量を最大化する問題として，問題を定式化した．提案アルゴリズムでは，潜在変数を切り替えると挙動が変わるニューラルネットワークを得ることができる．提案するアルゴリズムは，歩行動作や食事介護タスクなどに適用できることがシミュレータ上で確認され，一つのタスクに対して様々な解を見つけられることが示された．また，学習された多様な挙動を使い分けることにより，タスクの条件が変化した際にも少ない試行で適応できることが確認された．例えば歩行タスクにおいては，多様な歩行動作を学習した後，足の長さなどが変化した場合でも，学習済みの歩行タイプの中から使用可能なものを同定することで，少ない試行で適応できることが示された．

【研究種目】若手研究

【研究期間】2019-04-01 - 2023-03-31

【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)

【研究領域課題番号】19H04078 (KAKENデータベースで見る）

【研究キーワード】

ニューラルネットワーク / 雑音畳み込み / FPGA / AI / 深層学習 / CNN / 組込みシステム / 画像圧縮 / Deep Learning / 計算機システム / 高性能計算 / Noise Convolution

【研究成果の概要】

白色雑音回路の設計方法は様々あるが、書き換え可能なFPGAをプロトタイプとして選択し、FPGAの基本構成要素であるLUTを使った雑音回路を採用した。今年度は佐野研究グループでは、FPGAを用いた雑音畳み込みをはじめとするニューラルネットワーク回路を回路構成要素であるLUTやDSPブロックに効率よくマッピングする手法について研究開発した。また、FPGAに開発したニューラルネットワークを実装して、その処理速度や使用リソース量を明らかにした。佐藤研究グループでは、雑音畳み込みをはじめとするニューラルネットワークの学習結果を評価して、雑音畳み込みの有用性を明らかにした。また、様々な応用事例に対する評価を行った。中原研究グループでは、雑音を活用した低ビットニューラルネットワークの研究開発を行った。低ビットニューラルネットワークのFPGA回路実装の検討を行った。また、雑音を加えても精度劣化が生じない学習ツールを開発した。実用的な応用事例として、物体検出・自然言語処理・領域分割・クラス分類に適用し、提案手法が有用であることを明らかにした。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2024-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究領域課題番号】18K11380 (KAKENデータベースで見る）

【研究キーワード】

グラフニューラルネットワーク / 画像認識 / スパースグラフ表現 / 顔認識 / ニューラルネットワーク / ヒューマンエラー / 調剤過誤防止 / 薬学リスクマネジメント / スパースグラフ / 物体認識 / ヒアリハット / スペクトルフィルタ / 眼底画像識別 / 病変部位相関グラフ / 顔画像認識 / スパース表現 / 深層学習 / 畳込ニューラルネットワーク / 薬剤画像識別 / マシンビジョン

【研究成果の概要】

近年、ニューラルネットワークの一般化としてグラフＮＮ（ＧＮＮ）が活発に研究されている。本研究では深層ＣＮＮとほぼ同等の認識性能を有するスパースグラフ表現によるＧＮＮ(ＳＧＮＮ)を検討した。これは画像より得られた局所特徴を有するスパースグラフを構築し、コンパクトなＧＮＮ構造により認識を行うものである。またどのようなスパースグラフが高い認識性能を有するかを検討し、そのスパース条件を明らかにした。さらに現在社会問題となっている調剤過誤を防止するため、これまで研究開発している画像認識による薬剤監査システムに適用して当該社会問題の解決を図り、ヒヤリハット件数の減少につなげることができた。

【研究種目】基盤研究(C)

【研究期間】2018-04-01 - 2021-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究領域課題番号】18K11348 (KAKENデータベースで見る）

【研究キーワード】

深層学習 / マルチタスク学習 / ニューラルネットワーク / 物体検出 / 物体追跡 / 領域分割 / 汎化性能 / MTL

【研究成果の概要】

申請者は，本事業において，マルチタスク学習（MTL, Multitask Learning）を行う深層学習器，特に，物体の検出と意味領域分割，及び，物体の追跡と検出を行うMTLの開発を行ってきた．タスクの組み合わせやデータセットの選定を行い，MTLを実現する交差接続の提案と改善を行い，MTLによる汎化性能の向上について確認した．交差接続の畳み込みをリカレントニューラルネットワークで代替し，時系列データを処理するネットワークの設計に取り組み，従来手法からの性能改善を達成した．

【研究の社会的意義】

マルチタスク学習を行う深層学習器は今後，人に変わって認識を行うAIにおいて広く普及することになるだろう．本事業はそのマルチタスクの基本的な組み合わせにおいて，設計を吟味し，全般的な性能改善と汎化性能の向上に関する先駆的な結果を得た．一般的にマルチタスク学習では組み合わせても結果が向上するとは限らず，世界的にも様々な試みが提案されている中で，先駆的な結果を得たことは学術的にも社会的にも有意義である．

【研究種目】基盤研究(C)

【研究期間】2018-04-01 - 2021-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究領域課題番号】18K19793 (KAKENデータベースで見る）

【研究キーワード】

人工知能 / 深層学習 / 機械学習 / ニューラルネットワーク / 理論解析

【研究成果の概要】

本研究では，数理的アプローチによって深層学習の学習ダイナミクスなどの理論解析を行った．その結果以下の結果を得た．（１）不連続な関数を推定する場合，深層ニューラルネットは，従来法である固定基底を用いる方法に比べて，推定精度に優位性がある（２）深層ニューラルネットが冗長な中間素子を持つ場合の誤差曲面の鞍点の構造が明らかとなった（３）深層生成ネットワークの学習ダイナミクスの安定性条件が明らかとなった．また，因果方向をメタ学習によって少数のデータから推定する方法を提案した．

【研究の社会的意義】

深層学習は応用面からの成功により現在の人工知能の基盤技術となっているが，モデルが強い非線形性を持つことから理論的な解析を行うことは容易ではなくブラックボックスとして使われる場合が多い．本研究は数理的手法で深層学習の性質を理論的に明らかにするものであり，ブラックボックスを超えた深層学習の理論，特に学習によって得られたネットワークの信頼性や，学習アルゴリズムの安定性に関して重要な知見が得られた．

【研究種目】挑戦的研究(萌芽)

【研究期間】2018-06-29 - 2021-03-31

【配分額】6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)

【研究分野】知能情報学

【研究領域課題番号】16H05872 (KAKENデータベースで見る）

【研究キーワード】

機械翻訳 / ゼロショット学習 / マルチモーダル / 画像認識 / ニューラルネットワーク / 表現学習 / 自然言語処理 / デコーディング / 量子化 / 教師なし学習 / 深層学習 / データ圧縮 / マルチモーダル学習

【研究成果の概要】

本研究では、画像を異言語テキスト対応付けのハブとして活用することで、対訳テキストコーパスを必要とせず、ソース言語・ターゲット言語それぞれの画像付き単一言語ドキュメントのみから学習する機械翻訳手法を実現した。さらに、翻訳の出力多様性の向上や、手法の軽量化によるスケーラビリティの向上など、実用性を高める各種の改良を行った。これらの成果はACL, ICLRをはじめとするトップレベル国際会議に複数採択されると共に、言語処理学会年次大会で最優秀賞を二度受賞するなど高い評価を得た。

【研究の社会的意義】

機械翻訳はより一層の技術革新が強く求められているアプリケーションであるが、現在の一般的なアプローチにおいては、学習に用いる対訳テキストコーパスの量が性能向上の鍵となる。しかしながら、実際には同一内容を複数言語で記述したテキストドキュメントは少なく、GAFA等一部の巨大企業にデータを独占されているのが現状である。本研究で提案するアプローチでは、誰でも比較的容易に入手可能な画像付き単一言語ドキュメントのみからの学習を実現するものであり、学術的にも独創的な試みであると同時に、機械翻訳の民主化に貢献しうる点で社会的意義も大きいものであると考える。

【研究種目】若手研究(A)

【研究期間】2016-04-01 - 2019-03-31

【配分額】23,400千円 (直接経費: 18,000千円、間接経費: 5,400千円)

【研究分野】知覚情報処理

【研究領域課題番号】16K16083 (KAKENデータベースで見る）

【研究キーワード】

動き / 学習 / 深層 / 鳥 / 風力発電 / 物体検出 / 分類 / 検出 / 動画 / 深層学習 / 追跡 / ニューラルネットワーク / LSTM / CNN / Long Short-term Memory

【研究成果の概要】

本事業では，動画において，動きでしか種類が分からないほど小さく写る物体の検出と分類に取り組んだ．野鳥の広域監視を出口として，風車周辺の海ワシ類を対象に4Kの解像度の動画収集を行い768GBの動画に対し鳥の軌跡や背景の部分のラベル付が完了した．検出・分類の手法として，最終的に深層特徴の相関フィルタを用いた追跡と畳込LSTMによる動きの学習により，物体を追跡しながら動きパターンにより鳥か否かを識別する手法の開発につながり，これが静止画のみに基づくベースラインから25.2％ポイントの性能向上を得た．これらの成果は多くの論文として発表されたほか，風車による野鳥の生態系への影響の軽減につながる．

【研究種目】若手研究(B)

【研究期間】2016-04-01 - 2018-03-31

【配分額】3,900千円 (直接経費: 3,000千円、間接経費: 900千円)

【研究分野】知覚情報処理

【研究領域課題番号】15K00248 (KAKENデータベースで見る）

【研究キーワード】

画像検索 / 画像認識 / スパースグラフ / ニューラルネットワーク / ビジュアルビッグデータ / ディープラーニング / 圧縮可能性 / 基底関数分解 / 深層学習 / ハッシュ関数 / グラフニューラルネットワーク / 畳込みニューラルネットワーク / 高速画像検索 / 高速画像認識 / 定数時間フィルタ / 高速特徴記述 / 高速特徴点検出

【研究成果の概要】

ビジュアルメディアのビッグデータ（以下、ビジュアルビッグデータとする）を利活用し、画像の検索および認識に関する研究において、できるだけ計算量を削減するための情報理論における圧縮可能性について再検討し、高精度かつ高速な画像検索および認識の方法論を確立した。特に近年注目をされているディープラーニングとの融合により、顔のビジュアルビッグデータを基にしてスパースグラフニューラルネットワークという新たな研究領域を構築することができた。

【研究種目】基盤研究(C)

【研究期間】2015-04-01 - 2018-03-31

【配分額】4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)

【研究分野】知能情報学

【研究領域課題番号】13F03041 (KAKENデータベースで見る）

【研究キーワード】

自然言語処理 / 機械学習 / ニューラルネットワーク / 深層学習 / 句の表現 / ジョイントモデリング / 意味解析 / 構文解析 / ベクトル空間モデル

【研究成果の概要】

本研究プロジェクトの目的はあらゆる句を正規化であるが、それを行うためには、様々な言語表現によって記述される名詞句や動詞句間の類似性を数値的に表現できる必要がある。
近年、そのような手法として、word2vecをはじめとする単語の分散表現の自動学習手法が注目を集めているが、我々はそれをさらに発展させ、「形容詞＋名詞句」や「主語＋動詞＋目的語」といった句の分散表現を、構文解析済みの大量のテキストから自動学習する手法を開発した。具体的には、述語・項構造と呼ばれる、「深い」構文構造上にニューラルネットワーク言語モデルを構成し、述語・項構造中の単語予測の精度を最大化することによって、単語や句のベクトル表現を学習した。この種のベクトル表現の評価には、人間があらかじめ句の類似性を数値的にアノテートしたデータセットがしばしば用いられる。すなわち、得られたベクトル表現から計算される句同士の類似度が、人間の判断する類似度と高いほど高精度ということになるが、我々の手法によって得られたベクトル表現は、「形容詞＋名詞」や「名詞＋名詞」などにおいては、従来の世界最高レベルと同程度、「主語＋動詞＋目的語」のようなさらに複雑な構造をもつ句に対しては、従来の世界最高精度を上回る精度を達成した。このことは、我々の手法によって得られた句の分散表現が、従来手法よりも句の意味的な類似度をより正確にとらえていることを示している。

【研究種目】特別研究員奨励費

【研究期間】2013-04-01 - 2016-03-31

【配分額】2,300千円 (直接経費: 2,300千円)

【研究分野】制御・システム工学

【研究領域課題番号】25420452 (KAKENデータベースで見る）

【研究キーワード】

サポートベクターマシン / ニューラルネットワーク / 機械学習 / 適応制御 / パターン認識 / 深層学習 / 局所線形化 / パターン分類

【研究成果の概要】

本研究では、制御系設計などに利用しやすい構造を持つニューラルネットワークモデルを構築し、そのパラメータを推定するための体系的な学習法の確立を行った。具体的に、回帰または分類のための利用しやすい線形構造を有する準線形サポートベクターマシン（SVM）の構築およびそのオンライン学習法の開発を行い、スイッチングが適応制御法や高性能分類器の開発等への応用研究を行った。

【研究種目】基盤研究(C)

【研究期間】2013-04-01 - 2017-03-31

【配分額】4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)