【研究領域課題番号】22K19657 (KAKENデータベースで見る）

【研究キーワード】

インシデント / 深層学習 / リスク管理 / 医療安全 / 自然言語処理

【研究種目】挑戦的研究(萌芽)

【研究期間】2022-06-30 - 2025-03-31

【配分額】6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)

【研究領域課題番号】21K12038 (KAKENデータベースで見る）

【研究キーワード】

自然言語処理 / 埋め込み表現 / 類推関係 / 類推関係データセット / アルゴリズム / 深層学習

【研究成果の概要】

During the first year, work on the tasks (a) to (c) announced in the plan have been pursued in parallel.
(a) Casting string edit distances into vector spaces. Review on 1-D clustering and multidimensional scaling. Reading and programmation of metrics ('mutual information score') to measure the difference between analogical grids.
(b) Adapting existing algorithms for arithmetic analogy on integer values to real values. Study on distributions of values in word embedding models. Findings: the distribution is Gaussian on one dimension. This poses a problem: no clustering method can be applied to separate values on one dimension. Study on correlations of dimensions in word embedding models. Findings: some dimensions are correlated in subspaces. This allows some dimensionality reduction.
(c) Parallelising existing algorithms. Use of the mathematical library numpy in existing programs. A master's student was hired in August and September. Results: speed-up in retrieval of analogical clusters.
Work on extraction of all analogies from a word space. As many semantic phenomena are realised formally in language (e.g., the opposition male/female is expressed by suffixes -er/-ress), start with regular patterns like waiter : waitress :: mister : mistress, etc. and extend to vector representations to catch irregular patterns like king : queen. First experiments in local.
A study on retrieval of all possible formal analogies between sentences at different granularities has been conducted. Only analogies on the formal level were retrieved, but a journal paper has been published.

【研究種目】基盤研究(C)

【研究期間】2021-04-01 - 2024-03-31

【配分額】4,030千円 (直接経費: 3,100千円、間接経費: 930千円)

【研究領域課題番号】21H03170 (KAKENデータベースで見る）

【研究キーワード】

患者の悩み / 患者の実践知 / ソーシャルメディア / 自然言語処理 / 機械学習 / 深層学習

【研究成果の概要】

本研究では、ソーシャルメディアから得られる患者テキストを患者ケアの充実に活かす基盤づくりを目指して、患者の治療・生活上の悩みに関するエピソード、及び患者の実践知を抽出する自然言語処理（Natural Language Processing、NLP）システムの開発を進めている。本年度（2021年度）は、患者ブログから副作用疑いや悩みの記述を抽出する深層学習モデルの構築に取り組んだ。主な成果を以下に示す。
1）手足症候群疑い患者の抽出手法の構築：手足症候群は抗がん薬の中止につながりうる副作用であり、自覚症状が主な発症シグナルとなる。患者は生活に来した支障をブログに記述・発信することがあり、そこには診療時には表面化しない副作用のシグナルが含まれる可能性がある。本研究では、がん患者ブログから手足部位情報を含む文を取得後、NLPの深層学習手法（Bidirectional Encoder Representations from Transformers, BERT）を用いて、手足症候群疑いの症状を記述しているユーザーを特定する分類器を構築した。
2）乳がん患者の悩み抽出手法の構築：乳がん患者の悩みは多岐にわたり、多角的な支援が必要である。本研究では、BERTを用いて、乳がん患者ブログから5種の悩み（診療の悩み、身体の苦痛、心の苦悩、就労・経済的負担、家族・周囲の人との関係）が含まれるブログ記事を悩みの種類（複数の場合もあり）とともに抽出可能なマルチラベル分類器を構築した。本モデルは、主要な悩みである「身体の苦痛」について特に高い性能で抽出可能であった。

【研究種目】基盤研究(B)

【研究期間】2021-04-01 - 2024-03-31

【配分額】16,640千円 (直接経費: 12,800千円、間接経費: 3,840千円)

【研究領域課題番号】20K20625 (KAKENデータベースで見る）

【研究キーワード】

バイナリコード / マルウェア解析 / 記号実行 / API / ネィティブコード / マルウェア意味解析 / 動的記号実行 / 形式的意味自動抽出 / マルウェア / 自然言語処理 / 形式仕様自動抽出 / 深層学習

【研究成果の概要】

記号実行は1970年頃に提案され、現在では多くの主要言語に対する実装がなされている。バイナリコードでは2015年頃からx86命令セットを対象とするMeyhem,Ankr等の実装が輩出し、マルウェアの制御隠蔽手法に対し有効であることが知られている。
本研究は2021年度には、ARM命令セットにおける動的記号実行器の異環境実行の合成に基づく拡張の実装を進めてきた。単一環境下のARM命令セットの動的記号実行器CORANAの自動生成（国際会議FM2019発表）は既に一定の成功を収めた。しかしマルウェア等バイナリコードはシステム関数呼出しや、ネイティブコード呼出し（例えばAndroid OSのapkファイルではJavaからJNIを用いる）を多用するため、実用的解析には異環境下の記号実行結果の合成手法が必要となる。
異環境下の実行にも二種類あり、ユーザープロセスからAPIを介したシステム機能の呼出し（ファイル検索やシステム時間の問い合わせ等）はユーザーレベルから観察できない。しかしユーザーが異言語で記述し（Java からC関数コンパイルコードの呼出し等）行うネイティブコード実行は観察可能である。前者はAPIスタッブとして実OS環境の実行が自然であり、後者は異なる記号実行器を環境に応じて切り替えることが必要である。
CORANA/API(github.com/vananhnt/corana)はCORANA(github.com/anhvvcs/corana)をもとに前者のAPIスタッブの自動生成法を示し、現在、apkファイルをターゲットとしSymbolic Path FinderとCORANAの合成の実装を進めている。
またバイナリコード解析のための基礎理論として、述語制約解消に基づく関係的性質検証（分担者・寺内）、可視レジスタプッシュダウンオートマトンに基づくモデル合成（分担者・関）を進めた。

【研究種目】挑戦的研究(開拓)

【研究期間】2020-07-30 - 2026-03-31

【配分額】25,870千円 (直接経費: 19,900千円、間接経費: 5,970千円)

【研究領域課題番号】19H04166 (KAKENデータベースで見る）

【研究キーワード】

自然言語処理 / 知識獲得 / マルチモーダル / マルチメディア / 少量データ学習 / 画像認識 / グラウンディング / 知識グラフ / ゼロショット認識 / 深層学習 / シーングラフ / ストーリー生成 / 教師なし学習

【研究成果の概要】

本研究では、画像・動画像等のマルチメディアに言語概念をグラウンディング（記号接地）させ、時空間的な共起関係を手掛かりにさまざまな概念間の関連性を推定し、グラフ構造を有するデータベース（知識グラフ）として獲得する新しいアプローチを提案する。本年度は、大きく分けて以下に示す三つの成果を得た。

１．BERTにより辞書データ(Wiktionary)から特徴抽出を行った単語概念と画像領域特徴をアラインメントし、共通の埋め込み空間を学習する手法を提案した。これにより、事前学習済み言語モデルの表現能力を活用しながら、画像概念と言語概念のグラウンディングを行ったマルチモーダル埋め込み空間を得ることができる。この空間では、Transformerの注意機構により、画像領域の視覚的特徴のみならず複数領域の共起関係や位置情報なども考慮された埋め込みが行われていることが重要であり、この空間上での距離を基準として概念が為すグラフを構築することができる。その具体的な応用として、画像中の未知物体に対しグラフ上の最近傍の単語を検索することで、ゼロショットの画像キャプショニングを高い精度で実現できることを示した。本研究はコンピュータビジョンの最難関国際会議であるCVPRへ採択された。
２．自然言語処理におけるストーリー生成タスクを題材とし、概念グラフ上の探索を通じて論理性を保ちながら多様性のあるテキスト生成を行う手法を開発した。ここで提案したグラフ探索法は汎用性の高いものであり、ストーリー生成に限らずさまざまなダウンストリームタスクで、知識グラフを活用するための重要な基礎技術となる。
３．グラウンディング自体の性能向上を行うため、基礎的な画像認識の手法開発にも引き続き取り組み、訓練時に想定しない入力ノイズに対して認識の頑健性を高める手法を複数開発した。

【研究種目】基盤研究(B)

【研究期間】2019-04-01 - 2023-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究領域課題番号】19K05324 (KAKENデータベースで見る）

【研究キーワード】

作業安全 / 自然言語処理 / 動作認識 / 物体認識 / 階層型Scene Graph / 論理表現化 / 深層学習 / 位置推定 / 危険行為 / 画像認識 / アラーム

【研究成果の概要】

廃炉作業中の危険動作の自動判定手法を開発するため、物体認識と姿勢推定という異なる深層学習モデルの同士を融合し、画像に映る状況をグラフ構造で表現するScene Graph化手法を開発した。また、画像との比較で危険判定の根拠とする作業安全ルールについても、自然言語処理手法とオントロジーモデルとを用いて新たに考案した階層型Scene Graphに自動変換する手法を開発した。このような画像（物体認識と姿勢認識と）と自然言語処理という異なる深層学習モデルの融合手法は、本研究が世界で初である。２つのScene Graphを比較することで、作業安全上の危険をリアルタイム高精度で検知することにも成功した。

【研究の社会的意義】

本研究の学術的意義は、画像（物体認識と姿勢認識と）と自然言語処理という異なる深層学習モデルを融合した手法としては世界初の研究であることである。一般的に深層学習を用いた研究は、画像は画像、言語は言語というように、各々の分野の中で閉じており異種深層学習同士を組みあわせることはない。しかし、人間の脳は視覚、聴覚、触覚、言語など多様な情報を同時に取り入れ比較することで情報を適切に処理している。本研究では、そのような異なる深層学習モデルを融合するための共通データフォームとしてグラフ構造が有効であることを提案し、かつその有効性を実証した。この成果は、異種深層学習モデル融合という新たあ分野の基礎を築いた。

【研究種目】基盤研究(C)

【研究期間】2019-04-01 - 2022-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究領域課題番号】18K18100 (KAKENデータベースで見る）

【研究キーワード】

音声合成 / 方言 / 韻律 / 深層学習 / 自然言語処理

【研究成果の概要】

本研究は，あらゆる日本語方言の音声を人工的に合成することを目的とする．この遂行のために，(1) 一般家庭における収録音声でも頑健に音声合成を構築可能にする技術，(2) 方言の地理情報を使ってアクセントを制御する音声合成方式，(3) アクセントを構築する言語単位を言語知識なしに獲得する方法，(4) 方言アクセントを言語知識なしに獲得する方法，(5) 言語知識なしに方言音声合成を実現する方法，(6) 方言音声合成を実現するためのフリーな音声データベース公開を実施した．

【研究の社会的意義】

本研究は，あらゆる日本語方言の音声を人工的に合成することを目的とする．消滅の危機にある日本語方言について，その特性を計算機的に保存することは，音声言語文化の保存からコンテンツ制作まで幅広い範囲に有用である．本研究はこれに向け，方言の知識なしに方言音声を合成可能な方法について多角的に取り組み，さらに，一般に利用可能な方言データベースを整備した．

【研究種目】若手研究

【研究期間】2018-04-01 - 2022-03-31

【配分額】4,290千円 (直接経費: 3,300千円、間接経費: 990千円)

【研究領域課題番号】18K11522 (KAKENデータベースで見る）

【研究キーワード】

分散表現 / オントロジー / ナレッジグラフ / 自然言語処理 / 疾患 / 薬剤 / 深層学習 / 推論 / 知識表現 / 遺伝子変異 / セマンティックウェブ

【研究成果の概要】

本研究は、専門家が作成したオントロジー（用語とそれらの関係）と、テキストから自動生成した分散表現（多次元ベクトル）を相補的に活用し、その結果を用いた新たな推論技術の開発を目的としている。これまでに、テストケースとなる分野を検討し、「がん」と「アルツハイマー」に選定した。それらの分野でのテキストデータ、オントロジーデータ、およびデータベース（主に知識を表現できるもの）を扱う。
現在、分散表現の獲得方法で注目される研究の多くは、自然言語のコーパスデータを利用して分散表現を獲得する自然言語志向の方法と、ある程度情報が整理されたグラフデータベースに登録されたEntityとrelationから分散表現を獲得する「グラフ志向」の方法に分けられる。本研究では２つを並行してすすめている。
昨年度は自然言語志向の方法としてはPubMed Central (PMC)のテキストデータの一部に対して自動獲得を行っていた。本年度は、アルツハイマーのGWASや疾患の分子機序に関するデータベースのデータを利用し、グラフ志向の方法による分散表現の構築をすすめた。Alzheimer's disease ontology (ADO)やAlzPathwayなどの複数データベースから利用できる関係を収集し、グラフにもとづく知識グラフの分散表現学習をComplEx等の方法を用いて行った。さらに、テキストからの分散表現とグラフからの分散表現の比較を行い、一部の不一致が自動修復できることが確認できた。今後は、これらの結果を複数の視点で評価する。

【研究種目】基盤研究(C)

【研究期間】2018-04-01 - 2023-03-31

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究分野】知能情報学

【研究領域課題番号】16H05872 (KAKENデータベースで見る）

【研究キーワード】

機械翻訳 / ゼロショット学習 / マルチモーダル / 画像認識 / ニューラルネットワーク / 表現学習 / 自然言語処理 / デコーディング / 量子化 / 教師なし学習 / 深層学習 / データ圧縮 / マルチモーダル学習

【研究成果の概要】

本研究では、画像を異言語テキスト対応付けのハブとして活用することで、対訳テキストコーパスを必要とせず、ソース言語・ターゲット言語それぞれの画像付き単一言語ドキュメントのみから学習する機械翻訳手法を実現した。さらに、翻訳の出力多様性の向上や、手法の軽量化によるスケーラビリティの向上など、実用性を高める各種の改良を行った。これらの成果はACL, ICLRをはじめとするトップレベル国際会議に複数採択されると共に、言語処理学会年次大会で最優秀賞を二度受賞するなど高い評価を得た。

【研究の社会的意義】

機械翻訳はより一層の技術革新が強く求められているアプリケーションであるが、現在の一般的なアプローチにおいては、学習に用いる対訳テキストコーパスの量が性能向上の鍵となる。しかしながら、実際には同一内容を複数言語で記述したテキストドキュメントは少なく、GAFA等一部の巨大企業にデータを独占されているのが現状である。本研究で提案するアプローチでは、誰でも比較的容易に入手可能な画像付き単一言語ドキュメントのみからの学習を実現するものであり、学術的にも独創的な試みであると同時に、機械翻訳の民主化に貢献しうる点で社会的意義も大きいものであると考える。

【研究種目】若手研究(A)

【研究期間】2016-04-01 - 2019-03-31

【配分額】23,400千円 (直接経費: 18,000千円、間接経費: 5,400千円)

【研究分野】知能情報学

【研究領域課題番号】13F03041 (KAKENデータベースで見る）

【研究キーワード】

自然言語処理 / 機械学習 / ニューラルネットワーク / 深層学習 / 句の表現 / ジョイントモデリング / 意味解析 / 構文解析 / ベクトル空間モデル

【研究成果の概要】

本研究プロジェクトの目的はあらゆる句を正規化であるが、それを行うためには、様々な言語表現によって記述される名詞句や動詞句間の類似性を数値的に表現できる必要がある。
近年、そのような手法として、word2vecをはじめとする単語の分散表現の自動学習手法が注目を集めているが、我々はそれをさらに発展させ、「形容詞＋名詞句」や「主語＋動詞＋目的語」といった句の分散表現を、構文解析済みの大量のテキストから自動学習する手法を開発した。具体的には、述語・項構造と呼ばれる、「深い」構文構造上にニューラルネットワーク言語モデルを構成し、述語・項構造中の単語予測の精度を最大化することによって、単語や句のベクトル表現を学習した。この種のベクトル表現の評価には、人間があらかじめ句の類似性を数値的にアノテートしたデータセットがしばしば用いられる。すなわち、得られたベクトル表現から計算される句同士の類似度が、人間の判断する類似度と高いほど高精度ということになるが、我々の手法によって得られたベクトル表現は、「形容詞＋名詞」や「名詞＋名詞」などにおいては、従来の世界最高レベルと同程度、「主語＋動詞＋目的語」のようなさらに複雑な構造をもつ句に対しては、従来の世界最高精度を上回る精度を達成した。このことは、我々の手法によって得られた句の分散表現が、従来手法よりも句の意味的な類似度をより正確にとらえていることを示している。

【研究種目】特別研究員奨励費

【研究期間】2013-04-01 - 2016-03-31

【配分額】2,300千円 (直接経費: 2,300千円)