【研究領域課題番号】22H01054 (KAKENデータベースで見る）

【研究キーワード】

シャドーイング / 自動評価 / 外国語運用力 / システム開発 / 外国語教育

【研究種目】基盤研究(B)

【研究期間】2022-04-01 - 2026-03-31

【配分額】17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)

【研究領域課題番号】18H04107 (KAKENデータベースで見る）

【研究キーワード】

外国語教育 / シャドーイング / 瞬時的明瞭度 / 音声認識 / 聴解モデリング / 瞬時的了解性 / 定量的評価 / ポステリオグラム / 発音評価 / 可解性と了解性 / 定量的計測 / 逆シャドーイング / 可解性 / 事後確率DTW / comprehensibility / 音素事後確率

【研究成果の概要】

外国語学習者の音声は本人にとっては聞き取りやすいが，聴取者にとっては必ずしも聞き取りやすいとは限らない。聴取者にとっての聞き取りやすさ，瞬時的了解性を客観的に計測する方法として，聴取者(多くは母語話者)にシャドーさせ，そのシャドー音声の崩れを計測することで，瞬時的了解性のアノテーションとする方法を提案している。昨年度は，母語話者に（学習者の読み上げ音声を）シャドーさせ，その直後に，学習者が参照したテキストを参照しながらシャドーさせる方式を提案した（両音声を比較することで瞬時的了解性が計算できる）。本年度は本手法をベースにシャドワーを母語話者のみならず，非母語話者の英語上級者（例えば会議通訳者）にも参加させ，聞き手の言語背景によって瞬時的了解性がどう変化するのか調査した。また，シャドー音声を手動で書き起こすことで，（手動書き起こしに基づく）瞬時的了解性が定量化できるが，これが，提案手法（シャドー音声の崩れの定量化）とどの程度相関があるのか，についても調査した。その結果，提案手法は，シャドー音声を音声認識器で書き起こすよりも，より精度高く，かつ頑健に，手動書き起こしに基づく瞬時的了解性を予測できることがわかった。例えば日本人英語を非母語話者の英語上達者にシャドーさせると，彼らの英語には母語訛りが存在するため，音声認識（自動書き起こし）の精度が落ちる。提案手法は，彼らのシャドー音声と，スクリプトシャドー音声の比較に基づくため，このような母語訛りの影響を受けない。世界諸英語を念頭において，世界中の英語学習者をシャドーする側，される側に配置することを考えた場合，シャドワーの母語訛りに対する非依存性は必須の技術である。また，日本人英語をシャドーさせる場合，シャドワーの日本語学習歴が大きく影響することも示された。これらの研究成果は音声学会の優秀発表賞を受賞した。

【研究種目】基盤研究(A)

【研究期間】2018-04-01 - 2022-03-31

【配分額】40,560千円 (直接経費: 31,200千円、間接経費: 9,360千円)

【研究分野】教育工学

【研究領域課題番号】16H03084 (KAKENデータベースで見る）

【研究キーワード】

外国語教育 / シャドーイング / 自動評価 / 深層学習 / 音素事後確率系列 / 音響モデル / GOP / DTW / 言語非依存 / 学習者音声 / 外国語 / 多言語 / 英語教育 / 評価 / 総合的熟達度 / 多言語対応 / ティープ・ランニング / 手動評価 / 評価制度 / ディープ・ラーニング / 評価精度 / 言語優勢度

【研究成果の概要】

外国語の音声コミュニケーション能力を高めるために，モデル音声を聞いて内容理解しながら即時的に口頭再生するシャドーイングを活用した外国語練習システムを開発し、本システムに搭載する自動評価について特定の言語に依存しないアルゴリズムの構築を検討した。モデル音声と学習者音声の比較に深層学習を取り入れた音素事後確率系列（posteriorgram）を活用することによって、従来の方法に比較して高精度の評価が可能になり、さらに、複数言語データで構成したマルチリンガル音響モデルを活用することで、特定の言語への依存性を低減できる可能性があることが明らかになった。

【研究の社会的意義】

従来の音声認識を使った音声評価システムでは，モデル音声と学習者音声の直接比較ができず，さらに，言語ごとに音響モデルを用意する必要があった。本研究の自動評価についての新アルゴリズムは，従来の音声認識法と比較して評価精度が向上し、特定言語への非依存性を検討した点が学術的な意義といえる。学習者音声との直接比較が可能となったため，外国語教育分野で活用した場合の学習者へのフィードバックが正確になり，言語ごとに異なる音響モデルを用意する必要がないため多言語を対象とした外国語教育に広く利用できる可能性を含んでいる点が社会的意義といえる。

【研究種目】基盤研究(B)

【研究期間】2016-04-01 - 2020-03-31

【配分額】17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)

【研究分野】知覚情報処理

【研究領域課題番号】26240022 (KAKENデータベースで見る）

【研究キーワード】

世界諸英語 / 発音自動分類 / 音声の構造的表象 / 機械学習 / 発音の了解性 / 聴取の頑健性 / 分節的・韻律的特徴 / 韻律読み上げチュータ / 国際コミュニケーション / 発音の地図化 / 発音クラスタリング / 発音の構造的表象 / 外国語教育 / 聞き取り難さ / シャドーイング / 発音分類 / 発音の明瞭性・了解性 / 構造的表象 / 発音の地図化・クラスタリング / 音声分析

【研究成果の概要】

世界諸英語の発音多様性に着眼し，1)話者を単位とした世界諸英語の発音分類を行うべく，任意の二話者の発音距離推定技術を構築し，2)特定の学習者を中心に据えて，諸英語を俯瞰できる諸英語発音ブラウザを開発した。しかし，発音の相違が常にコミュニケーション上問題となる訳ではない。そこで，外国語訛りとコミュニケーションエラーに着眼し，3)日本人英語を米国人がどこで聞き誤るのかを予測する技術を構築し，4)聞き取りを誤る他の要因として環境要因にも着眼し，日本人の英語聴取能力の頑健性向上を検討した。5)日本語学習者に対しても，了解性の高い発音を効率的に習得できるよう，韻律読み上げチュータを開発した。

【研究の社会的意義】

本プロジェクトは，英語発音の多様性に着眼し，学習者自らを世界諸英語の中心に据えて，世界諸英語を俯瞰するブラウザを構築し，発音の多様性への意識を向上させる機会を提供した。このような試みはこれまでに例がなく，国内外の関連する学会にて，7回の招待講演，基調講演を行い，学術的に大きく貢献した。また，発音の崩れによる了解性の低下を避けるべく，日本語学習者向けに構築した韻律読み上げチュータは，既に14ヶ国語に翻訳され，世界中の教育機関で使われるに至っている。このシステムは，本プロジェクト開始前から開発を進めていたが，2019年4月時点で，40カ国，140回の講習会を重ねており，社会的意義は極めて高い。

【研究種目】基盤研究(A)

【研究期間】2014-04-01 - 2018-03-31

【配分額】38,610千円 (直接経費: 29,700千円、間接経費: 8,910千円)

【研究分野】外国語教育

【研究領域課題番号】21320105 (KAKENデータベースで見る）

【研究キーワード】

教育評価 / 測定 / シャドーイング / 自動評価 / 手動評価 / 観点別評価 / 発音評価 / 韻律評価 / 総合的熟達度 / 音声情報処理 / 外国語教育 / リズム / イントネーション / GOP / 音読 / TOEIC

【研究成果の概要】

パソコン上で最新の音声情報技術の一つである Goodness of pronunciation (GOP)を使って英語学習者のシャドーイングを自動評価できるシステムを開発した。英語熟達度の異なる学習者が初見でシャドーイングした音声データについて,自動評価得点とベテラン英語教員による手動採点の相関係数は 0.85 となり、本システムの有効性が明らかになった。さらに,自動評価得点と TOEIC 得点の相関も 0.82 となり、シャドーイングと TOEIC の得点を回帰分析することによって、シャドーイングの出来具合から学習者の総合的英語力を TOEIC 得点として予測できることもわかった。

【研究種目】基盤研究(B)

【研究期間】2009 - 2012

【配分額】18,070千円 (直接経費: 13,900千円、間接経費: 4,170千円)