指先の色の変化でAR/MR操作を実現する新入力技術

―特別な装置なしで壁や机をタッチパネルとして利用可能にー

2026年3月23日 14:00

研究者情報

〇電気通信研究所　教授　北村喜文
研究室ウェブサイト

発表のポイント

AR^（注1）/ MR^（注2）機器（AR/MRグラスやヘッドマウントディスプレイ）操作のための新入力技術を開発しました。
指先を硬い面に指を押し当てたときに指先の皮膚が白くなる「ブランチング現象」に着目しました。
カメラ映像からAI を用いて指先の接触を検出します。
特別なセンサや追加装置を必要とせず、指先を面に押し当てた動作を タッチ入力として利用します。
壁や机など、身近な平面を入力面として利用できます。
AR/MR機器の基盤技術となり、幅広い日常生活への社会実装の加速が期待されます。

発表概要

AR/MR機器には、コントローラなどを使用せずに手の動きだけで操作する「空中ジェスチャ」が広く用いられています。この方法は長時間の操作で腕が疲れやすく、触覚フィードバックが得られないため、壁や机などの平面を利用したタッチ入力の研究が進められてきましたが、多くの手法では深度センサなどの装置が必要でした。
東北大学電気通信研究所のチョウ・コウカン特任研究員らのグループは、こうした課題を解決するために、指先の皮膚が押されることで色が一時的に白くなるブランチング現象を利用した新しい入力手法 「BlanchTouch」を開発しました。この技術では、AR/MRヘッドマウントディスプレイのカメラ映像からAIが指先の状態を認識し、硬い面に触れたことを検出します。その結果、壁やパーティションなどの身近な平面を即席の入力パネルとして利用することが可能となり、特別な装置や事前のキャリブレーションを必要としないAR/MR操作を実現しました。本技術は、AR/MR機器の日常生活での利用拡大を支える基盤技術となることが期待されます。
本研究成果は、3月23日に国際会議「33rd IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)」で口頭発表されました。



図1. 指先を壁などの平面に押し当てた際に生じる皮膚の色の変化（ブランチング現象）。

用語解説

注1. AR: Augmented Reality、拡張現実。カメラ等を通して捉えた現実世界に、デジタル情報を重ね合わせて表示する技術
注2. MR: Mixed Reality、複合現実。現実世界と仮想世界を複合・融合させ、相互にリアルタイムで影響し合う空間を構築する技術を指す。ARと合わせ、現実空間とバーチャル空間の両方を活用する体験ができる。

論文情報

タイトル：BlanchTouch: Bringing Fingertip Blanch Detection into Mixed Reality for Touch Input on Flat Surfaces
著者：Guanghan Zhao, Yangyang Cai, Kazuyuki Fujita, Robert W. Lindeman, Yoshifumi Kitamura
*責任著者：東北大学電気通信研究所　特任研究員　チョウ・コウカン
口頭発表: 2026 IEEE Conference Virtual Reality and 3D User Interfaces (VR), Daegu, Korea, 2026年3月23日
掲載誌：Proceeding of 2026 IEEE Conference Virtual Reality and 3D User Interfaces (VR) （IEEE Xplore で 公開予定）

詳細（プレスリリース本文）

問い合わせ先

（研究に関すること）
東北大学電気通信研究所
サイバー＆リアルICT学際融合研究センター
特任研究員　チョウ・コウカン
教授　北村喜文
TEL: 022-217-5540
Email: zhao.guanghan.b6*tohoku.ac.jp（*を@に置き換えてください）
kitamura*riec.tohoku.ac.jp（*を@に置き換えてください）
（報道に関すること）
東北大学 電気通信研究所 総務係
TEL: 022-217-5420
Email: riec-somu*grp.tohoku.ac.jp（*を@に置き換えてください）






東北大学は持続可能な開発目標（SDGs）を支援しています