【研究領域課題番号】21K17762 (KAKENデータベースで見る）

【研究キーワード】

３次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測

【研究成果の概要】

本研究では、汎用のプロジェクタとカメラを用いて、物体3D 形状（デプス）と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
初年度である2021年度は、研究計画のフェーズⅠとして、既存のカラーコードパターン投影に基づくネットワーク構築を実施した。また、ネットワーク学習用のデータ生成のため、物体形状および物体分光反射率を任意に設定し、実際のプロジェクタ－カメラシステムで撮影した画像をシミュレーション可能な、画像生成シミュレーターを開発した。
ネットワーク構築においては、RGBランダムドットパターンを投影して撮影したワンショット画像を入力として、デプス画像と分光反射率画像を同時推定するネットワーク構造を提案した。デプス画像推定においては、構造化光3次元復元の原理に基づき、プロジェクタ－カメラ間のドットパターンマッチングによりデプス画像を推定する。分光反射率画像推定においては、マルチスペクトルイメージングの原理に基づき、RGBの３つのプロジェクタ光源スペクトルおよびRGBの３つのカメラ分光感度の組み合わせによる９バンド情報から、分光反射率画像を推定する。これらの原理をロス関数として組み込み、ネットワークを実装した。
画像生成シミュレーター開発においては、3D空間上に任意の物体を配置し、実際のシステムで撮影した画像をシミュレーション可能なツールを開発した。物体形状として既存の物体形状データベース、物体分光反射率として既存の分光反射率データベースをそれぞれ活用し、これらの任意の組み合わせにより必要な規模の学習データを生成した。
生成したデータに基づき学習したネットワークを、テスト用のシミュレーションおよび実データで評価し、有効性を確認した。これらの成果は、コンピュータビジョンのトップ国際会議であるCVPRで発表予定である。

【研究種目】若手研究

【研究期間】2021-04-01 - 2024-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究領域課題番号】21H03460 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / マルチメディア / コンピュータビジョン / ストリートビュー / ムービーマップ

【研究種目】基盤研究(B)

【研究期間】2021-04-01 - 2025-03-31

【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)

【研究領域課題番号】18K11391 (KAKENデータベースで見る）

【研究キーワード】

動作計測 / コンピュータビジョン / インタラクション / ヒューマンコンピュータインタラクション / 画像処理 / モーションキャプチャ / 機械学習

【研究成果の概要】

スポーツ教育やリハビリテーション等での利用を前提とした、スマートカメラ群による三次元人体動作計測プラットフォームの構築が本研究の目的である。従来プロスポーツ向けに利用されてきた赤外線反射マーカー式のモーションキャプチャシステムは、精緻な計測が可能である反面、非常に高価であり太陽光の影響などから屋外での利用に制限があった。また、身体部位にマーカーを貼り付ける必要があることから、教育現場での利用には不向きであった。これに対して本手法は、高速度撮影が可能な複数のカメラと機械学習手法を利用することで安価で適用範囲の広い動作計測システムを実現し、このためのソフトウェアと運動データの解析・蓄積基盤を整備した。
まず実験用高速撮像系の構築と統合処理についての実験を行った。撮像系であるスマートカメラを、ネットワークを介して複数台同期動作させることが可能なソフトウェア基盤の構築と、複数視点から得られた同期撮影データを利用して幾何的・時間的な制約を加えた機械学習ベースの姿勢推定手法についての検討を行った。さらに実証実験として、構築したシステムをスポーツトレーニングの現場で試用し、動作検証と今後の課題点の確認を行った。また、スポーツ教育に利用する為のビジュアルフィードバック手法についての試作と検討を行った。
このシステムによりスポーツ科学などの研究用途に限らず、将来的に広く教育用途に適用可能なモーションキャプチャ技術の実現が期待できる。

【研究種目】基盤研究(C)

【研究期間】2018-04-01 - 2020-03-31

【配分額】3,510千円 (直接経費: 2,700千円、間接経費: 810千円)

【研究分野】情報科学、情報工学およびその関連分野

【研究領域課題番号】17K19963 (KAKENデータベースで見る）

【研究キーワード】

漫画 / 画像処理 / データセット / 物体検出 / セリフ検出 / 中割り / フォント / マルチモーダル / マルチモーダル学習 / 着色 / 画像検索 / GAN / 深層学習 / コンピュータビジョン / グラフィックス / 彩色

【研究成果の概要】

本研究では、２つの命題について取り組んだ。一方は、漫画のデータセットであり、もう一方は、着色を中心とした漫画の新技術の研究である。前者は、109巻、約2万ページ、約50万のアノテーションからなり、研究コミュニティが自由に学術研究に利用できる。後者の新技術では、着色と検索、検出に取り組んだ。着色：たった一枚の参照画像からcGANのトレーニングを行い、同一キャラクタを彩色できることを示した。検索：2種のデータで学習した深層特徴量により、スケッチから精度よく漫画を検索できることを示した。検出：セリフ、コマ、キャラクタの顔と全体の検出を行い、AUCが0.92以上と高い精度を実現した。

【研究の社会的意義】

日本の漫画は、世界的に注目され、人気のあるコンテンツである。日本におけるいわゆる電子書籍の市場は前年比25％増と大きな増加をたどっており、コミックがその8割を占めるに至っている。しかし、書籍であったことから、メディア処理の研究対象とされてこなかった。本研究では、この漫画に対して、着色、検索、検出などのメディア処理に関する主導的な研究を行うことができた。
特に、技術的な課題だけでなく、データセットを完成させたことは大きな貢献となった。これは、研究コミュニティで広く利用可能な基盤となり、現時点で、約500のリクエストがあり、うち3分の2は海外からのものである。

【研究種目】挑戦的研究(萌芽)

【研究期間】2017-06-30 - 2019-03-31

【配分額】6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)

【研究分野】知能ロボティクス

【研究領域課題番号】25540114 (KAKENデータベースで見る）

【研究キーワード】

計測工学 / 画像処理 / コンピュータビジョン / オーロラ / 3次元計測 / ステレオ計測 / 魚眼カメラ / 可視化

【研究成果の概要】

本研究では，複数地点に設置した広視野な魚眼カメラを用いて，オーロラの全天3次元形状・位置を高精度に計測する手法を構築した．具体的には，極寒地であるアラスカでオーロラ映像の自動連続撮影が可能な高信頼全天撮影装置の開発した．また，視野が広い半面で歪みが大きい魚眼カメラの内部パラメータ（レンズの歪み特性や焦点距離など）および外部パラメータ（カメラの設置位置と設置姿勢）の高精度同定手法を構築した．更に，3次元立体視可能なオーロラのステレオ映像の自動生成手法を構築した．以上により，超広視野・超高精度の3次元オーロラステレオ計測を実現した．

【研究種目】挑戦的萌芽研究

【研究期間】2013-04-01 - 2015-03-31

【配分額】3,770千円 (直接経費: 2,900千円、間接経費: 870千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】22680017 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像処理 / コンピュータビジョン / 光の伝搬特性 / 光の屈折 / 光の減衰 / 3次元計測 / センシング

【研究成果の概要】

カメラ画像を用いたセンシング技術は,非接触で広範囲を同時に計測できることから幅広く用いられている.これまでの画像センシング技術は,主に空気中など光の伝播特性が一定の環境を取り扱うことが多かった.しかし,水中環境においては,光の屈折,光の減衰,光の遮断などの問題が生じるため,空気中のセンシング手法をそのまま使用することが難しい.そこで本研究では,これら光の伝播特性を考慮した水中センシング手法を構築した.

【研究種目】若手研究(A)

【研究期間】2010 - 2012

【配分額】25,220千円 (直接経費: 19,400千円、間接経費: 5,820千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】21500164 (KAKENデータベースで見る）

【研究キーワード】

ウェアラブルビジョン / タッチパネル操作 / 文字認識 / 書籍音読 / 画像処理 / 色覚 / 視覚障害者支援 / コンピュータビジョン / グラフの認識

【研究成果の概要】

本研究では、視覚障害者が豊かな社会生活を営むための視覚機能補助システムをコンピュータビジョン技術を用いて実現することを目的に研究を行った。具体的な支援例として、ATMのタッチパネル操作を誘導するウェアラブルビジョンシステム、書籍の文章を音声に変換する書籍音読システム、色覚障害者に色情報を伝える色情報提示システムを取り上げ、これらシステムを実現するための手法の提案および実験によるその有効性の確認を行った。

【研究種目】基盤研究(C)

【研究期間】2009 - 2011

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】19500157 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / コンピュータビジョン / パターン認識 / 行動環境認識 / 知能ロボット / 画像情報処理 / 行動認識 / 動画像

【研究成果の概要】

画像処理による人物の行動認識に関して、(1) 人物全身像の姿勢推定、(2) 未知人物の行動認識、(3) 手振り動作の認識、を行う方法を検討した。(1) では人体パーツごとに色分けされた衣服を装着する人物を複数視点から撮像した画像から、人体の特徴点の3次元座標を求める方法の有効性を示した。(2) ではテンソル解析を用いる方法に有効な画像特徴を明らかにした。(3) では移動カメラ画像から人物の手振り動作軌跡を抽出し、動作認識する方法の有効性を示した。

【研究種目】基盤研究(C)

【研究期間】2007 - 2008

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究分野】計測工学

【研究領域課題番号】19560422 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像計測 / 光の伝播特性 / コンピュータビジョン / 画像処理 / 3次元計測 / 光の屈折 / 光の減衰

【研究成果の概要】

水中物体を防水ハウジング中のカメラで撮影する場合、物体からの光はハウジングの境界面で屈折を起こし、形状に歪を生ずる。本研究では、そのような屈折現象を伴った画像から水中物体の3次元形状を取得する方式について検討を行った。また屈折率は波長により異なることから、単色光による計測が分解能の点で有利であることを示した。さらに水中での光の減衰が波長により異なることを考慮した水中画像の色復元法について検討した。

【研究種目】基盤研究(C)

【研究期間】2007 - 2008

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】17700182 (KAKENデータベースで見る）

【研究キーワード】

書籍 / 電子化 / ステレオカメラ / 画像処理 / コンピュータビジョン / 3次元計測 / 歪曲補正 / 画像合成

【研究成果の概要】

1.文書撮影システムの構築
2台のカメラを用いて文書撮像システムを構築した.具体的には,書籍を上向きに置き,ステレオカメラを用いて非接触で書籍の撮影が可能なシステムを構築した.
2.紙面形状の3次元計測
ステレオカメラから得られる画像2枚の視差を求めることにより,紙面の3次元形状を計測する手法を構築した.ここで,文書表面には密なテクスチャがあり,かつ近距離から撮影しているため左右画像で光の当り方が異なる.従って,照明条件の変化に強い正規化相互相関をベースとした手法を用いて対応点検出を行った.更に,形状が比較的滑らかという性質を利用し,計算時間の短縮を図った.
3.紙面形状の復元
(2)によって求めた計測点から,歪曲した紙面形状を曲面方程式で表現する手法を提案した.また,本の綴じ込みや紙の折れ目部分などでは曲率が不連続となるため,この部分をHough変換を用いて検出し,検出した線分で囲まれる領域に対してそれぞれ曲面を当てはめる手法を構築した.
4.歪曲補正・画像合成
歪曲した紙面形状を平らにしたときの画像を再構築する方法を提案するとともに,2台のカメラから得られる画像のうち高解像度の部分を合成し,綺麗な画像を生成する手法を構築した.ここでは,曲面上の2点問の距離を保存したまま形状を平面に変形させる方法を構築した.また,カメラの光軸と紙面の法線ベクトルの関係から,左右画像のうちどちらが高解像度かを決定して合成に用いた.
5.左右画像の色合い補正
照明条件やカメラの個差の影響により,左右カメラで文書を同時に撮影しても左右画像では色合いが異なる.そこで,(3)で求めた形状情報を用いると同時にShape from Shadingの手法を併用し,自然な合成画像を生成するために左右画像の色合い補正を行った.

【研究種目】若手研究(B)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】17500067 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / 画像合成 / クロマキー / 立体画像 / コンピュータビジョン / 3次元計測 / バーチャル・リアリティ / ステレオカメラ

【研究成果の概要】

1.ストライプ状背景を用いた撮影画像からの対象抽出:スタジオ内で撮影された人物などの画像と別途撮影された画像を合成するために必要な、画像からの対象抽出手法を構築した。背景色と同一色の対象を抽出することが不可能であるという従来のクロマキーの問題点を解決するため、2色から成るストライプ状背景を用いて任意色対象の抽出を行った。
2.輪郭抽出処理の高精度化:ストライプ状背景を用いた対象抽出処理で得られる抽出結果をさらに高精度化するために、同結果を初期輪郭として動的輪郭モデル(Snakes)を適用する処理手順を構築した。
3.市松模様の背景を用いた撮影画像からの対象抽出:ストライプ状背景は水平方向のみにエッジが存在するという方向性を有する。従って抽出対象のエッジがこのエッジと平行な場合は両エッジは交差せず、輪郭情報を得ることができない。そこで背景の垂直方向にもエッジを持たせるように市松模様の背景とする方式を提案し、これにより任意の方向の輪郭を抽出することを可能とした。
4.対象抽出・画像合成の改善:異なる2枚の画像を合成する際に綺麗な合成画像を得るためには、対象抽出の輪郭および合成境界部分において、前景画像と背景画像の色合いがどの程度混ぜ合わさっているかを表す指標であるα値の推定が重要である。そこで、より高精度にα値を推定する手法を構築した。
5.画像合成のための幾何学的関係推定:背景と人物の位置や大きさの関係を考慮せずに画像合成を行うと、不自然な画像となってしまう。そこで、ステレオカメラを用いて対象の3次元計測を行うことにより、合成時の前景となる対象の位置情報や幾何学的情報を取得する手法について検討した。
6.立体画像合成実験:提案した画像抽出・合成手法による立体画像合成実験を多数の被写体に対して行うことにより、提案手法の有効性を確認した。

【研究種目】基盤研究(C)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】情報通信工学

【研究領域課題番号】12650365 (KAKENデータベースで見る）

【研究キーワード】

コンピュータビジョン / 画像解析 / 画像パターン / 多重解像度解析 / ヒューマンインタフェース / 顔検出 / 尺度空間 / 双極子解析 / ポインティングデバイス / 手形状 / モーメント / 注視 / 画像処理 / リアルタイム / マーカ / 視覚系

【研究成果の概要】

次世代ヒューマンインタフェースのためのコンピュータビジョンシステムを構築する上で重要なことは、ロバスト性とリアルタイム性を両立させることである。このためには、画像パターン情報を階層的に構造化する画像解析手法の確立が必要である。本研究ではこの点に注目して、画像パターンの多重解像度解析の手法を確立するとともに、ヒューマンインタフェースへの応用として重要である顔検出の問題等への適用を試み、システム開発を行ない、その有効性を明らかにした。
多重解像度解析のための方法として、本研究では尺度空間上の双極子解析という新しい手法を導入している。各尺度における画像パターンは極大点と極小点から成る双極子ネットワークで表現され、さらに各尺度におけるネットワークが結合され、ハイパーネットワークを形成する。このネットワーク上において,顔パターンのもつネットワーク構造を部分パターンとして検出することにより、ロバスト性とリアルタイム性を備えた顔検出方法を明らかにして、ヒューマンインタフェースへの応用可能を明らかにした。
顔検出問題においては、あらかじめ学習用顔画像を多重解像度解析することにより、双極子ネットワークの標準パターンを準備する。入力画像に対しては、尺度空間解析によりハイパーネットワークを求め、各顔の標準パターンのパッチングを行なうことにより、顔画像の候補を抽出する。さらに、候補領域の詳細な解析を行なうことにより、最終的に精度の高い顔検出を実現している。

【研究種目】基盤研究(C)

【研究期間】2000 - 2001

【配分額】1,400千円 (直接経費: 1,400千円)

【研究分野】教育工学

【研究領域課題番号】11558018 (KAKENデータベースで見る）

【研究キーワード】

コンピュータビジョン / 拡張現実感 / ICAI / 画像処理 / education / hand recognition / gaze recognition / two-handed drawing

【研究成果の概要】

本年度は以下の研究を行った。
(1)アプリケーションの開発
開発した机システムを用いて以下のようなアプリケーションを開発し評価を行った。
・理科アプリケーション
利用者が理科の教科書を開くと、教科書にあらかじめ添付されたバーコードを認識し、対応するビデオあるいはCGシミュレーションを机上に表示する。利用者は自分自身の手で、投影された電子情報(ビデオやCG)を直接操作する事ができた。なお本研究では従来の研究ではできなかった、実時間(20frame/sec)での認識を手認識を実現した。
・図形描画システム
両手を利用して図形を構画するシステムを開発した。図形の位置指定、移動・回転操作、コピー・ペーストなどがすべて手だけで実現できた。左手周辺には本研究で新たに開発した円形メニューが表示される。また、ジェスチャ認識による図形指定(形と大きさ)、把持操作、メニューの表示・非表示などを実現した。そして既存の図形描画ツールとの被験者実験を行った結果、簡単な図の描画では既存のシステムに比べ、ほぼ同等かそれ以上の成績を収める事が分かった。
(2)両手ジェスチャ認識の高機能化
これまでに開発した実時間手認識手法を用いて、さらに高機能なジェスチャ認識を実現した。具体的には隠れマルコフモデル(HMM)を用いて、10種類のジェスチャ認識を行えるようになった。ジェスチャの種類にもよるが平均では95%以上の認識率を達成した。このジェスチャ認識手法は上記の図形描画システムに利用された。
以上のように、3年間の研究により、当初の目的通りの机システムとそのアプリケーションの開発を行う事ができた。今後は、このシステムの実用化(低価格化、およびコンパクト化)を考えていきたい。また、遠隔に離れた2つの机システムを通信で結び、遠隔教育の実験を行えればと考えている。

【研究種目】基盤研究(B)

【研究期間】1999 - 2001

【配分額】14,200千円 (直接経費: 14,200千円)

【研究分野】情報通信工学

【研究領域課題番号】05750329 (KAKENデータベースで見る）

【研究キーワード】

次世代映像通信 / 構造的記述 / 構造抽出符号化 / 画像符号化 / 画像処理 / 知的画像符号化 / コンピュータビジョン

【研究成果の概要】

本研究は、次世代の高度で柔軟な映像環境の実現に向けて映像情報の質的向上を図るために、構造情報を利用する符号化・処理などの新しい映像処理方式の基礎技術を確立することを目的としている。これに向けて、以下の項目について検討を行った。
1.知的映像通信へ向けた映像の構造的記述に関する基礎検討
従来の映像通信技術は、波形信号を忠実に伝達することを目的としていた。これに対して、本研究は、映像情報に加工・処理・編集を施すことで、ユーザに最適な映像通信環境を提供しようとするものである。これに向けて、映像の構造的性質を系統的、階層的に記述する2次元/3次元構造記述モデルを導くとともに、構造記述モデルを作成するための構成技術に対して詳細な検討を行い構造的記述システム設計の指針を得た。
2.映像の構造的記述の抽出技術に関する検討
動画像から自動的に2次元ならびに3次元的な構造記述を抽出する手法として、新たに映像の逐次的なセグメンテーション手法、2次元動形状の表現手法、運動からの3次元情報推定法を開発した。これらの手法は、長い画像系列の情報を統合することで、安定にかつ逐次的に構造記述を得ることが可能である。
3.映像の構造的記述を利用する映像処理システムの検討
2次元ならびに3次元的な構造情報を利用する映像操作・編集・処理・符号化システムの検討を行うと同時に、構造情報を利用する知的映像通信の可能性を探った。あわせて、映像データを単なる2次元配列としてではなく、背後に構造情報を有するデータとしてとらえることによって、高度で柔軟な映像処理環境を提供できる可能性を検証した。

【研究種目】奨励研究(A)

【研究期間】1993

【配分額】1,200千円 (直接経費: 1,200千円)