【研究領域課題番号】22K17930 (KAKENデータベースで見る）

【研究キーワード】

三次元計測 / 高速ビジョン / 可変焦点光学系 / コンピュータビジョン

【研究種目】若手研究

【研究期間】2022-04-01 - 2026-03-31

【配分額】4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)

【研究領域課題番号】21K17762 (KAKENデータベースで見る）

【研究キーワード】

３次元復元 / マルチスペクトルイメージング / デプス推定 / 分光反射率推定 / プロジェクターカメラシステム / コンピュータビジョン / 画像処理 / ３次元計測 / 分光計測

【研究成果の概要】

本研究では、汎用のプロジェクタとカメラを用いて、物体3D 形状（デプス）と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。
初年度である2021年度は、研究計画のフェーズⅠとして、既存のカラーコードパターン投影に基づくネットワーク構築を実施した。また、ネットワーク学習用のデータ生成のため、物体形状および物体分光反射率を任意に設定し、実際のプロジェクタ－カメラシステムで撮影した画像をシミュレーション可能な、画像生成シミュレーターを開発した。
ネットワーク構築においては、RGBランダムドットパターンを投影して撮影したワンショット画像を入力として、デプス画像と分光反射率画像を同時推定するネットワーク構造を提案した。デプス画像推定においては、構造化光3次元復元の原理に基づき、プロジェクタ－カメラ間のドットパターンマッチングによりデプス画像を推定する。分光反射率画像推定においては、マルチスペクトルイメージングの原理に基づき、RGBの３つのプロジェクタ光源スペクトルおよびRGBの３つのカメラ分光感度の組み合わせによる９バンド情報から、分光反射率画像を推定する。これらの原理をロス関数として組み込み、ネットワークを実装した。
画像生成シミュレーター開発においては、3D空間上に任意の物体を配置し、実際のシステムで撮影した画像をシミュレーション可能なツールを開発した。物体形状として既存の物体形状データベース、物体分光反射率として既存の分光反射率データベースをそれぞれ活用し、これらの任意の組み合わせにより必要な規模の学習データを生成した。
生成したデータに基づき学習したネットワークを、テスト用のシミュレーションおよび実データで評価し、有効性を確認した。これらの成果は、コンピュータビジョンのトップ国際会議であるCVPRで発表予定である。

【研究種目】若手研究

【研究期間】2021-04-01 - 2024-03-31

【配分額】4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)

【研究領域課題番号】18H03309 (KAKENデータベースで見る）

【研究キーワード】

Structure from Motion / スケール復元 / 3次元復元 / コンピュータビジョン / 光の屈折 / 3次元計測

【研究成果の概要】

本研究の目的は，光の屈折現象を利用することにより，スケール復元可能なStructure from Motion（以下，SfM）を新規に構築することである．SfMは1台のカメラを移動させながら取得した画像のみを用いて，3次元計測を行う手法である．従来のSfMは，計測対象の3次元座標と同時に，カメラの移動情報，すなわちカメラの回転と並進移動の方向を推定する．一方で，カメラの並進移動の大きさ（スケール）を算出することはできない．そこで本研究では，レンズの前面に透明板を設置したカメラを移動させることのみで，2次元画像とシーンの3次元情報を同時に取得する方法を新規に構築した．

【研究の社会的意義】

カメラの登場により，3次元空間を撮影することによって，撮影対象を2次元の画像として保存することが可能となった．本研究では，カメラの前に透明な平板を設置するのみで，3次元の撮影対象を色付きの3次元のデータとして保存することが可能である．カメラを用いた本質的な3次元計測原理を新規に開拓した点が，本研究の学術的・社会的意義である．

【研究種目】基盤研究(B)

【研究期間】2018-04-01 - 2021-03-31

【配分額】17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)

【研究分野】知覚情報処理

【研究領域課題番号】16H02844 (KAKENデータベースで見る）

【研究キーワード】

センシングデバイス・システム / 運動計測 / 3次元計測 / コンピュータビジョン / 画像情報処理 / ３次元計測

【研究成果の概要】

幅広い応用展開において、ダイナミックなシーンで機能する実世界センシングのニーズが高い。なかでも物体の回転と併進の速度を捉える運動センシングは重要な役割を担っている。そこで、本研究では、非接触かつ高速で任意物体に適用可能な新しい３次元運動センシングを確立した。本技術は、観測物体の運動が起因する断片的な光現象の変化をレーザセンシングによって捉えるとともに、運動モデルに基づいて集約することで運動を把握するものである。

【研究の社会的意義】

運動センシングは、物体やセンサ自身が予測不能かつ高速に時間変化する環境下で、十分な時空間情報量をリアルタイムに取得することが要請される。しかし、加速度センサやジャイロセンサを用いた従来技術は物体に設置する必要があるため、未知の物体には適用できなかった。カメラを用いた従来技術は計算コストが高いだけでなく、物体表面のテクスチャや形状に特徴がない物体には適用できなかった。提案する運動センシングには、従来技術の問題を解決しうるものであり、応用展開へのインパクトは大きい。

【研究種目】基盤研究(B)

【研究期間】2016-04-01 - 2020-03-31

【配分額】16,380千円 (直接経費: 12,600千円、間接経費: 3,780千円)

【研究分野】知能ロボティクス

【研究領域課題番号】25540114 (KAKENデータベースで見る）

【研究キーワード】

計測工学 / 画像処理 / コンピュータビジョン / オーロラ / 3次元計測 / ステレオ計測 / 魚眼カメラ / 可視化

【研究成果の概要】

本研究では，複数地点に設置した広視野な魚眼カメラを用いて，オーロラの全天3次元形状・位置を高精度に計測する手法を構築した．具体的には，極寒地であるアラスカでオーロラ映像の自動連続撮影が可能な高信頼全天撮影装置の開発した．また，視野が広い半面で歪みが大きい魚眼カメラの内部パラメータ（レンズの歪み特性や焦点距離など）および外部パラメータ（カメラの設置位置と設置姿勢）の高精度同定手法を構築した．更に，3次元立体視可能なオーロラのステレオ映像の自動生成手法を構築した．以上により，超広視野・超高精度の3次元オーロラステレオ計測を実現した．

【研究種目】挑戦的萌芽研究

【研究期間】2013-04-01 - 2015-03-31

【配分額】3,770千円 (直接経費: 2,900千円、間接経費: 870千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】22680017 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像処理 / コンピュータビジョン / 光の伝搬特性 / 光の屈折 / 光の減衰 / 3次元計測 / センシング

【研究成果の概要】

カメラ画像を用いたセンシング技術は,非接触で広範囲を同時に計測できることから幅広く用いられている.これまでの画像センシング技術は,主に空気中など光の伝播特性が一定の環境を取り扱うことが多かった.しかし,水中環境においては,光の屈折,光の減衰,光の遮断などの問題が生じるため,空気中のセンシング手法をそのまま使用することが難しい.そこで本研究では,これら光の伝播特性を考慮した水中センシング手法を構築した.

【研究種目】若手研究(A)

【研究期間】2010 - 2012

【配分額】25,220千円 (直接経費: 19,400千円、間接経費: 5,820千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】21240015 (KAKENデータベースで見る）

【研究キーワード】

コンピュータビジョン / 3 次元計測 / ステレオ計測 / サーフェス生成 / 画像レジストレーション

【研究成果の概要】

ステレオ時系列画像から,サーフェスとフレーム間のカメラ運動の同時推定を効率的に行う技術を開発し,この手法に基づいて,広範囲な地形状のサーフェス生成をプログレッシブに行うアルゴリズムを開発した.その要素技術であるステレオ画像からのサーフェス生成やステレオ時系列画像からの平面姿勢とカメラ運動の同時推定について,それらをリアルタイムに行うシステムを作成した.また,インクリメンタルStructure from Motion技術により,単眼画像が撮影される度に出力される撮影時のカメラ位置と3次元点群を用い,プログレッシブにサーフェスを生成する手法を開発した.そして,撮影しながらモデリング結果をリアルタイムに確認できるオンラインシステムを実現し,SSII2012においてベストデモンストレーション賞を受賞した.

【研究種目】基盤研究(A)

【研究期間】2009 - 2012

【配分額】46,150千円 (直接経費: 35,500千円、間接経費: 10,650千円)

【研究分野】計測工学

【研究領域課題番号】19560422 (KAKENデータベースで見る）

【研究キーワード】

水中 / 画像計測 / 光の伝播特性 / コンピュータビジョン / 画像処理 / 3次元計測 / 光の屈折 / 光の減衰

【研究成果の概要】

水中物体を防水ハウジング中のカメラで撮影する場合、物体からの光はハウジングの境界面で屈折を起こし、形状に歪を生ずる。本研究では、そのような屈折現象を伴った画像から水中物体の3次元形状を取得する方式について検討を行った。また屈折率は波長により異なることから、単色光による計測が分解能の点で有利であることを示した。さらに水中での光の減衰が波長により異なることを考慮した水中画像の色復元法について検討した。

【研究種目】基盤研究(C)

【研究期間】2007 - 2008

【配分額】4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】17700182 (KAKENデータベースで見る）

【研究キーワード】

書籍 / 電子化 / ステレオカメラ / 画像処理 / コンピュータビジョン / 3次元計測 / 歪曲補正 / 画像合成

【研究成果の概要】

1.文書撮影システムの構築
2台のカメラを用いて文書撮像システムを構築した.具体的には,書籍を上向きに置き,ステレオカメラを用いて非接触で書籍の撮影が可能なシステムを構築した.
2.紙面形状の3次元計測
ステレオカメラから得られる画像2枚の視差を求めることにより,紙面の3次元形状を計測する手法を構築した.ここで,文書表面には密なテクスチャがあり,かつ近距離から撮影しているため左右画像で光の当り方が異なる.従って,照明条件の変化に強い正規化相互相関をベースとした手法を用いて対応点検出を行った.更に,形状が比較的滑らかという性質を利用し,計算時間の短縮を図った.
3.紙面形状の復元
(2)によって求めた計測点から,歪曲した紙面形状を曲面方程式で表現する手法を提案した.また,本の綴じ込みや紙の折れ目部分などでは曲率が不連続となるため,この部分をHough変換を用いて検出し,検出した線分で囲まれる領域に対してそれぞれ曲面を当てはめる手法を構築した.
4.歪曲補正・画像合成
歪曲した紙面形状を平らにしたときの画像を再構築する方法を提案するとともに,2台のカメラから得られる画像のうち高解像度の部分を合成し,綺麗な画像を生成する手法を構築した.ここでは,曲面上の2点問の距離を保存したまま形状を平面に変形させる方法を構築した.また,カメラの光軸と紙面の法線ベクトルの関係から,左右画像のうちどちらが高解像度かを決定して合成に用いた.
5.左右画像の色合い補正
照明条件やカメラの個差の影響により,左右カメラで文書を同時に撮影しても左右画像では色合いが異なる.そこで,(3)で求めた形状情報を用いると同時にShape from Shadingの手法を併用し,自然な合成画像を生成するために左右画像の色合い補正を行った.

【研究種目】若手研究(B)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】17500067 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / 画像合成 / クロマキー / 立体画像 / コンピュータビジョン / 3次元計測 / バーチャル・リアリティ / ステレオカメラ

【研究成果の概要】

1.ストライプ状背景を用いた撮影画像からの対象抽出:スタジオ内で撮影された人物などの画像と別途撮影された画像を合成するために必要な、画像からの対象抽出手法を構築した。背景色と同一色の対象を抽出することが不可能であるという従来のクロマキーの問題点を解決するため、2色から成るストライプ状背景を用いて任意色対象の抽出を行った。
2.輪郭抽出処理の高精度化:ストライプ状背景を用いた対象抽出処理で得られる抽出結果をさらに高精度化するために、同結果を初期輪郭として動的輪郭モデル(Snakes)を適用する処理手順を構築した。
3.市松模様の背景を用いた撮影画像からの対象抽出:ストライプ状背景は水平方向のみにエッジが存在するという方向性を有する。従って抽出対象のエッジがこのエッジと平行な場合は両エッジは交差せず、輪郭情報を得ることができない。そこで背景の垂直方向にもエッジを持たせるように市松模様の背景とする方式を提案し、これにより任意の方向の輪郭を抽出することを可能とした。
4.対象抽出・画像合成の改善:異なる2枚の画像を合成する際に綺麗な合成画像を得るためには、対象抽出の輪郭および合成境界部分において、前景画像と背景画像の色合いがどの程度混ぜ合わさっているかを表す指標であるα値の推定が重要である。そこで、より高精度にα値を推定する手法を構築した。
5.画像合成のための幾何学的関係推定:背景と人物の位置や大きさの関係を考慮せずに画像合成を行うと、不自然な画像となってしまう。そこで、ステレオカメラを用いて対象の3次元計測を行うことにより、合成時の前景となる対象の位置情報や幾何学的情報を取得する手法について検討した。
6.立体画像合成実験:提案した画像抽出・合成手法による立体画像合成実験を多数の被写体に対して行うことにより、提案手法の有効性を確認した。

【研究種目】基盤研究(C)

【研究期間】2005 - 2006

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】計測工学

【研究領域課題番号】14550416 (KAKENデータベースで見る）

【研究キーワード】

コンピュータビジョン / 水中物体 / センシング / レーザ / 屈折 / 3次元計測 / ステレオ / 形状計測

【研究成果の概要】

本研究では,(1)レーザレンジファインダを用いた回転台上の水中物体の計測,(2)移動式レーザレンジファインダによる水中物体の計測,(3)ステレオカメラによる気泡など浮遊物ノイズに対してロバストな水中物体の計測,を行った.
(1)については,レーザ照射装置とCCDカメラからなるレーザレンジファインダを構築し,水槽物体に光を照射することにより,水中物体の3次元位置・形状を計測した.ここでは,立方体や円柱など比較的簡単な物体の計測を目的とし,1台のCCDカメラにより物体に照射された光を追跡し,3次元位置・姿勢の計算を行った.具体的には,光線追跡に基づき,左右のカメラにおいて光線上にある点の関係式を求め,キャリブレーション誤差やノイズの影響を除去するために,統計的手法を用いて誤差が最小となる観測パラメータを決定した.また,水槽に対するレーザレンジファインダの設置条件(設置角度)に制約を加えることにより,計算時間の短縮と精度の向上を図った.
(2)については,マニピュレータの手先にCCDカメラを設置し,水槽の周囲を効率良く移動しながら水中物体を計測する手法を構築した.ここでは,マニピュレータを移動させながら連続画像を取得し,それらの画像合成を行い1枚の画像にした後に,水中物体の3次元位置・形状の推定を行うことにより,精度が高く矛盾のない結果を得る手法を構築した.
(3)については,気泡などのノイズが存在する水中環境に対してロバストな計測手法を構築した.具体的には,時系列画像からノイズのみを除去し,ステレオカメラを用いて3次元計測を行う手法を構築した.
以上に関してそれぞれ実験を行い,提案手法の有効性を確認した.

【研究種目】基盤研究(C)

【研究期間】2002 - 2003

【配分額】2,900千円 (直接経費: 2,900千円)