【研究分野】メディア情報学・データベース

【研究領域課題番号】18300036 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / コンピュータグラフィックス / Image Based Modeling / Image Based Modeling ＆ Rerndering

【研究成果の概要】

「比較的小型(1センチメートル以下)なオブジェクトの高精細でフォトリアリスティックなテクスチャを有する3次元コンピュータモデルを短時間で作成可能とする」ことが、本研究の目的である。この目的を達成するための手法として、IBM&R(Image Based Modeling&Rendering)を適用する。IBM&Rにおいては、実画像を用いてコンピュータモデルを作成するため、フォトリアリスティックなテクスチャ付きモデルの生成が期待できるからである。しかしながら、小型オブジェクトを高解像度に撮影する場合、十分な被写界深度を得ることが出来ないなどの理由から、従来、IBM&Rの手法を小型のオブジェクトへ応用することは困難であった。
本研究では非共焦点光学系、共焦点光学系の2光路を有することで被写界深度に由来する諸問題を解決し、IBM&Rに則った3次元の形状計測とフォトリアリスティックなテクスチャ生成を実現するための撮影装置、および3次元コンピュータモデルの生成法について研究・開発を行った。
また研究の過程において発見した技術、「IBMRによる半透明物体の測定法、および表現法」を論文としてまとめると共に、特許の出願を行った。
さらに、本研究プロジェクトの成果によって作成されたデータをミュージアムに提供するなど、本研究成果の公開にも努めた。

【研究種目】基盤研究(B)

【研究期間】2006 - 2007

【配分額】15,590千円 (直接経費: 14,300千円、間接経費: 1,290千円)

【研究分野】知覚情報処理・知能ロボティクス

【研究領域課題番号】15500122 (KAKENデータベースで見る）

【研究キーワード】

画像処理 / 仮想空間 / コンピュータグラフィックス / 水 / 樹木 / 人物像 / 挙動 / 3次元

【研究成果の概要】

非剛体として、(1)水、(2)樹木、(3)人物像、の3種類を検討対象とし、それぞれの挙動を画像処理により認識するとともに、仮想的3次元空間において再現する方法の検討を以下のように行った。
(1)水面を観測するカメラ画像を解析し、Bump mappingを用いて水面形状を再現する方法の検討を進めた。Bump mappingを行うためには、水面における多数の点に対する法線ベクトルを推定する必要があり、Shape from Shading(SfS)が有効と考えられる。SfSにおける直交投影カメラモデルに起因する誤差抑制のために、遺伝的アルゴリズムを用いて法線ベクトルの向きの推定結果を最適化する方法を提案し、良好な結果の見通しを実験により得た。
(2)実空間中の樹木の挙動を、3次元樹木モデルで再現するためには、樹木の挙動を認識する必要があるが、枝や葉を逐一追跡するのは隠れの問題などのため大変困難である。そこで、あらかじめ何種類かの風が吹いた状態における樹木の動画像を蓄積しておき、学習的に風の強さと向きを推定する方法を提案し、有効性の見通しを得た。
(3)人物全身像の画像処理による3次元姿勢推定法の検討を進めた。人体パーツに対応して色分けした衣服を着用した人物を複数カメラで観測し、色彩情報により人体パーツを抽出する。パーツ領域の画素数の大きい2つのカメラ画像を選択し、パーツの形状を解析して、関節に対応する特徴点の3次元座標を求める手法の有効性の見通しを得た。また、前述の画像処理による方法の姿勢推定結果は、装着型のモーションキャプチャシステムと比較して低解像度であり推定可能な自由度が低いという問題があるので、ニューラルネットを用いた学習によりこの問題を解決する方法を検討し、有効性の見通しを得た。一方、表情の3次元顔モデルにおける再現については、顔モデルの変形に加えて、顔画像から得られる実写テクスチャを適宜マッピングすることにより、皺などの微細構造をリアルに表現できる見通しを得た。

【研究種目】基盤研究(C)

【研究期間】2003 - 2004

【配分額】3,700千円 (直接経費: 3,700千円)

【研究分野】メディア情報学・データベース

【研究領域課題番号】15700085 (KAKENデータベースで見る）

【研究キーワード】

初期知覚 / 画像解析 / 輪郭補充 / 線分接続 / 画像処理 / 線分補間 / 曲線補間 / 塗りつぶし / 閉領域 / 線画 / 補完 / 接線 / 彩色 / 不完全閉領域 / コンピュータグラフィックス / ノンフォトリアリスティックレンダリング

【研究成果の概要】

手描きの線画では完全に描ききらずに、途切れた線が発生することがある。また、
画像に対して輪郭検出を行うと、本来存在すべきエッジが検出されずに途切れることがある。
このような不連続な輪郭線で構成された線画像に対して、輪郭線の曲率を考慮して線が延長される可能性を表す場を構成し、線を延長することで不連続部分を滑らかに補完する方法を提案した。
アルゴリズムの概略は以下の通り。
まず、与えられた線画像に対して、局所領域ごとに主成分分析を行い、線分の各地点において方向検出を高精度で行う。さらに一点とそこの接線方向が与えられる時、新たな一点が与えられると、両点を通る円弧は一意に決定できるという円の幾何特性を用いて、線の不連続区間にある指向性を計算し、そこから線の存在の可能性を求め、それを用いて線の存在可能性を表す場を作成する。最後に滑らかさも考慮しつつ場の尾根をたどり、不連続区間を接続する。
評価のために、本手法を円の一部が途切れた画像に対して適用したところ、画像の離散サンプリングにょる真円からの誤差よりも小さな誤差で途切れた区間の円弧の補完を行えることが確認できた。
また、手描きの画像に対しても効果的に適用できるように、高速化の実現と複雑な線群によって場が乱れることを防ぐように端点の組を見つけるアルゴリズムを導入した。
さらに、写真などの実画像から微分した画像には細かな点が多数存在し、どれとどれとが結線できるのか判断しにくいことが多々あることに対応するため、輪郭画像を点群としてでなく、線分に統合して処理を行うように画像に前処理を施し、実画像に対しても本手法を適用できるように拡張も試みた。

【研究種目】若手研究(B)

【研究期間】2003 - 2005

【配分額】3,600千円 (直接経費: 3,600千円)

【研究分野】情報通信工学

【研究領域課題番号】13650432 (KAKENデータベースで見る）

【研究キーワード】

非剛体 / 仮想空間 / 再現 / 画像処理 / コンピュータグラフィックス / 水 / 樹木 / 人物像 / 仮想的環境 / 非剛体物体 / 挙動再現 / 流体 / バンプマッピング / インタラクション認識 / 動き認識 / 3次元人物モデル

【研究成果の概要】

本研究の目的は、実空間中の非剛体物体の挙動を仮想的環境で実時間再現する方法を確立することである。本研究では、1.水、2.樹木、3.人物像、を非剛体物体の検討対象として取り上げ、以下のような検討を行った。
1.本研究の目的に合致する水のモデリング法としてバンプマッピングが適していることをまず明らかにした後、バンプマッピングのために必要な水面上の多数の点への法線ベクトルを、水面の画像から獲得する方法を検討した。Shape from Shadingを用いる方法を提案し、水面の明るさが滑らかに変化する部分については有効だが、周囲景観等の水面への映り込み像の輪郭部等において、形状推定結果に不連続が生じる問題が発生することがわかった。これに対処するアルゴリズムを検討し、有効性の見通しを得た。
2.樹木の挙動を仮想的環境で再現するために必要な、3次元樹木モデルの効率的かつリアルなアニメーション法を検討した。樹木モデルにおける全ての枝セグメントの運動解析を避け、各枝において中心的な役割を果たすセグメントのみを解析するとともに、3次元運動を2次元運動方程式から導く方法を提案し、実験により効率性を確認した。さらに、リアルかつ効率的な葉のレンダリングが可能な条件を明らかにした。
3.人物の動きは表情と全身の動作に大別される。表情に関しては、表情筋の構造と動作を再現する3次元モデルに、顔画像の実写テクスチャをマッピングする手法を検討し、皺等の微細構造の再現が行える見通しを得た。全身像については、人体パーツに対応して色分けした衣服を人物が着用し、色彩画像解析することにより、従来の人物像シルエット解析法では扱うのが困難だった隠れの問題(前のパーツが後ろを隠す、等)を解決できる見通しを得た。また、人物と物体との相互作用がある状況での人物の挙動認識法の基礎的検討を行った。

【研究種目】基盤研究(C)

【研究期間】2001 - 2002

【配分額】3,900千円 (直接経費: 3,900千円)

【研究分野】園芸・造園学

【研究領域課題番号】01860005 (KAKENデータベースで見る）

【研究キーワード】

生態 / 景観 / 数値情報 / 可視化 / 快適 / 予測 / 評価 / コンピュータ・グラフィックス / 快適環境 / 画像処理

【研究成果の概要】

1.生態・景観予測評価システムの構築・運用・公開
生態予測評価モデル(樹木活力度を指標とする)と、景観予測評価モデル(視認性を指標とする)とを組み込み、地域・地区レベル数値情報を基に解析・評価を行い、結果を可視化するシステムを構築した。本システムは、ワークステーションとグラフィックス・コンピュータを中核とし、UT-net(東京大学高速ネットワーク)にネットワーク接続され、公開した。
コンピュータ・グラフィックスによる、生態・景観予測評価結果の可視化は、複数の研究分野における相互の解析・評価結果の理解に有効であることが明かとなった。これにより、ネットワークを利用した生態・景観共同研究の可能性を明らかにした。
2.モデル地区に当該システムの適用し、快適環境形成手法を検討した。
多摩ニュータウンをモデル地区にして、当該生態・景観システム運用により、複数の研究者によって、同一対象地における「生態」「景観」予測評価を実施し、両者の評価から新たな評価をおこなう手法を開発した。
3.他のケーススタディ地でのシステム実用
当該システムを「小笠原諸島」に適用した。生態・景観情報を新規に作成し、予測評価システムを適用した結果、その実用性が検証できた。

【研究種目】試験研究

【研究期間】1989 - 1991

【配分額】25,000千円 (直接経費: 25,000千円)

【研究分野】情報学

【研究領域課題番号】01880007 (KAKENデータベースで見る）

【研究キーワード】

顔 / 表情 / 画像処理 / 知的符号化 / 画像合成 / コンピュ-タ・グラフィックス

【研究成果の概要】

我々は、3年間を通じて下記のような研究成果を挙げた。
1.表情分析合成システムの基本設計
システムをグラフィックワ-クステ-ションに実装し、各種画像処理・CGソフトウェアを整備した。また、研究代表者らが提案している知的画像符号化の手法を用いて、顔面像及び表情の系統的な記述方法を検討した。その結果、知的画像符号化手法の有効性が確認された。
2.表情分析のための応用ソフトウェアの開発
顔画像から顔の向きと表情の形状パラメ-タを抽出するためのソフトウェアを開発した。
3.表情合成のための応用ソフトウェアの開発
表情パラメ-タから自然な顔画像を合成することを目的として、FACSに基づく筋肉運動の様相を心理学的な観点から検討し、表情合成のための画像生成ル-ルを作成した。
4.心理学的評価実験
顔面像より抽出する表情パラメ-タや合成表情画像についての心理学的な評価実験を行った。その結果、我々が開発を進めてきた表情の分析合成システムによる表情合成および表情分析の心理学的妥当性が確認された。
5.システムの心理学的研究および行動研究への応用の検討
心理学および行動科学の研究領域における表情や表情のコミュニケ-ションに関わる研究をサ-ベイし、本システムがそれら研究に果たす役割を探った。

【研究種目】試験研究

【研究期間】1989 - 1991

【配分額】11,600千円 (直接経費: 11,600千円)