【研究分野】メディア情報学・データベース

【研究領域課題番号】17300028 (KAKENデータベースで見る）

【研究キーワード】

World Wide Web / 百科事典 / マルチメディア / 自然言語処理 / 情報検索 / 音声認識 / ユーザインタフェース / コンテンッ構築 / コンテンツ構築

【研究成果の概要】

World Wide Webや放送メディアで配信される大量かつ不均一な情報(作成者,作成の目的,メディアなどが異なる無関係な情報)から,マルチメディア事典コンテンツを自動構築するための基盤研究を行う.具体的には,テキスト,音声,画像ファイルを収集し,事物(専門用語,動植物,事件,人名など)に関する情報を抽出し,関連付け,再構成することで一貫性のある解説的コンテンツを構築する.
研究代表者の藤井は, IPA未踏ソフトウェア創造事業で,見出し語数75万語の事典コンテンツをWeb情報から自動構築した.当コンテンツは,事典検索サイトCyclone (http://cyclone.slis.tsukuba.ac.jp)で公開されている.しかし, Cycloneのコンテンツはテキスト情報だけなので,音声,画像を統合することでマルチメディア化を進めた.画像で説明することの利点が高い見出し語(動植物や装置など)を対象に, Cycloneの説明テキストに画像ファイルを対応付ける研究を行った.本研究を大規模に展開するために, Webから画像ファイルを収集し,画像検索エンジンを独自に開発した.また,テキストと動画像を対応付ける研究を行った.講演ビデオを対象として,ビデオ中の音声情報を抽出し,音声認識システムによって自動的にテキストに転記し,さらに索引付けすることで,テキスト検索技術を用いて講演ビデオから特定のシーンを検索することを可能にした.さらに, Web上の主観情報を対象としてテキスト情報の特徴を可視化する研究,多言語情報を統合するための翻字手法に関する研究を行った.

【研究種目】基盤研究(B)

【研究期間】2005 - 2007

【配分額】10,150千円 (直接経費: 9,100千円、間接経費: 1,050千円)

【研究分野】情報システム学(含情報図書館学)

【研究領域課題番号】14208036 (KAKENデータベースで見る）

【研究キーワード】

クロスメディア検索 / サーチエンジン / 質問緩和 / コンテンツ複合化 / ハイパーメディア / 画像検索 / モバイル情報検索 / 質問言語 / モバイル機器 / WWW / 情報検索 / ユーザ対話 / SMIL / 情報統合 / メタサーチ / クロスメディア / ユーザインタフェース / プレゼンテーション / 話題構造分析

【研究成果の概要】

本研究は,モバイル端末上でコンテンツの検索や呈示を行うための新しいソフトウエア技術を開発し、高度なモバイル・コンテンツアクセス・サービスの実現を目的とするもので、主に以下の項目に関して研究を行った。
(1)コンテンツの自律的提示方式の研究:
機器の操作説明情報やWeb検索エンジンの検索結果をモバイル端末で取得し,これをCGアニメーションと合成音声によって受動的に視聴できるシステムを開発した。また、移動体のビデオ動画像のマルチモーダル検索を行うために、移動体の移動軌跡をスケッチで入力する方式を開発した。
(2)クロスメディア・メタサーチエンジンの研究:
携帯型端末で単純なキーワード入力により、多様なメディアのコンテンツを横断的に検索するために、質問緩和法という方式を開発した。これは、テキスト検索エンジンと,画像検索エンジンを同時使用して検索収集するメタサーチエンジンであり、評価実験の結果、適合率の低下を20%前後にとどめながら再現率を3倍程度向上できることが確かめられた。
(3)対話からの話題構造の発見とこれに基づくモバイル検索:
携帯電話でのチャットやメール等の対話情報から話題構造を抽出し、これをもとにWeb検索するシステムを開発した。また、Blog情報を解析してWeb検索におけるトラスト値を算出する方式や、閲覧中のWebページに関連するBlog情報を受動的に視聴できるシステムを開発した。
(4)モバイル放送のためのコンテンツの動的複合化方式:
ストリームコンテンツの動的な複合化が行えるスクリプト言語MetaSMILを開発した。この言語の特徴は、従来のSMILに比べて、スクリプト中に検索質問を埋め込めたり、複合化に関する意味制約を表現できる点である。さらに、Web文書も画像とみなして、デジカメ画像や携帯電話画像と既存のWebページを自動的に関連づけて表示する方式を開発した。
(5)Webコンテンツの自律的な検索・表示機構に関する研究:
実空間に配置された複数の表示デバイス上に表示されたWebコンテンツ群が、自律的かつ互いに連携をとりながら自身を表示するとともに、ユーザの身体的操作に応じて自動検索できるようにする方式を開発した。

【研究種目】基盤研究(A)

【研究期間】2002 - 2004

【配分額】39,130千円 (直接経費: 30,100千円、間接経費: 9,030千円)

【研究分野】計算機科学

【研究領域課題番号】10780169 (KAKENデータベースで見る）

【研究キーワード】

擬人化エージェント / マルチモーダル / ユーザインタフェース / インタラクション / 顔 / 音声対話 / 情報空間 / WWW / マルチメディア

【研究成果の概要】

本研究では、ネットワーク型擬人化エージェントインタフェースを実現するために、以下の基礎研究・開発を行つた。
1.ネットワーク型擬人化エージェントインタフェースの実装(継続)
擬人化エージェントを任意のWWWページに容易に関連付けることができるように、「VPAタグ」を導入した。これにより、ユーザが新しいWWWページを開くたびに、そのページに関係する擬人化エージェントが画面上に現れて、そのページの内容を音声で紹介したり質問に答えたりするネットワーク型擬人化エージェントインタフェースを実現した。またエージェント・キヤッシュの導入により、オーバーヘッドは新しいエージェントが初めて登場する場合のみ約60KBとなった。
2.擬人化エージェントの自動生成
従来は、ベースとなる顔写真と3次元頭部ワイヤフレームモデルとのマッチングを擬人化エージェント・エディタ(VSAエディタ)を使用して手作業で行なっていた。本研究では、画像処理技術を利用して顔写真を入力するだけで自動的に擬人化エージェントが生成できるようなプロトタイブを設計し実装した。これにより、短時間で精度の高いエージェントの自動生成が可能となった。プロトタイブでは、家庭用デジタルカメラで撮影した正面顔画像に対して85%以上の成功率を実現した。
3.ネットワーク型擬人化エージエントインタフェースの評価
ネットワーク型擬人化エージェントは、WWWコンテンツの一部としてサーバ側でエージェントを記述することができる。プロトタイブの実装と評価を通じて、音声対話機能の記述方法など、実用化に向けて検討すべき課題を明らかにした。

【研究種目】奨励研究(A)

【研究期間】1998 - 1999

【配分額】2,000千円 (直接経費: 2,000千円)

【研究分野】情報システム学(含情報図書館学)

【研究領域課題番号】05452364 (KAKENデータベースで見る）

【研究キーワード】

ハイパーテキスト / データベース / マニュアル / HTML / WWW / マルチメディア / 表面情報 / 意味情報 / 文書データベース / 連合データベース / ユーザインターフェイス / 部分型

【研究成果の概要】

本年度は過去2年間の実績の蓄積をふまえて、プレーンな形のテキストから内容情報を自動的に抽出するソフトウェアの開発に専念した。テクニカルライティングの際に教育されるさまざまなルールが、読者のスキムリーディングを可能にするために表面情報と対応つけて規定されていることを確認し、具体的にひとつの教科書を「インプリメント」することにした。具体的に、まず英語用のテクニカルライティングの規則がどの程度日本語の論文に適用されるかをマニュアルで解析した。結果として、英語でのルールは日本語の論文でも十分適用可能であることを確認した。この際に、文章中の論理展開に使われる特定のシグナルワードを抽出した。さらにLATEX中、重要な位置を占める環境のうちで、特に重要なものとして章節構造、並列構造などに対応する環境を抽出した。これらを総合してLATEXからHTMLへの内容構造を反映したトランスレータtexaを作成した。プログラムtexaは従来作成されたLATEXからHTMLへの変換プログラムの機能を包含し、さらに内容情報を抽出し、それに対応したハイパーテキストを出力することができる。ここでは文章全体に対する目次、さらに段落に対するトピックセンテンスに代表される抽象化がなされるようになっている。さらに、段落のその文章中での役割をシグナルワードから決定し、関連する段落にリンクをはることができる。これらはブラウジング用にNetScape2.0以上を利用することで出力されたハイパーテキストを効率よくブラウズすることができる
さらにこれらのプログラムの開発の結果得られた知見をまとめて報告書を作成した。

【研究種目】一般研究(B)

【研究期間】1993 - 1995

【配分額】6,300千円 (直接経費: 6,300千円)