JPH11175534A - 画像検索方法およびその装置およびこれを利用した検索サービス - Google Patents
画像検索方法およびその装置およびこれを利用した検索サービスInfo
- Publication number
- JPH11175534A JPH11175534A JP33675097A JP33675097A JPH11175534A JP H11175534 A JPH11175534 A JP H11175534A JP 33675097 A JP33675097 A JP 33675097A JP 33675097 A JP33675097 A JP 33675097A JP H11175534 A JPH11175534 A JP H11175534A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- data
- dimensional space
- feature amounts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【目的】 画像データベース中の画像の一覧性と検索の
進行具合いがわかる画像検索方法を提供すること。 【構成】 画像の特徴量を抽出し、それらの特徴量か
ら、統計処理等を行って、各画像の空間座標を決定す
る、決定された座標を用いてコンピュターグラフィクス
等により、３次元空間中に画像アイコンを提示する。ま
た、使用者の見えの移動要求に従って、空間の見えを自
由に変更可能にする。
進行具合いがわかる画像検索方法を提供すること。 【構成】 画像の特徴量を抽出し、それらの特徴量か
ら、統計処理等を行って、各画像の空間座標を決定す
る、決定された座標を用いてコンピュターグラフィクス
等により、３次元空間中に画像アイコンを提示する。ま
た、使用者の見えの移動要求に従って、空間の見えを自
由に変更可能にする。
Description
【０００１】
【発明の属する技術分野】本発明は、画像検索方法およ
びその装置およびこれを利用した検索サービスに関す
る。
びその装置およびこれを利用した検索サービスに関す
る。
【０００２】
【従来の技術】従来の類似画像検索方法においては、デ
ータベースとして特徴量があらかじめ導出された画像デ
ータを有する計算機に質問画像を一つ入力し、質問画像
から算出される特徴量と画像データベースの各画像の特
徴量とを比較し、類似している順に順位づけして、その
順位にしたがって提示装置が許す範囲の枚数で使用者に
画像を提示する方法が一般的である。また、その提示さ
れた画像から適当な画像を再び選んで、これを質問画像
として、検索を繰り返す方法が用いられている。
ータベースとして特徴量があらかじめ導出された画像デ
ータを有する計算機に質問画像を一つ入力し、質問画像
から算出される特徴量と画像データベースの各画像の特
徴量とを比較し、類似している順に順位づけして、その
順位にしたがって提示装置が許す範囲の枚数で使用者に
画像を提示する方法が一般的である。また、その提示さ
れた画像から適当な画像を再び選んで、これを質問画像
として、検索を繰り返す方法が用いられている。
【０００３】また、使用者に対する画像の提示手法に
は、複数の画像をなるべく見やすく表示するために、例
えば、特開平５−２８２３７５に示されるように、特徴
量の値に従って画面に縮小表示する工夫がなされている
が、これらの手法は、平面上の表示でしかない。
は、複数の画像をなるべく見やすく表示するために、例
えば、特開平５−２８２３７５に示されるように、特徴
量の値に従って画面に縮小表示する工夫がなされている
が、これらの手法は、平面上の表示でしかない。
【０００４】
【発明が解決しようとする課題】従来の方法において
は、画像の類似性の判断は全て計算機に備えられる認識
システムに委ねられている。しかしながら、画像の認識
を多くの種類の画像からなるデータベースに対して計算
機の認識システムのみで類似性の判断を行うことは困難
な問題である。さらに、画像の類似性は、使用者の検索
目的によって異なるものであるから、計算機の認識シス
テムの判断は、その検索目的に対応した柔軟なものであ
る必要があるが、認識システムがそれに完全に応えるの
は困難である。
は、画像の類似性の判断は全て計算機に備えられる認識
システムに委ねられている。しかしながら、画像の認識
を多くの種類の画像からなるデータベースに対して計算
機の認識システムのみで類似性の判断を行うことは困難
な問題である。さらに、画像の類似性は、使用者の検索
目的によって異なるものであるから、計算機の認識シス
テムの判断は、その検索目的に対応した柔軟なものであ
る必要があるが、認識システムがそれに完全に応えるの
は困難である。
【０００５】すなわち、上記類似画像検索方法における
類似画像提示、選択、検索の繰り返しでは、使用者が意
図している画像に近付いているのかどうかを知る手段は
ない。従って、マッチングする特徴量が適切でない場
合、検索を何度繰り返し行っても、同じ画像が交互に検
索されるなどの現象が生じ、使用者の意図を満足させら
れる画像にたどりつけないという検索の失敗が生じるケ
ースもある。
類似画像提示、選択、検索の繰り返しでは、使用者が意
図している画像に近付いているのかどうかを知る手段は
ない。従って、マッチングする特徴量が適切でない場
合、検索を何度繰り返し行っても、同じ画像が交互に検
索されるなどの現象が生じ、使用者の意図を満足させら
れる画像にたどりつけないという検索の失敗が生じるケ
ースもある。
【０００６】このような失敗を避けるためには、扱って
いる画像データベースの内容に関する一覧性をできる限
り高く、使用者に提供すること、また、検索の進行具合
いがわかるような提示方法が望ましい。そのような目的
を持った提示手法として、上記従来の技術の項で示した
ように、平面上に一定の大きさを持った画像を多数配置
する手法があるが、平面上での提示のため、大量画像の
場合に画像間に重なりが起きやすく、一覧性の確保とい
う点で使用者への最大限の情報の提示を行える手法とは
なっていない。
いる画像データベースの内容に関する一覧性をできる限
り高く、使用者に提供すること、また、検索の進行具合
いがわかるような提示方法が望ましい。そのような目的
を持った提示手法として、上記従来の技術の項で示した
ように、平面上に一定の大きさを持った画像を多数配置
する手法があるが、平面上での提示のため、大量画像の
場合に画像間に重なりが起きやすく、一覧性の確保とい
う点で使用者への最大限の情報の提示を行える手法とは
なっていない。
【０００７】
【課題を解決するための手段】本発明は、画像の特徴量
から、各画像の空間座標を決定し、コンピュターグラフ
ィクス等の技術を用いて、３次元空間中に画像アイコン
を提示することによって、画像データベースの内容の一
覧性を向上させた検索システムを提供する。また、使用
者の意図に対応した視点の移動を可能にすることによっ
て、使用者がデータベース中を移動する感覚による探索
を実現する。またその手段により、検索の進行具合いが
分かる画像検索方法を提供する。
から、各画像の空間座標を決定し、コンピュターグラフ
ィクス等の技術を用いて、３次元空間中に画像アイコン
を提示することによって、画像データベースの内容の一
覧性を向上させた検索システムを提供する。また、使用
者の意図に対応した視点の移動を可能にすることによっ
て、使用者がデータベース中を移動する感覚による探索
を実現する。またその手段により、検索の進行具合いが
分かる画像検索方法を提供する。
【０００８】本発明では、画像データベース中の各画像
から、色分布、エッジ分布等の各種特徴量を抽出し、抽
出された各画像からの特徴量を用いて統計処理を行うこ
とによって、各画像の特徴量の成分を目的の３成分へ変
換する。その変換に基づいて、原特徴量を３つの特徴量
に変換し、それらを３次元座標とみなして、画像アイコ
ンを対応する３次元位置に配置したコンピュータグラフ
ィックスを生成する。
から、色分布、エッジ分布等の各種特徴量を抽出し、抽
出された各画像からの特徴量を用いて統計処理を行うこ
とによって、各画像の特徴量の成分を目的の３成分へ変
換する。その変換に基づいて、原特徴量を３つの特徴量
に変換し、それらを３次元座標とみなして、画像アイコ
ンを対応する３次元位置に配置したコンピュータグラフ
ィックスを生成する。
【０００９】そのコンピュータグラフィックスの画像を
使用者が見る視点を仮想カメラの視点と看做して、使用
者の意図に応じて仮想カメラ位置を自由に変更すること
によって、使用者が満足する画像に近づきやすくするこ
とができる。本発明では使用者に対する画像提示が効果
的に行われる、すなわち、多くの画像を一度に見ること
が出来るから、データベースの画像が比較的小数、例え
ば、一万画像程度であれば、質問画像による選択を省略
して、使用者がコンピュータグラフィックスの画像を見
る過程から始めることも可能である。
使用者が見る視点を仮想カメラの視点と看做して、使用
者の意図に応じて仮想カメラ位置を自由に変更すること
によって、使用者が満足する画像に近づきやすくするこ
とができる。本発明では使用者に対する画像提示が効果
的に行われる、すなわち、多くの画像を一度に見ること
が出来るから、データベースの画像が比較的小数、例え
ば、一万画像程度であれば、質問画像による選択を省略
して、使用者がコンピュータグラフィックスの画像を見
る過程から始めることも可能である。
【００１０】
【発明の実施の形態】以下、本発明の実施例を説明す
る。
る。
【００１１】図１は、本発明の動作モジュール構成の概
念を示した図である。
念を示した図である。
【００１２】画像データベース１０１中の各画像から、
原特徴量抽出モジュール１０２(プログラムモジュール)
によって、原特徴量が複数抽出され、原特徴量データベ
ース１０３に格納される。原特徴量としては、ＲＧＢも
しくはＹＩＱ、ＨＩＳ等の画像の各色情報毎の値に対す
る量子化されたヒストグラム、エッジ微分の量子化され
た方向ヒストグラム等を用いる。それらの特徴量は、さ
まざまな解像度、場所に渡って取り出して、それぞれ別
々の特徴量としてもよい。
原特徴量抽出モジュール１０２(プログラムモジュール)
によって、原特徴量が複数抽出され、原特徴量データベ
ース１０３に格納される。原特徴量としては、ＲＧＢも
しくはＹＩＱ、ＨＩＳ等の画像の各色情報毎の値に対す
る量子化されたヒストグラム、エッジ微分の量子化され
た方向ヒストグラム等を用いる。それらの特徴量は、さ
まざまな解像度、場所に渡って取り出して、それぞれ別
々の特徴量としてもよい。
【００１３】次に、それらの原特徴量から、描画特徴量
構成モジュール１０４(プログラムモジュール)によっ
て、描画のための特徴量（以後、描画特徴量と呼ぶ）を
再構成し、描画特徴量データベース１０５に格納する。
再構成のための手法として、例えば、画像の分類指標な
どの外的規準が与えられていない場合には、原特徴量の
主成分分析を行い、第１〜第３までの主成分を特徴量と
して用いる。
構成モジュール１０４(プログラムモジュール)によっ
て、描画のための特徴量（以後、描画特徴量と呼ぶ）を
再構成し、描画特徴量データベース１０５に格納する。
再構成のための手法として、例えば、画像の分類指標な
どの外的規準が与えられていない場合には、原特徴量の
主成分分析を行い、第１〜第３までの主成分を特徴量と
して用いる。
【００１４】一方、外的規準として、画像をいくつかの
クラスに分類する指標が与えられている場合には、原特
徴量の判別分析等を行い、各クラスに属する画像が良く
分離されて配置されるような、３つの特徴量への変換を
行う。また、画像に定量的な外的規準や、複数のキーワ
ード等が与えられている場合には、重回帰分析や正準相
関分析を用いて、定量的な外的規準をよく反映したもの
になるような、変換後の３つの特徴量を探す。それら個
別の統計解析手法を用いた実施例は後述する。
クラスに分類する指標が与えられている場合には、原特
徴量の判別分析等を行い、各クラスに属する画像が良く
分離されて配置されるような、３つの特徴量への変換を
行う。また、画像に定量的な外的規準や、複数のキーワ
ード等が与えられている場合には、重回帰分析や正準相
関分析を用いて、定量的な外的規準をよく反映したもの
になるような、変換後の３つの特徴量を探す。それら個
別の統計解析手法を用いた実施例は後述する。
【００１５】可視化モジュール１０６(プログラムモジ
ュール)は、各画像ごとに算出された描画特徴量を用い
て、３次元座標値を算出し、それらを用いて、コンピュ
ータグラフィックスによって構成された空間中の対応す
る３次元位置に画像アイコンを添付する。画像アイコン
添付の詳細な方法は後述する。ここで、描画特徴量デー
タベース１０５に格納された画像データを可視化モジュ
ール１０６にて可視化を行う際に参照画像による検索等
が介在するが、本発明はこれを省略することも可能であ
る。
ュール)は、各画像ごとに算出された描画特徴量を用い
て、３次元座標値を算出し、それらを用いて、コンピュ
ータグラフィックスによって構成された空間中の対応す
る３次元位置に画像アイコンを添付する。画像アイコン
添付の詳細な方法は後述する。ここで、描画特徴量デー
タベース１０５に格納された画像データを可視化モジュ
ール１０６にて可視化を行う際に参照画像による検索等
が介在するが、本発明はこれを省略することも可能であ
る。
【００１６】図２は、本発明の可視化システムの実施例
の概略を示した図であり、使用者の動きに連動して変化
する仮想空間を、視覚的に体験できる仕組みを伴ったも
のとされた例である。
の概略を示した図であり、使用者の動きに連動して変化
する仮想空間を、視覚的に体験できる仕組みを伴ったも
のとされた例である。
【００１７】２００は計算機を示し、これには、たとえ
ば入力インターフェース装置２０３、中央処理装置２０
４、外部記憶装置２０５、２１１、出力インタフェイス
２０６および内部記憶装置２１０等が備えられ、システ
ムバス２１２で結合される。外部記憶装置２０５は図１
で示した各種のデータベース１０１、１０３および１０
５に対応する記憶装置である。外部記憶装置２１１は図
１で示したような処理および本発明の実施に必要なプロ
グラムが格納される。ワークエリア２１０はプログラム
が動くために必要なメモリエリアとして使用される。２
０１はグローブ型センサ装置、２０２は磁気センサ装置
であり、これらを通して使用者の手の動き、体の位置及
び方向が検出される。各センサの入力は入力インターフ
ェース装置２０３を介して、計算機２００に入力され
る。計算機２００に入力された各センサの出力に対応し
て算出されたコンピュタグラフィックスデータは映像化
されて出力インタフェイス２０６を介して映像表示装置
２０７に出力されて使用者に提示される。
ば入力インターフェース装置２０３、中央処理装置２０
４、外部記憶装置２０５、２１１、出力インタフェイス
２０６および内部記憶装置２１０等が備えられ、システ
ムバス２１２で結合される。外部記憶装置２０５は図１
で示した各種のデータベース１０１、１０３および１０
５に対応する記憶装置である。外部記憶装置２１１は図
１で示したような処理および本発明の実施に必要なプロ
グラムが格納される。ワークエリア２１０はプログラム
が動くために必要なメモリエリアとして使用される。２
０１はグローブ型センサ装置、２０２は磁気センサ装置
であり、これらを通して使用者の手の動き、体の位置及
び方向が検出される。各センサの入力は入力インターフ
ェース装置２０３を介して、計算機２００に入力され
る。計算機２００に入力された各センサの出力に対応し
て算出されたコンピュタグラフィックスデータは映像化
されて出力インタフェイス２０６を介して映像表示装置
２０７に出力されて使用者に提示される。
【００１８】本発明では、使用者は仮想空間上に提示さ
れた画像アイコン配置の奥行き感を体験できるように、
計算機２００が生成した画像アイコンを使用者の両眼に
適当な視差を伴って表示されるから、使用者にとって、
一覧性を高くすることが出来、使用者の動きに応じて表
示が変わることで検索の進行具合いがわかるような表示
となる。
れた画像アイコン配置の奥行き感を体験できるように、
計算機２００が生成した画像アイコンを使用者の両眼に
適当な視差を伴って表示されるから、使用者にとって、
一覧性を高くすることが出来、使用者の動きに応じて表
示が変わることで検索の進行具合いがわかるような表示
となる。
【００１９】図３は、本発明によって使用者に提供され
る映像の例を示す概念図であり、使用者の動きに応じて
表示が変わっていることを示す例である。図３(ａ)、
(ｂ)および(ｃ)に示される表示枠３０７、３０８および
３０９は使用者３０４の視野を意味しており、各表示枠
には図３(ｂ)に代表して示した各画像を表す複数の画像
アイコン３０１、３０２、３０３等が対応する３次元特
徴量に従った座標を持つ位置に配置されている。図は、
具体的には後述するが、使用者３０４が正面を向いて見
た視野が表示枠３０８、使用者３０４が矢印３０５に示
すように正面から少し左を向いて見た視野が表示枠３０
７、および、使用者３０４が矢印３０６に示すように正
面から少し右を向いて見た視野が表示枠３０９に示され
る。
る映像の例を示す概念図であり、使用者の動きに応じて
表示が変わっていることを示す例である。図３(ａ)、
(ｂ)および(ｃ)に示される表示枠３０７、３０８および
３０９は使用者３０４の視野を意味しており、各表示枠
には図３(ｂ)に代表して示した各画像を表す複数の画像
アイコン３０１、３０２、３０３等が対応する３次元特
徴量に従った座標を持つ位置に配置されている。図は、
具体的には後述するが、使用者３０４が正面を向いて見
た視野が表示枠３０８、使用者３０４が矢印３０５に示
すように正面から少し左を向いて見た視野が表示枠３０
７、および、使用者３０４が矢印３０６に示すように正
面から少し右を向いて見た視野が表示枠３０９に示され
る。
【００２０】さらに、表示枠内に配置される画像アイコ
ンの大きさは、画像の総枚数と、その集中具合いから算
出して、過度な重なりが生じないように決定する。例え
ば、画像の総枚数がＭ、最大の２つ分散を持つ方向での
分散の大きさを算出した結果、Ｓ1， Ｓ2であった場
合、２次元に射影した時に、およそ、π×Ｓ1× Ｓ2中
にＭ個がばらまかれていると考え、各画像アイコンが、
π×Ｓ1×Ｓ2×Ｍの面積を持つように設定する（例え
ば、画像の縦横比が１：ｒの場合、縦√（π×Ｓ1×Ｓ2
／（Ｍ×ｒ））、横√（π×Ｓ1×Ｓ2×ｒ／Ｍ）となる
ようにする。
ンの大きさは、画像の総枚数と、その集中具合いから算
出して、過度な重なりが生じないように決定する。例え
ば、画像の総枚数がＭ、最大の２つ分散を持つ方向での
分散の大きさを算出した結果、Ｓ1， Ｓ2であった場
合、２次元に射影した時に、およそ、π×Ｓ1× Ｓ2中
にＭ個がばらまかれていると考え、各画像アイコンが、
π×Ｓ1×Ｓ2×Ｍの面積を持つように設定する（例え
ば、画像の縦横比が１：ｒの場合、縦√（π×Ｓ1×Ｓ2
／（Ｍ×ｒ））、横√（π×Ｓ1×Ｓ2×ｒ／Ｍ）となる
ようにする。
【００２１】先にも述べたように、本発明では、コンピ
ュータグラフィックスの画像を使用者が見る視点を仮想
カメラのファインダの視点と看做して、使用者の意図に
応じて仮想カメラ位置を自由に変更することによって、
使用者が満足する画像に近づきやすくすることを意図し
ているから、上記表示枠に配置される画像アイコンの向
きは、空間固定であるよりは、そこに張り付けられた画
像が仮想カメラから見えやすい向きに配置するものとす
るのが良い。画像アイコンとして、厚みのない板状の物
体を用いる場合、その画像面の向きが空間座標に固定さ
れたままでは、仮想カメラの位置によっては厚みのない
方向を向けてしまう場合があり、一覧性が損なわれる。
その現象を回避するため、全ての画像の向きは、その面
が仮想カメラの視線の方向と常に垂直に向けるようにす
る。勿論、画像アイコンの向きの制御方法としては、全
ての画像面が仮想カメラの方向を向くようにする方法、
画像アイコンの縦方向を例えば（０，０，１）方向に固
定して、残りの（０，０，１）軸回りの１つの回転自由
度を仮想カメラの方向あるいは、仮想カメラの視線方向
に合わせるという方法などが可能である。画像アイコン
として体積を持った物体を用いる場合には、その物体の
各面に同じ画像を貼り付けることで、さまざまな方向か
らの見えを確保することも可能である。
ュータグラフィックスの画像を使用者が見る視点を仮想
カメラのファインダの視点と看做して、使用者の意図に
応じて仮想カメラ位置を自由に変更することによって、
使用者が満足する画像に近づきやすくすることを意図し
ているから、上記表示枠に配置される画像アイコンの向
きは、空間固定であるよりは、そこに張り付けられた画
像が仮想カメラから見えやすい向きに配置するものとす
るのが良い。画像アイコンとして、厚みのない板状の物
体を用いる場合、その画像面の向きが空間座標に固定さ
れたままでは、仮想カメラの位置によっては厚みのない
方向を向けてしまう場合があり、一覧性が損なわれる。
その現象を回避するため、全ての画像の向きは、その面
が仮想カメラの視線の方向と常に垂直に向けるようにす
る。勿論、画像アイコンの向きの制御方法としては、全
ての画像面が仮想カメラの方向を向くようにする方法、
画像アイコンの縦方向を例えば（０，０，１）方向に固
定して、残りの（０，０，１）軸回りの１つの回転自由
度を仮想カメラの方向あるいは、仮想カメラの視線方向
に合わせるという方法などが可能である。画像アイコン
として体積を持った物体を用いる場合には、その物体の
各面に同じ画像を貼り付けることで、さまざまな方向か
らの見えを確保することも可能である。
【００２２】センサ２０１および２０２から入力インタ
ーフェイス装置２０３を介して使用者の意図を計算機２
００に入力する。たとえば、初めに使用者３０４に、図
３(b)の映像３０８が呈示されていたとき、矢印３０５
で示すように、使用者が頭を矢印３０５のように、左に
回転させると、これがセンサ２０２で検知されて、これ
に伴って図３(ａ)のように右側にシフトした視野の映像
３０７が提示される。逆に使用者が頭を矢印３０６のよ
うに、右に回転させると、これがセンサ２０２で検知さ
れて、これに伴って図３(ｃ)のように左側にシフトした
映像３０９が提示される。また、使用者が移動しなくて
も、使用者がセンサ２０１をつけた手によって視野を左
あるいは右にずらすように映像を右側あるいは左側に引
っ張るように手を動かすと、センサ２０１はこれを検知
し、計算機２００はこれに対応して、図３に示したと同
様に使用者に対する映像の表示を変更できる。
ーフェイス装置２０３を介して使用者の意図を計算機２
００に入力する。たとえば、初めに使用者３０４に、図
３(b)の映像３０８が呈示されていたとき、矢印３０５
で示すように、使用者が頭を矢印３０５のように、左に
回転させると、これがセンサ２０２で検知されて、これ
に伴って図３(ａ)のように右側にシフトした視野の映像
３０７が提示される。逆に使用者が頭を矢印３０６のよ
うに、右に回転させると、これがセンサ２０２で検知さ
れて、これに伴って図３(ｃ)のように左側にシフトした
映像３０９が提示される。また、使用者が移動しなくて
も、使用者がセンサ２０１をつけた手によって視野を左
あるいは右にずらすように映像を右側あるいは左側に引
っ張るように手を動かすと、センサ２０１はこれを検知
し、計算機２００はこれに対応して、図３に示したと同
様に使用者に対する映像の表示を変更できる。
【００２３】このように、本発明では、画像の見えは使
用者の意図に応じた視点の移動すなわち使用者の行為に
伴う仮想カメラの移動によって変化するものとなる。こ
の実施例における仮想カメラの移動方向とその大きさ
は、使用者の行動をセンスすることによって行うことが
出来、検知された使用者の行動（意図）に従って３次元
空間中の視点と視線の向き、画面角度を変化させること
ができる。勿論、仮想カメラの移動は、このように使用
者の移動を直接センスする代わりに、計算機のキーボー
ドあるいはマウス等の汎用の計算機の入力装置によるデ
ータの指定で行うことができるのは当然である。このよ
うにして、仮想カメラの移動を繰り返すことによって、
使用者は仮想カメラの移動に伴う異なった視点からの画
像を探索することができる。
用者の意図に応じた視点の移動すなわち使用者の行為に
伴う仮想カメラの移動によって変化するものとなる。こ
の実施例における仮想カメラの移動方向とその大きさ
は、使用者の行動をセンスすることによって行うことが
出来、検知された使用者の行動（意図）に従って３次元
空間中の視点と視線の向き、画面角度を変化させること
ができる。勿論、仮想カメラの移動は、このように使用
者の移動を直接センスする代わりに、計算機のキーボー
ドあるいはマウス等の汎用の計算機の入力装置によるデ
ータの指定で行うことができるのは当然である。このよ
うにして、仮想カメラの移動を繰り返すことによって、
使用者は仮想カメラの移動に伴う異なった視点からの画
像を探索することができる。
【００２４】図４は、外的規準が与えられていない場合
の、原特徴量からの３つの特徴量再構成手法として、主
成分分析を用いた場合の計算手順を示すＰＡＤ図であ
る。
の、原特徴量からの３つの特徴量再構成手法として、主
成分分析を用いた場合の計算手順を示すＰＡＤ図であ
る。
【００２５】いま、画像がＭ枚あったとする。それらの
すべての画像に対し、各画像からステップ４０１でそれ
ぞれ複数の原特徴量を算出を行い、それらをまとめて原
特徴量ベクトルとする。以下、そのベクトルの次元をＮ
とする。次に、この原特徴量ベクトルから、分散共分散
行列を算出する。すなわち、画像総枚数をＭとし、ｋ番
目の画像からのＮ次元の原特徴量ベクトルを（数１）の
ように表わす。
すべての画像に対し、各画像からステップ４０１でそれ
ぞれ複数の原特徴量を算出を行い、それらをまとめて原
特徴量ベクトルとする。以下、そのベクトルの次元をＮ
とする。次に、この原特徴量ベクトルから、分散共分散
行列を算出する。すなわち、画像総枚数をＭとし、ｋ番
目の画像からのＮ次元の原特徴量ベクトルを（数１）の
ように表わす。
【００２６】
【数１】
【００２７】それらの全ての画像による平均値を
【００２８】
【数２】
【００２９】とすると、分散共分散行列Ｃは（数３）で
計算できる。
計算できる。
【００３０】
【数３】
【００３１】次に、（数４）に示すように、ステップ４
０２で分散共分散行列Ｃの固有値ｌ
０２で分散共分散行列Ｃの固有値ｌ
【００３２】
【数４】
【００３３】と固有ベクトルｆを求め、ステップ４０３
でその固有値の大きさが大きいものから３つ選んだ
ｌ1、ｌ2、ｌ3にそれぞれ対応する３つの固有ベクトル
ｆ1、ｆ2、ｆ3を取り出す。
でその固有値の大きさが大きいものから３つ選んだ
ｌ1、ｌ2、ｌ3にそれぞれ対応する３つの固有ベクトル
ｆ1、ｆ2、ｆ3を取り出す。
【００３４】次に、ステップ４０４で各画像の原特徴量
ベクトルを計算し、それら３つの固有ベクトル方向へ射
影した３次元ベクトルを描画特徴量とする。すなわち、
画像ｋの原特徴量をベクトルをｘk、変換後の描画特徴
量を（ｐ1 k，ｐ2 k，ｐ3 k）とすると、（数５）に示すよ
うになる。
ベクトルを計算し、それら３つの固有ベクトル方向へ射
影した３次元ベクトルを描画特徴量とする。すなわち、
画像ｋの原特徴量をベクトルをｘk、変換後の描画特徴
量を（ｐ1 k，ｐ2 k，ｐ3 k）とすると、（数５）に示すよ
うになる。
【００３５】
【数５】
【００３６】これによって、ばらつきが最も大きい３つ
の特徴量が得られる。最後に、得られた値を３次元座標
とみなして、ステップ４０５で対応する位置に画像アイ
コンを配置する。
の特徴量が得られる。最後に、得られた値を３次元座標
とみなして、ステップ４０５で対応する位置に画像アイ
コンを配置する。
【００３７】図５は、画像の複数の仮想カメラをもった
映像表示の例を示す図である。図の実施例は全部で４つ
の仮想カメラを用いた例である。使用者には、検索の当
初、図５（ａ）に示すように１〜４と番号づけが表示さ
れた全部の仮想カメラの映像を持った視野５０１の映像
が提示される。４つの仮想カメラからの表示が画面を区
切って表示され、かつ、それぞれの映像の左上に、仮想
カメラに対応する番号が付され、どのカメラの映像なの
か識別できるようになっている。また、各映像には、各
映像の相互関係を分かりやすくするため、他の仮想カメ
ラが映像の見えに入っている場合、それらの仮想カメラ
の位置と方向を示す視点アイコンが表示されている。例
えば、仮想カメラ１による映像１の中には、映像３の視
点アイコン５０２が、仮想カメラ３による映像３の中に
は映像２の視点アイコン５０３が、それぞれ表示されて
いる。それぞれの視点アイコンは、どの映像のものなの
かを識別するため、映像と同じ番号が付与され、表示さ
れる。映像２および４の視野には、仮想カメラが視野の
中に無いので、視点アイコンは表示されていない。
映像表示の例を示す図である。図の実施例は全部で４つ
の仮想カメラを用いた例である。使用者には、検索の当
初、図５（ａ）に示すように１〜４と番号づけが表示さ
れた全部の仮想カメラの映像を持った視野５０１の映像
が提示される。４つの仮想カメラからの表示が画面を区
切って表示され、かつ、それぞれの映像の左上に、仮想
カメラに対応する番号が付され、どのカメラの映像なの
か識別できるようになっている。また、各映像には、各
映像の相互関係を分かりやすくするため、他の仮想カメ
ラが映像の見えに入っている場合、それらの仮想カメラ
の位置と方向を示す視点アイコンが表示されている。例
えば、仮想カメラ１による映像１の中には、映像３の視
点アイコン５０２が、仮想カメラ３による映像３の中に
は映像２の視点アイコン５０３が、それぞれ表示されて
いる。それぞれの視点アイコンは、どの映像のものなの
かを識別するため、映像と同じ番号が付与され、表示さ
れる。映像２および４の視野には、仮想カメラが視野の
中に無いので、視点アイコンは表示されていない。
【００３８】使用者が、これらの映像の中から検索の意
図に合う（希望する）画像があると思うもの、例えば、
映像４を選択すると、図５（ｂ）に示す視野５０４のよ
うに選択した表示のみが視野全体に大きく表示される。
ここで、右上の領域５０５には、利用者が仮想カメラの
視点を移動してきた経路５０６が表示される。この視野
５０４の表示は、この視野の中で、使用者が意図してい
る画像を求めて仮想カメラの視点を移動させる操作をし
たときの視点の位置に応じて順次変更されるが、この仮
想カメラの各視点の位置はデータとして保存され、これ
が仮想カメラの視点の移動経路として表示される。した
がって、使用者は仮想カメラの視点を移動させて検索を
進めた後、少し前に見た視点での表示に戻って見直しを
したいときには、この移動経路に沿っていつでも探索過
程を逆行することが可能である。さらに、その視点の位
置から記録されている経路とは異なった方向に仮想カメ
ラの視点を移動させることも出来る。
図に合う（希望する）画像があると思うもの、例えば、
映像４を選択すると、図５（ｂ）に示す視野５０４のよ
うに選択した表示のみが視野全体に大きく表示される。
ここで、右上の領域５０５には、利用者が仮想カメラの
視点を移動してきた経路５０６が表示される。この視野
５０４の表示は、この視野の中で、使用者が意図してい
る画像を求めて仮想カメラの視点を移動させる操作をし
たときの視点の位置に応じて順次変更されるが、この仮
想カメラの各視点の位置はデータとして保存され、これ
が仮想カメラの視点の移動経路として表示される。した
がって、使用者は仮想カメラの視点を移動させて検索を
進めた後、少し前に見た視点での表示に戻って見直しを
したいときには、この移動経路に沿っていつでも探索過
程を逆行することが可能である。さらに、その視点の位
置から記録されている経路とは異なった方向に仮想カメ
ラの視点を移動させることも出来る。
【００３９】それぞれの仮想カメラの視点と初期視線方
向の初期設定の例としては、仮想カメラ１は画像の分布
の重心（０，０，０）に置き、視線は（１，１，１）方
向、仮想カメラ２は、画像アイコンの分布の重心位置か
ら（１，１，１）の方向に、ほぼ全ての画像アイコンが
表示される程度画像群から十分離れた点に置き、視線は
（−１，−１，−１）方向、仮想カメラ３は、（１，−
１，０）の方向にやはり画像群から十分離れた点に置
き、視線（−１，１，０）方向、などと与える。残りの
自由度である画面の回転角度は、画面の水平方向が
（１，０，０）ベクトルと（０，１，０）で張られる面
に平行になるように設定する。
向の初期設定の例としては、仮想カメラ１は画像の分布
の重心（０，０，０）に置き、視線は（１，１，１）方
向、仮想カメラ２は、画像アイコンの分布の重心位置か
ら（１，１，１）の方向に、ほぼ全ての画像アイコンが
表示される程度画像群から十分離れた点に置き、視線は
（−１，−１，−１）方向、仮想カメラ３は、（１，−
１，０）の方向にやはり画像群から十分離れた点に置
き、視線（−１，１，０）方向、などと与える。残りの
自由度である画面の回転角度は、画面の水平方向が
（１，０，０）ベクトルと（０，１，０）で張られる面
に平行になるように設定する。
【００４０】図６は、群分けに基づいた３次元特徴量に
よる画像提示の例を示す図である。図６（ａ）は視野６
０１内に、「山の画像」「街並の画像」「川の画像」と
いう群分けを最大にするという観点から３次元特徴量を
構成し、それぞれの特徴量を持つものをまとめて領域６
０３、６０４および６０５に表示した例の概念図を示し
たものである。また、図６（ｂ）の視野６０２は、人物
の区別という別の観点から人物毎に３次元に特徴量を再
構成し、領域６０６および６０７に表示した例の概念図
を示したものである。これらの描画の選択は、使用者の
指示に従って任意に切替えることができる。これらの選
択は、汎用のキーボード等の計算機入力装置を使用する
のが簡便であるが、図２の例と同様に、使用者の行動自
体をセンスして行うこともできる。
よる画像提示の例を示す図である。図６（ａ）は視野６
０１内に、「山の画像」「街並の画像」「川の画像」と
いう群分けを最大にするという観点から３次元特徴量を
構成し、それぞれの特徴量を持つものをまとめて領域６
０３、６０４および６０５に表示した例の概念図を示し
たものである。また、図６（ｂ）の視野６０２は、人物
の区別という別の観点から人物毎に３次元に特徴量を再
構成し、領域６０６および６０７に表示した例の概念図
を示したものである。これらの描画の選択は、使用者の
指示に従って任意に切替えることができる。これらの選
択は、汎用のキーボード等の計算機入力装置を使用する
のが簡便であるが、図２の例と同様に、使用者の行動自
体をセンスして行うこともできる。
【００４１】上記のような分離最大化特徴量構成手法と
して、例えば多群の線形判別分析を行う。その手法は、
あらかじめ群１〜Ｇに属することがわかっている画像が
それぞれＭ1〜ＭG個あったとしＭ1〜ＭG全部合わせてＭ
個とし、それらの画像からの原特徴量ベクトルを（数
６）とする。
して、例えば多群の線形判別分析を行う。その手法は、
あらかじめ群１〜Ｇに属することがわかっている画像が
それぞれＭ1〜ＭG個あったとしＭ1〜ＭG全部合わせてＭ
個とし、それらの画像からの原特徴量ベクトルを（数
６）とする。
【００４２】
【数６】
【００４３】これらのデータから、各群毎の平均ベクト
ルＧ個および、全てのデータの平均ベクトル１個を順に
それぞれ、
ルＧ個および、全てのデータの平均ベクトル１個を順に
それぞれ、
【００４４】
【数７】
【００４５】とし、各群の分散共分散行列Ｃ1〜ＣGとし
たとき、群内分散共分散行列Ｗおよび、群間分散共分散
行列Ｂを(数８)のように算出する。
たとき、群内分散共分散行列Ｗおよび、群間分散共分散
行列Ｂを(数８)のように算出する。
【００４６】
【数８】
【００４７】ここで、添字ｔはベクトルの転置を表す。
【００４８】次に、（数９）に示す分散比Ｆ(ａ)の極大
値を与えるベクトルａを極大値の値の大きいものから順
に３つ求める。これらのベクトルは、行列の固有値問題
を解くことによって得られる。
値を与えるベクトルａを極大値の値の大きいものから順
に３つ求める。これらのベクトルは、行列の固有値問題
を解くことによって得られる。
【００４９】
【数９】
【００５０】ここでも、添字ｔはベクトルの転置を表
す。
す。
【００５１】次に、主成分分析の場合と同様、各画像の
原特徴量ベクトルを、それら３つのベクトル方向へ射影
した３次元ベクトルを描画特徴量とする。これによっ
て、正規分布の仮定の下で、各群の画像が最も分離した
配置となる３つの特徴量が得られる。最後に、得られた
値を３次元座標とみなして、対応する位置に画像アイコ
ンを配置する。
原特徴量ベクトルを、それら３つのベクトル方向へ射影
した３次元ベクトルを描画特徴量とする。これによっ
て、正規分布の仮定の下で、各群の画像が最も分離した
配置となる３つの特徴量が得られる。最後に、得られた
値を３次元座標とみなして、対応する位置に画像アイコ
ンを配置する。
【００５２】図７は、意味づけされた特徴量構成による
画像提示の例を示す図である。３つの特徴量として、各
画像がどの程度「やさしい」「悲しい」「緻密な」もの
なのかを表す成分による空間に画像を配置する。
画像提示の例を示す図である。３つの特徴量として、各
画像がどの程度「やさしい」「悲しい」「緻密な」もの
なのかを表す成分による空間に画像を配置する。
【００５３】上記のような意味づけされた特徴量を構成
する手法として、例えば重回帰分析を行う。すなわち、
多数の画像に対して、各々の画像がどの程度「やさし
い」「悲しい」「緻密な」と評価するか、被験者を用い
たアンケート等にて評価を採っておき、それを目的変数
とし、原特徴量を説明変数として、重回帰分析を行う。
する手法として、例えば重回帰分析を行う。すなわち、
多数の画像に対して、各々の画像がどの程度「やさし
い」「悲しい」「緻密な」と評価するか、被験者を用い
たアンケート等にて評価を採っておき、それを目的変数
とし、原特徴量を説明変数として、重回帰分析を行う。
【００５４】いま、ｋ番目のデータに付与された３つの
目的変数ｙ1 k、ｙ2 k 、ｙ3 kをまとめて、ベクトルｙk＝
（ｙ1 k，ｙ2 k，ｙ3 k）と書く。このような目的変数のベ
クトルｙk が付与されているデータがＭ個あるとする。
外的基準が与えられていない場合と同様に、各画像から
のＮ次元の原特徴量ベクトルを（数１）で与え、これを
基礎に、
目的変数ｙ1 k、ｙ2 k 、ｙ3 kをまとめて、ベクトルｙk＝
（ｙ1 k，ｙ2 k，ｙ3 k）と書く。このような目的変数のベ
クトルｙk が付与されているデータがＭ個あるとする。
外的基準が与えられていない場合と同様に、各画像から
のＮ次元の原特徴量ベクトルを（数１）で与え、これを
基礎に、
【００５５】
【数１０】
【００５６】を最大化するという規準によって、（数１
１）に示す変換式の係数３×Ｎ行列Ａ、および３次元ベ
クトルｂを決定する。
１）に示す変換式の係数３×Ｎ行列Ａ、および３次元ベ
クトルｂを決定する。
【００５７】
【数１１】
【００５８】次に、求めた変換係数によって、各画像の
３次元の描画特徴量ベクトルｙを（数１１）に従って算
出し、得られた値を３次元座標とみなして、対応する位
置に画像アイコンを配置する。
３次元の描画特徴量ベクトルｙを（数１１）に従って算
出し、得られた値を３次元座標とみなして、対応する位
置に画像アイコンを配置する。
【００５９】上記の実施例は、いずれも、画像の特徴デ
ータを分析したり映像の生成等の必要なプログラムを備
えた計算機を使用者が直接使用して検索する例である
が、ネットワーク型の画像検索サービスの実施形態の中
で実現することが出来ることは当然であり、図８にその
場合の実施例の構成の一例を示す。図８においては、サ
ービスの提供装置(サーバー)とサービスの受け手側の装
置(クライアント８０１およびクライアント８０２とが
情報通信ネットワークを介して接続されているものとす
る。
ータを分析したり映像の生成等の必要なプログラムを備
えた計算機を使用者が直接使用して検索する例である
が、ネットワーク型の画像検索サービスの実施形態の中
で実現することが出来ることは当然であり、図８にその
場合の実施例の構成の一例を示す。図８においては、サ
ービスの提供装置(サーバー)とサービスの受け手側の装
置(クライアント８０１およびクライアント８０２とが
情報通信ネットワークを介して接続されているものとす
る。
【００６０】このため、サーバーは図２で説明したと同
様に構成されたシステムとこのシステムのシステムバス
２１２に通信手段８１０１よび情報通信ネットワークと
のインタフェイス８０３とが設けられたものとなる。図
を簡明にするため、サーバーについては他の装置の表示
を省略した。クライアント８０1において、８２１は出
力手段であり、ここではプリンタ等を意味する。８２２
はＣＰＵであり、後述するプログラムにしたがって処理
を実行する。８２３は入力手段であり、例えば、図２に
示すグローブ２０１あるいはキーボードおよびマウス等
である。８１１はシステムバスである。８３１は表示手
段であり、使用者が検索条件等を入力するためのＣＰＴ
等のいわゆるディスプレーと図２に示す使用者に立体視
を見せるための表示装置２０７の両方を意味するもので
ある。８３２は検索、表示インターフェイスプログラム
保持手段であり、例えば、図に示す外部記憶装置２１１
と同様にハードディスクが使用される。８２５はメモリ
の作業領域であり、図２におけるワークエリア２１０と
同様である。８２６は通信手段である。８０４はネット
ワークとのインターフェイスであり、クライアント８０
1とサーバーとを結合する。クライアント８０２は、こ
の例では同じ構成であるものとしてクライアント８０１
についてのみ具体的に例示し、クライアント８０２につ
いてはシステムバス８１２とインタフェイス８０５のみ
の表示として図を簡略化した。
様に構成されたシステムとこのシステムのシステムバス
２１２に通信手段８１０１よび情報通信ネットワークと
のインタフェイス８０３とが設けられたものとなる。図
を簡明にするため、サーバーについては他の装置の表示
を省略した。クライアント８０1において、８２１は出
力手段であり、ここではプリンタ等を意味する。８２２
はＣＰＵであり、後述するプログラムにしたがって処理
を実行する。８２３は入力手段であり、例えば、図２に
示すグローブ２０１あるいはキーボードおよびマウス等
である。８１１はシステムバスである。８３１は表示手
段であり、使用者が検索条件等を入力するためのＣＰＴ
等のいわゆるディスプレーと図２に示す使用者に立体視
を見せるための表示装置２０７の両方を意味するもので
ある。８３２は検索、表示インターフェイスプログラム
保持手段であり、例えば、図に示す外部記憶装置２１１
と同様にハードディスクが使用される。８２５はメモリ
の作業領域であり、図２におけるワークエリア２１０と
同様である。８２６は通信手段である。８０４はネット
ワークとのインターフェイスであり、クライアント８０
1とサーバーとを結合する。クライアント８０２は、こ
の例では同じ構成であるものとしてクライアント８０１
についてのみ具体的に例示し、クライアント８０２につ
いてはシステムバス８１２とインタフェイス８０５のみ
の表示として図を簡略化した。
【００６１】使用者は、まず、入力手段８２３を通して
検索サービスの利用開始要求コマンドを入力する。する
と、通信手段８２６により要求コマンドが通信ネットワ
ークを通じてサーバー側に伝達される。コマンドを受け
取ったサーバーは外部記憶装置２０５に保持されたデー
タの内、少なくとも図１で示した描画特徴量データベー
ス１０５に保持されているデータと使用者に立体視で見
せるために必要なプログラム(図１の可視化モジュール
１０６に相当する)を通信ネットワークを介してクライ
アント８０１に伝送する。クライアント８０１はこれら
のデータとプログラムを受け取ると、検索、表示インタ
ーフェイスプログラム保持手段８３２にこれを保持する
とともに、計算資源(ＣＰＵ８２２，作業領域８２５）
を使い、プログラムを動作させる。すると、先の実施例
で説明したように、使用者の要求に対応する画像データ
群が使用者に３次元に配置されて見せられる。使用者は
入力手段８２３を通して立体視の形で見せられている画
像群に対して、前記実施例のように検索を進めていくこ
とにより意図する画像に近づくことが出来る。この動作
はクライアント2についても同様である。
検索サービスの利用開始要求コマンドを入力する。する
と、通信手段８２６により要求コマンドが通信ネットワ
ークを通じてサーバー側に伝達される。コマンドを受け
取ったサーバーは外部記憶装置２０５に保持されたデー
タの内、少なくとも図１で示した描画特徴量データベー
ス１０５に保持されているデータと使用者に立体視で見
せるために必要なプログラム(図１の可視化モジュール
１０６に相当する)を通信ネットワークを介してクライ
アント８０１に伝送する。クライアント８０１はこれら
のデータとプログラムを受け取ると、検索、表示インタ
ーフェイスプログラム保持手段８３２にこれを保持する
とともに、計算資源(ＣＰＵ８２２，作業領域８２５）
を使い、プログラムを動作させる。すると、先の実施例
で説明したように、使用者の要求に対応する画像データ
群が使用者に３次元に配置されて見せられる。使用者は
入力手段８２３を通して立体視の形で見せられている画
像群に対して、前記実施例のように検索を進めていくこ
とにより意図する画像に近づくことが出来る。この動作
はクライアント2についても同様である。
【００６２】この実施例の場合、クライアントからの検
索要求に対応してサーバーから必要なデータ、データベ
ースおよびプログラムを通信ネットワークを介してクラ
イアント１に伝送するものとしたが、これらをあらかじ
めクライアントに配布しておいても同様に動作させるも
のとすることができる。この場合、データベースはサー
ビス側で逐次更新されてより充実したものとされている
可能性があるから、検索要求でクライアントの装置が起
動したとき、データベースは通信装置を介して更新され
るものとするのが良い。
索要求に対応してサーバーから必要なデータ、データベ
ースおよびプログラムを通信ネットワークを介してクラ
イアント１に伝送するものとしたが、これらをあらかじ
めクライアントに配布しておいても同様に動作させるも
のとすることができる。この場合、データベースはサー
ビス側で逐次更新されてより充実したものとされている
可能性があるから、検索要求でクライアントの装置が起
動したとき、データベースは通信装置を介して更新され
るものとするのが良い。
【００６３】こ図８の実施例のように、使用者が検索要
求を必要なときのみサーバ側に送って検索可能とすると
きは、使用者は図１における画像データベース１０１お
よび原特徴量データベース１０３、原特徴量抽出モジュ
ール１０２(プログラムモジュール)および描画特徴量構
成モジュール１０４(プログラムモジュール)に必要な記
憶装置を持つ必要が無い。これらの設備とデータベース
の整備はサーバ側でのみ行われれば良いから、使用者側
の装置は簡単な計算機とすることが出来るのみならず、
十分な検索サービスを受けることが出来る。
求を必要なときのみサーバ側に送って検索可能とすると
きは、使用者は図１における画像データベース１０１お
よび原特徴量データベース１０３、原特徴量抽出モジュ
ール１０２(プログラムモジュール)および描画特徴量構
成モジュール１０４(プログラムモジュール)に必要な記
憶装置を持つ必要が無い。これらの設備とデータベース
の整備はサーバ側でのみ行われれば良いから、使用者側
の装置は簡単な計算機とすることが出来るのみならず、
十分な検索サービスを受けることが出来る。
【００６４】なお、このサービスをサーバから受ける形
のときは、サービス業者が検索をすることは基本的には
無いものといえるが、サービス業者は使用者からの問い
合わせに応えるためなどに検索の操作を必要とすること
が考えられるので、サービス業者のシステム構成として
は図２の実施例で説明したものと本質的に変わるもので
はない。
のときは、サービス業者が検索をすることは基本的には
無いものといえるが、サービス業者は使用者からの問い
合わせに応えるためなどに検索の操作を必要とすること
が考えられるので、サービス業者のシステム構成として
は図２の実施例で説明したものと本質的に変わるもので
はない。
【００６５】
【発明の効果】本発明によれば、複数の画像が、画像内
容に基づいた類似性を保ったまま使用者に呈示される。
特に、３次元表示を行うことによって、使用者は最大限
の視覚効率で画像データベース中の画像を一望できる。
また、視点を自由に変更することによって、所望の画像
にたどりつくことが容易となる。その際、視点の変更が
使用者の行為あるいは指示により逐次行われることによ
って、探索過程の進行具合いが使用者にわかりやすく提
示できる。また、複数の視点を使い分け、お互いの位置
関係が相互に見えることによって、使用者が視点位置を
実感でき、詳細な探索が可能になる。
容に基づいた類似性を保ったまま使用者に呈示される。
特に、３次元表示を行うことによって、使用者は最大限
の視覚効率で画像データベース中の画像を一望できる。
また、視点を自由に変更することによって、所望の画像
にたどりつくことが容易となる。その際、視点の変更が
使用者の行為あるいは指示により逐次行われることによ
って、探索過程の進行具合いが使用者にわかりやすく提
示できる。また、複数の視点を使い分け、お互いの位置
関係が相互に見えることによって、使用者が視点位置を
実感でき、詳細な探索が可能になる。
【図１】本発明の動作モジュール構成を示した図であ
る。
る。
【図２】使用者の動きに連動して変化する仮想空間を視
覚的に体験できる実施例の概略を示した図である。
覚的に体験できる実施例の概略を示した図である。
【図３】本発明によって使用者に提供される映像の例を
使用者の動きに応じて表示が変わる場合について示す概
念図である。
使用者の動きに応じて表示が変わる場合について示す概
念図である。
【図４】外的規準が与えられていない場合の、原特徴量
からの３つの特徴量再構成手法として、主成分分析を用
いた場合の計算手順を示すＰＡＤ図である。
からの３つの特徴量再構成手法として、主成分分析を用
いた場合の計算手順を示すＰＡＤ図である。
【図５】画像の複数の仮想カメラをもった映像表示の例
を示す図である。
を示す図である。
【図６】群分けに基づいた３次元特徴量による画像提示
の例を示す図である。
の例を示す図である。
【図７】意味づけされた特徴量構成による画像情報可視
化の例を示す図である。
化の例を示す図である。
【図８】ネットワーク型の画像検索サービスの形を取っ
た実施例の構成の一例を示すずである。
た実施例の構成の一例を示すずである。
１０１：画像データベース １０２：原特徴量抽出モジュール(プログラムモジュー
ル) １０３：原特徴量データベース １０４：描画特徴量構成モジュール(プログラムモジュ
ール) １０５：描画特徴量データベース １０６：可視化モジュール(プログラムモジュール) ２００：計算機 ２０１：グローブ型センサ装置 ２０２：磁気センサ装置 ２０３：入力インターフェース装置 ２０４：中央処理装置 ２０５、２１１：外部記憶装置 ２０６：出力インタフェイス ２０７：映像表示装置 ２１０：内部記憶装置（ワークエリア） ２１２：システムバス ３０１、３０２、３０３：画像アイコン ３０４：使用者 ３０５および３０６：矢印 ３０７、３０８および３０９：表示枠。
ル) １０３：原特徴量データベース １０４：描画特徴量構成モジュール(プログラムモジュ
ール) １０５：描画特徴量データベース １０６：可視化モジュール(プログラムモジュール) ２００：計算機 ２０１：グローブ型センサ装置 ２０２：磁気センサ装置 ２０３：入力インターフェース装置 ２０４：中央処理装置 ２０５、２１１：外部記憶装置 ２０６：出力インタフェイス ２０７：映像表示装置 ２１０：内部記憶装置（ワークエリア） ２１２：システムバス ３０１、３０２、３０３：画像アイコン ３０４：使用者 ３０５および３０６：矢印 ３０７、３０８および３０９：表示枠。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 廣池 敦 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 (72)発明者 武者 義則 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内
Claims (8)
- 【請求項１】複数の画像データを準備すること、該複数
の画像データのそれぞれの原特徴量を抽出すること、該
抽出された複数の原特徴量から描画のための特徴量を再
構成すること、該再構成された描画特徴量から３次元座
標値を算出すること、および、該算出された３次元座標
値を基礎に３次元空間中のその座標に該当する場所に各
画像データの画像またはそれらを縮小または簡約したパ
ターンである画像アイコンを提示することにより使用者
に画像を提示することを特徴とする画像検索方法。 - 【請求項２】前記画像アイコンが配置された３次元空間
を使用者に表示するための見えを、使用者の行為の検出
または使用者の操作によって、３次元空間中を任意に移
動可能である請求項１記載の画像検索方法。 - 【請求項３】前記複数の画像の再構成された描画特徴量
からの３つの特徴量への再構成を、複数の画像の再構成
された描画特徴量を統計的に処理することによって決定
する請求項１記載の画像検索方法。 - 【請求項４】前記画像アイコンが配置された３次元空間
を使用者に表示するための見えが使用者の行為の検出ま
たは使用者の操作によって３次元空間中を移動したと
き、この移動の経路がデータとして記録され、使用者の
操作によって前記３次元空間を該データを基礎に逆に移
動できる請求項２記載の画像検索方法。 - 【請求項５】前記３次元空間に配置された画像アイコン
を使用者に提示するための見えを複数用意し、それらの
見えからの表示を複数並べ、もしくは、切替えて表示可
能とし、各見えをもたらす視点と視線方向とを示す仮想
カメラを前記３次元空間に配置された各見え中に表示す
るとともに、各見え相互の関連を使用者が見ることがで
きるようにするとともに、見えの変化を各見えごとに前
記仮想カメラの変化によって行う請求項１記載の画像検
索方法。 - 【請求項６】前記仮想カメラの変化に対応させて前記画
像アイコンの向きも一斉に変更して、画像アイコンを常
に使用者に対して同じ向き、あるいは、視点の方向を向
いて表示する請求項１または５記載の画像検索方法。 - 【請求項７】複数の画像データを格納したデータベー
ス、該複数の画像データのそれぞれの原特徴量を抽出す
るためのプログラム、該抽出された複数の原特徴量のデ
ータを格納したデータベース、該抽出された複数の原特
徴量のデータから描画のための特徴量を再構成するため
のプログラム、該再構成された描画特徴量データを格納
するデータベース、該再構成された描画特徴量から３次
元座標値を算出するプログラム、および、該算出された
３次元座標値を基礎に３次元空間中のその座標に該当す
る場所に各画像データの画像またはそれらを縮小または
簡約したパターンである画像アイコンを貼り付けて使用
者に提示する手段、使用者の行為または使用者の操作を
検出する手段を備え、検出された使用者の行為または操
作に応じて前記３次元空間に配置された画像アイコンが
３次元空間中を任意に移動可能であることを特徴とする
画像検索装置。 - 【請求項８】複数の画像データを格納したデータベー
ス、該複数の画像データのそれぞれの原特徴量を抽出す
るためのプログラム、該抽出された複数の原特徴量のデ
ータを格納したデータベース、該抽出された複数の原特
徴量のデータから描画のための特徴量を再構成するため
のプログラム、該再構成された描画特徴量データを格納
するデータベース、該再構成された描画特徴量から３次
元座標値を算出するプログラム、および、該算出された
３次元座標値を基礎に３次元空間中のその座標に該当す
る場所に各画像データの画像またはそれらを縮小または
簡約したパターンである画像アイコンを貼り付けたデー
タにするためのプログラムを備えたサーバが、使用者の
要求に応じて前記３次元座標値を基礎に３次元空間中の
その座標に該当する場所に各画像データの画像またはそ
れらを縮小または簡約したパターンである画像アイコン
を貼り付けたデータを使用者に提供することを特徴とす
る画像検索サービス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675097A JPH11175534A (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置およびこれを利用した検索サービス |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675097A JPH11175534A (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置およびこれを利用した検索サービス |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11175534A true JPH11175534A (ja) | 1999-07-02 |
Family
ID=18302378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33675097A Pending JPH11175534A (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置およびこれを利用した検索サービス |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11175534A (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351127A (ja) * | 2000-06-07 | 2001-12-21 | Sharp Corp | データ表示システム |
| JP2002024268A (ja) * | 2000-06-12 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | データベースからのドキュメントのリトリーブ・ランク付け方法、コンピュータシステム、および記録媒体 |
| JP2002236696A (ja) * | 2001-02-08 | 2002-08-23 | Ougi Seiko Kk | 情報の検索および表示に関する方法 |
| JP2003521070A (ja) * | 2000-01-26 | 2003-07-08 | トリニ・カステリ，クリノ | 情報をカタログ化し探索するための方法および装置 |
| JP2004532458A (ja) * | 2001-03-23 | 2004-10-21 | インテル コーポレイション | 距離測定法を用いる画像検索 |
| JP2006309722A (ja) * | 2005-03-31 | 2006-11-09 | National Institute Of Information & Communication Technology | 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム |
| JP2007272468A (ja) * | 2006-03-30 | 2007-10-18 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| WO2008026302A1 (fr) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Dispositif d'affichage de contenus et procédé d'affichage de contenus |
| WO2008114306A1 (ja) * | 2007-02-19 | 2008-09-25 | Sony Computer Entertainment Inc. | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
| JP2009104337A (ja) * | 2007-10-22 | 2009-05-14 | Sony Computer Entertainment Inc | データ管理装置及び方法 |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2010055425A (ja) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | 表示処理装置、プログラムおよび表示処理方法 |
| JP2011129057A (ja) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | 表示装置及び表示方法 |
| JP2011186565A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 電子機器、画像出力方法及びプログラム |
| JP2012141514A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 表示制御装置、表示制御方法、およびプログラム |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| JP2012221035A (ja) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 電子情報アクセスシステム、方法及びプログラム |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US9015633B2 (en) | 2007-10-22 | 2015-04-21 | Sony Corporation | Data management apparatus and method for organizing data elements into multiple categories for display |
| JP2019168962A (ja) * | 2018-03-23 | 2019-10-03 | 株式会社コロプラ | プログラム、情報処理装置、及び情報処理方法 |
| JP2021015533A (ja) * | 2019-07-16 | 2021-02-12 | 株式会社ジャパン・カレント | 画像分類システム及び画像分類方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189484A (ja) * | 1991-07-12 | 1993-07-30 | Toshiba Corp | 情報検索装置 |
-
1997
- 1997-12-08 JP JP33675097A patent/JPH11175534A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189484A (ja) * | 1991-07-12 | 1993-07-30 | Toshiba Corp | 情報検索装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003521070A (ja) * | 2000-01-26 | 2003-07-08 | トリニ・カステリ，クリノ | 情報をカタログ化し探索するための方法および装置 |
| JP2001351127A (ja) * | 2000-06-07 | 2001-12-21 | Sharp Corp | データ表示システム |
| JP2002024268A (ja) * | 2000-06-12 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | データベースからのドキュメントのリトリーブ・ランク付け方法、コンピュータシステム、および記録媒体 |
| JP2002236696A (ja) * | 2001-02-08 | 2002-08-23 | Ougi Seiko Kk | 情報の検索および表示に関する方法 |
| JP2004532458A (ja) * | 2001-03-23 | 2004-10-21 | インテル コーポレイション | 距離測定法を用いる画像検索 |
| JP2006309722A (ja) * | 2005-03-31 | 2006-11-09 | National Institute Of Information & Communication Technology | 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2007272468A (ja) * | 2006-03-30 | 2007-10-18 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| WO2008026302A1 (fr) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Dispositif d'affichage de contenus et procédé d'affichage de contenus |
| JPWO2008114306A1 (ja) * | 2007-02-19 | 2010-06-24 | 株式会社ソニー・コンピュータエンタテインメント | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
| WO2008114306A1 (ja) * | 2007-02-19 | 2008-09-25 | Sony Computer Entertainment Inc. | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
| JP5161867B2 (ja) * | 2007-02-19 | 2013-03-13 | 株式会社ソニー・コンピュータエンタテインメント | コンテンツ空間形成装置、その方法、コンピュータ、プログラムおよび記録媒体 |
| US8700675B2 (en) | 2007-02-19 | 2014-04-15 | Sony Corporation | Contents space forming apparatus, method of the same, computer, program, and storage media |
| JP2009104337A (ja) * | 2007-10-22 | 2009-05-14 | Sony Computer Entertainment Inc | データ管理装置及び方法 |
| US9015633B2 (en) | 2007-10-22 | 2015-04-21 | Sony Corporation | Data management apparatus and method for organizing data elements into multiple categories for display |
| JP2010055425A (ja) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | 表示処理装置、プログラムおよび表示処理方法 |
| US8527899B2 (en) | 2008-08-28 | 2013-09-03 | Kabushiki Kaisha Toshiba | Display processing apparatus, display processing method, and computer program product |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| JP2011129057A (ja) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | 表示装置及び表示方法 |
| JP2011186565A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 電子機器、画像出力方法及びプログラム |
| JP2012141514A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 表示制御装置、表示制御方法、およびプログラム |
| JP2012221035A (ja) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 電子情報アクセスシステム、方法及びプログラム |
| JP2019168962A (ja) * | 2018-03-23 | 2019-10-03 | 株式会社コロプラ | プログラム、情報処理装置、及び情報処理方法 |
| JP2021015533A (ja) * | 2019-07-16 | 2021-02-12 | 株式会社ジャパン・カレント | 画像分類システム及び画像分類方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11175534A (ja) | 画像検索方法およびその装置およびこれを利用した検索サービス | |
| US20220012495A1 (en) | Visual feature tagging in multi-view interactive digital media representations | |
| JP7678189B2 (ja) | 拡張現実マップキュレーション | |
| JP7098604B2 (ja) | 動的エンティティのマルチビューインタラクティブデジタルメディア表現における対象の自動タグ付け | |
| CN114079801B (zh) | 按需将元数据叠加到视频流上以进行智能视频分析 | |
| Wu et al. | Efficient VR and AR navigation through multiperspective occlusion management | |
| KR102388715B1 (ko) | 문화유적복원 실감 장치 | |
| CN105849781A (zh) | 环绕视图中的对象及层的分析及操控 | |
| JP2021520577A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
| CN106779541A (zh) | 一种基于ar技术的仓库管理方法及系统 | |
| US6407762B2 (en) | Camera-based interface to a virtual reality application | |
| CN111062284A (zh) | 一种交互式视频摘要模型的可视理解与诊断方法 | |
| Cui et al. | Fusing surveillance videos and three‐dimensional scene: A mixed reality system | |
| JP2018010599A (ja) | 情報処理装置、パノラマ画像表示方法、パノラマ画像表示プログラム | |
| US12444136B2 (en) | Scene understanding using occupancy grids | |
| CN113766297B (zh) | 视频处理方法、播放终端及计算机可读存储介质 | |
| CN116386103B (zh) | 人眼视线落点估计方法、系统、电子设备 | |
| Li et al. | Estimating gaze points from facial landmarks by a remote spherical camera | |
| CN113573153B (zh) | 图像处理方法、装置及设备 | |
| CN116597159A (zh) | 特征提取方法、生物对象部位的状态识别方法及电子设备 | |
| Sparacino et al. | Browsing 3-D spaces with 3-D vision: body-driven navigation through the Internet city | |
| Ashok et al. | Egocentric+: A multipurpose data set for head-mounted wearable computing devices | |
| Agus et al. | Interactive 3D Exploration of a Virtual Sculpture Collection: an Analysis of User Behavior in Museum Settings. | |
| Ladikos et al. | Spectral camera clustering | |
| Liu | Extraction of Visual Communication Design Elements Based on Machine Learning. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050223 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050228 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070416 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |