JP2001325294A - 類似画像検索方法および類似画像検索装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、例えば、３次元画像であることを考
慮して、これらの情報を、視覚的に分かりやすく表示す
ることが可能とし、より理解しやすい検索結果の表示を
行うことができる類似画像検索方法および類似画像検索
装置を提供する。 【解決手段】本発明の一態様によると、類似する画像デ
ータを検索する方法であり、画像データにおいて複数の
特徴量を算出するステップと、上記特徴量を用いて、類
似する画像データを検索するステップと、上記検索の結
果を用いて、各特徴量毎に、又は複数の特徴量をまとめ
たカテゴリ毎に、類似性の高い画像を表示するステップ
とを具備することを特徴とする類似画像検索方法および
類似する画像データを検索する装置であり、画像データ
において複数の特徴量を算出する手段と、上記特徴量を
用いて、類似する画像データを検索する手段と、上記検
索の結果を用いて、各特徴量毎に、又は複数の特徴量を
まとめたカテゴリ毎に、類似性の高い画像を表示する手
段と、を具備することを特徴とする類似画像検索装置が
提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、類似画像検索方法
および類似画像検索装置に係り、特に、データベース内
に蓄積された画像またはオブジェクトから、類似の画
像、またはオブジェクトを検索し、その結果を表示する
類似画像検索方法および類似画像検索装置に関する。

【０００２】

【従来の技術】例えば、３次元画像から利用者の関心の
ある領域を抽出し、それを３次元オブジェクト化した上
で表示装置に表示し、各種検討を行うことが近年盛んに
行われるようになってきているが、これらの３次元画像
はデータ量が膨大であるとともに、扱い方も非常に複雑
なものである。

【０００３】このため、これらの画像の膨大な量がデー
タベース内に蓄積されるとき、これらの画像の中から利
用者の要求する画像を効率的に検索する技術の必要度が
増してきている。

【０００４】従来、２次元画像に対して類似画像検索を
行う方法として、２次元画像の持つ特徴量を算出し、特
徴量べクトルの差を類似度評価関数と定義した上で、こ
の関数が小さなものを類似画像として検索する手法が知
られており、これらの検索結果を類似度の高い順に表示
するものである。

【０００５】また、３次元画像の検索を行う装置とし
て、特開平５−１５９００１号公報には、３次元図形に
対し、その特徴をよく表している正面図、断面図、鳥諏
図のような２次元情報を関連付けしてデータベースに貯
蓄しておいた上で、関連付けの行われている２次元情報
を順次、画面上に表示しながら利用者の所望の図形を探
索し、これらを選択した後で、関連付けられている図形
情報を表示するというものが開示されている。

【０００６】さらに、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉ
ｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ １６１４号
（１９９９年）、ｐｐ１５５−１６２に示されているよ
うに、２次元画像に対する検索結果を３次元の空間内に
配置するようにした表示システムがある。

【０００７】この表示システムは、２次元画像の特徴
を、２次元、または３次元の主たる特徴に縮退させた上
で、その２つまたは３つの特徴の大きさを成分として持
つような空間内の点に配置して表示するものである。

【０００８】

【発明が解決しようとする課題】しかるに、上述したよ
うな従来技術である画像検索技術では、検索結果を類似
度の高い順に表示するものであるが、検索をかける際
の、画像の各特徴成分に関しての情報は表示せず、これ
らの特徴に関する特性を調べるためには情報が不足する
という問題点がある。

【０００９】また、従来技術として述べた特開平５−１
５９００１号公報では、検索された結果について、３次
元的な画像情報を示すものであるが、この情報は、検索
された結果の画像そのものが持つ情報のみの表示に止ま
り、他の検索結果との相対的な情報の表示は行われない
ため、他の結果との比較を行うという検討ができないと
いう問題点がある。

【００１０】また、検索結果の表示に関しても、２次元
的な情報を複数提示するのみであり、３次元画像を検索
した場合、表示装置に表現するためには任意の視点から
の表示を行わなければその画像情報を利用者に正確に伝
達することは困難であり、このような観点からも、詳細
な３次元情報を視覚的に表示することはできないという
問題点がある。

【００１１】さらに、従来例として述べたＬｅｃｔｕｒ
ｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎ
ｃｅ １６１４号（１９９９）、ｐｐ１５５−１６２で
は、検索結果の画像を３次元空間内に配置表示している
が、対象としている画像は２次元画像であり、従って各
検索結果も２次元画像である。

【００１２】３次元類似画像検索結果の表示をする際に
は、３次元画像、または３次元オプジェクトを表示する
ための特有の表示法が必要であるため、３次元画像検索
結果を表示するという点で問題点がある。

【００１３】また、検索結果を３次元の空間内に配置、
表示しているが、画像の持つ数多くの特徴を２つまたは
３つに減少させた上で、この減少した特徴に従って表示
するため、個々の特徴に対する情報が欠落してしまうと
いう問題点がある。

【００１４】本発明は、上記の問題点を解決すべくなさ
れたものであり、例えば、３次元画像、または３次元オ
ブジェクトの検索結果の表示を、検索結果の検索情報、
すなわち、検索のために利用した各特徴値を各検索結果
に対して詳細に表示して、検索結果の特性を詳細に知る
ことができ、さらに、３次元画像であることを考慮し
て、これらの情報を、視覚的に分かりやすく表示するこ
とが可能とし、より理解しやすい検索結果の表示を行う
ことができる類似画像検索方法および類似画像検索装置
を提供することを目的とする。

【００１５】

【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１） 類似する画像データを検
索する方法であり、画像データにおいて複数の特徴量を
算出するステップと、上記特徴量を用いて、類似する画
像データを検索するステップと、上記検索の結果を用い
て、各特徴量毎に、または複数の特徴量をまとめたカテ
ゴリ毎に、類似性の高い画像を表示するステップと、を
具備することを特徴とする類似画像検索方法が提供され
る。

【００１６】また、本発明によると、上記課題を解決す
るために、（２） 類似する画像データを検索する装置
であり、画像データにおいて複数の特徴量を算出する手
段と、上記特徴量を用いて、類似する画像データを検索
する手段と、上記検索の結果を用いて、各特徴量毎に、
または複数の特徴量をまとめたカテゴリ毎に、類似性の
高い画像を表示する手段と、を具備することを特徴とす
る類似画像検索装置が提供される。

【００１７】また、本発明によると、上記課題を解決す
るために、（３） 複数の上記特徴量を座標軸にとった
空間において、検索結果の画像の特徴量に対応する座標
位置を表示する手段をさらに具備することを特徴とする
（２）記載の類似画像検索装置が提供される。

【００１８】

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。

【００１９】図１に本発明の一実施の形態による類似画
像検索装置の構成を示すブロック図である。

【００２０】なお、本実施の形態では、特に、３次元画
像検索装置に好適である３次元画像や３次元オブジェク
トを取り扱う場合について述べるが、特に、３次元画像
や３次元オブジェクトを取り扱う場合にのみ限定するも
のではない。

【００２１】本実施の形態による類似画像検索装置は、
中央処理装置（ＣＰＵ）等の演算装置１と、この演算装
置１にそれぞれ接続されているデータ入力装置２、表示
装置３と指示・操作入力装置を含む指示デバイス４、お
よび外部データベース装置（以下、データベースと記
す）５とから構成されている。

【００２２】図２は、図１の演算装置１内での処理を機
能ブロックとして示している。

【００２３】この演算装置１内で行われる処理機能ブロ
ックは、３次元画像の特徴を算出すべき関心領域を抽出
・設定するための演算を行う関心領域設定機能部６と、
この関心領域設定機能部６にて設定された関心領域の特
徴量を算出するための特徴量算出機能部７と、この特徴
量算出機能部７にて算出された特徴量に基づいて類似性
を算出するための類似性算出機能部８とから構成されて
いる。

【００２４】類似画像検索のための対象とする画像は、
画像入力装置２より演算装置１内に入力される。

【００２５】入力される画像としては、ＣＴやＭＲＩの
ような医用検査画像で、断層スライス画像がある間隔ご
とに撮影され、全体の集合としてボリューム情報となる
ようなデータ、ＣＡＤデータのように３次元の構造を表
現するデータ、レンジファインダのような距離画像を計
測する装置により計測されたデータ等の３次元の情報を
持つ任意のデータを扱うことができる。

【００２６】関心領域設定機能部６においては、上記の
３次元データ、すなわち、ボリュームデータや、ＣＡＤ
データ、距離画像データ、等に対して利用者の所望の位
置、または領域を指示・操作入力装置４を用いて領域指
定を行うことにより関心領域として抽出を行う。

【００２７】特徴量算出機能部７では、関心領域設定機
能部６で設定された関心領域に関して３次元的な特徴量
を算出し、さらに、関心領域として設定されたオブジェ
クトを３次元可視化できるように変換し、原３次元画
像、特徴量データと関連付けを行った上でデータベース
５内に保存する。

【００２８】類似性算出機能部８においては、入力され
た対象画像に関し、算出された特徴量データに基づい
て、該対象画像から算出されたのと同様にして類似性を
算出し、データベース５内に保存されたデータとの比較
算出を行いデータベース５内のデータとの類似性の順位
付けを行う。

【００２９】以上、３次元画像の特徴を算出すべき関心
領域を抽出・設定するための演算を行う関心領域設定機
能部６と、この関心領域設定機能部６にて設定された関
心領域の特徴量を算出するための特徴量算出機能部７
と、この特徴量算出機能部７にて算出された特徴量に基
づいて類似性を算出するための類似性算出機能部８まで
の機能が演算装置１内に組み込まれ、本実施の形態によ
る類似画像検索装置の主要部を構成する。

【００３０】図３は、画像入力から類似画像検索結果の
表示までの流れを詳細に示したフローチャートである。

【００３１】以下、図３に基づいて、上記各機能部での
処理に関し、詳細に述べていくものとする。

【００３２】処理の流れとしては、前処理として、検索
対象画像から関心領域の設定と、特徴の算出を行うステ
ップＳ９と、検索のための条件設定、および検索実行の
ステップＳ１０との大まかには２つのステップとを有し
ている。

【００３３】先ず、ステップＳ１１では、演算装置１に
接続された図１の画像入力装置２から、検索の対象とす
る３次元画像の入力が行われる。

【００３４】次に、ステップＳ１２では、入力された画
像が表示装置３に表示される。

【００３５】入力データがボリュームデータである場合
には、表示装置３上には一連のスライス画像が表示さ
れ、指示デバイス４からの操作により任意のスライス画
像を表示することができる。

【００３６】また、入力データが、ＣＡＤデータや、距
離画像データである場合には、３次元にレンダリングさ
れた画像が表示されることになる。

【００３７】次に、ステップＳ１３では、入力された検
索の対象となる画像に対して関心領域の設定が行われ
る。

【００３８】ここで、３次元関心領域設定法としては、
様々な手法があるが、主に下記の手法が考えられる。

【００３９】それぞれ、利用者が表示装置３のディスプ
レイ上のスライス画像、または３次元画像を見ながら指
示デバイス４によりインタラクティブに操作を行うこと
により処理を進めていくものである。

【００４０】次に、ステップＳ１４では画像の正規化処
理が行われる。

【００４１】例えば、ＣＴ，ＭＲＩ等の医用検査画像を
対象とする場合では、撮影時、すべての被撮影者が撮影
する際に、等しい位置、方向で撮影することは困難であ
るので、撮影後のデータを変換して条件が等しくなるよ
うに幾何学的変換を施す必要があり、この作業を行う機
能が正規化の機能になる。

【００４２】正規化は、あらかじめ基準とする３次元画
像を選定しておき、または、解剖学的に位置と、構造の
既知である部位を定めておいた上で、その画像上の参照
とする数点Ｐ₁ 〜Ｐ_n を設定した参照画像を作成してお
き、この参照画像上で設定された点Ｐ′₁ 〜Ｐ′_n を対
象とする画像上で指定する。

【００４３】これらの点を設定した後で、点Ｐ′₁ 〜
Ｐ′_n が一致するように、対象画像を回転、平行移動、
拡大、縮小の処理を行うことにより画像位置、大きさの
正規化を行うことができる。

【００４４】関心領域設定、および、正規化処理の後、
抽出されたオブジェクトに対してポリゴンパッチによる
３次元画像の再構成を行い、簡易に３次元レンダリング
が行えるように変換を行った上で原画像と関連付けを行
った上でデータベース５に保存しておく。

【００４５】次に、ステップＳ１５では、上述の方法で
設定された３次元画像の関心領域の特徴量の算出が行わ
れる。

【００４６】この３次元特徴量としては、幾何学的な特
徴として、関心領域の重心の３次元位置座標Ｐ（ｘ，
ｙ，ｚ）、関心領域の体積Ｖ、関心領域の表面積Ｓ、形
状の複雑さを表すパラメータとして体積と表面積の比の
値ｓ^1/2 ／ｓ^1/3 、関心領域の３次元的な方向を表すパ
ラメータとして楕円近似したときの３つの主軸の長さの
比、および方向ベクトル等を用いる。

【００４７】また、濃度・テクスチャ的な特徴として、
共起行列、さらには共起行列より算出される方向性２次
モーメントや、３次元フーリェ特徴として、ＭＰＳ（Ｍ
ｅｔｒｉｃ Ｐａｔｔｅｒｎ Ｓｉｇｎａｔｕｒｅ）や
ＡＰＳ（Ａｎｇｕｌａｒ Ｐａｔｔｅｒｎ Ｓｉｇｎａ
ｔｕｒｅ）等を用いる。

【００４８】以上、ステップＳ１５の機能で算出される
特徴量は何れも３次元画像の持つ特有な特徴であり、他
にも、３次元的な特徴を表すような値であればどのよう
な値を用いてもよい。

【００４９】次に、ステップＳ１６では、関心領域の設
定、および正規化処理が行われた画像に対して３次元表
示が行えるように３次元再構成を行う。

【００５０】関心領域の表面をポリゴンパッチに変換す
ることや、関心領域のみをボリュームデータとするよう
な処理がここでの処理に対応する。

【００５１】ステップＳ１３、Ｓ１４、Ｓ１５、Ｓ１６
の一連の処理により算出、または設定されたデータは、
検索対象となる原３次元画像と関連付けを行った上でス
テップ１７のデータベースに保存しておき、このデータ
が蓄積されたデータベースを参照して検索が行われる。

【００５２】次に、ステップＳ１８では、特徴の分類が
行われる。

【００５３】ステップＳ１５で算出した様々な特徴量に
は、類似した特徴、または、あるカテゴリーに分類され
るような特徴をまとめてーつのグループに分類すること
ができる。

【００５４】このようにしてグループ化された特徴に関
し、その中のある特定のグループにに対して類似性を持
つ画像の検索を行うことが可能となる。

【００５５】例えば、表面積と体積とは、大まかに関心
領域の大きさとして扱うことができるので、これらの特
徴を同じグループに属するように設定することができ
る。

【００５６】グループは、ただ１つの特徴から構成され
ることもあり得る。

【００５７】特徴のグループ分けは、算出されるすべて
の特徴に対し、表示装置上に表示した上で、これらの特
徴を指示装置、キーボード等のインタフェース装置を用
いてグループ分けする。

【００５８】グループ分けの結果、Ｇ₁ 〜Ｇ_k のｋ個の
グループに分類され、各グループは、それぞれ、ｎ_G1、
ｎ_G2，・・・，ｎ_Gk個の要素から構成され、Ｇ₁ ：｛ｆ
₁₁，ｆ₁₂，・・・，ｆ_1nG1｝，・・・のようにグループ
分けされる。

【００５９】次に、ステップＳ１９では、特徴の重み係
数の設定が行われる。

【００６０】検索を行う際に、各特徴の重要度を考慮す
ることにより、利用者の意図を反映したような検索結果
を得ることが可能となる。

【００６１】例えば、関心領域の体積という特徴量を重
要と考え、重み係数を大きくして検索をかけると、体積
が類似した画像が効率よく検索できることになる。

【００６２】この機能においても、表示装置３上に算出
される特徴すべてを表示した上で、各特徴の重み係数を
設定するための対話的な表示が行われ利用者の任意の設
定による重み係数の設定が行われる。

【００６３】重み係数の設定は、各特徴に関して各々設
定することができ、さらに、ステップＳ１６において行
われた特徴のグループに対しても行うことができる。

【００６４】図４は、各特徴に関する重み係数を設定す
るためのダイアログボックスであり、マウス等に指示デ
バイス４を用いて、表示装置３上に表示されたダイアロ
グボックスにより、重み係数の値を設定することができ
る。

【００６５】さらに、図５は、各グループに対する重み
係数の設定のためのダイアログボックスであり、各グル
ープに対する重み係数の設定を行う。

【００６６】ステップＳ１８、Ｓ１９では、特徴の分
類、特徴の重み係数の設定機能について述べているが、
これらの条件設定は初期条件としてあらかじめ設定され
た組み合わせが与えられており、初期条件のままで検索
をかけることも、利用者が、ステップＳ１８、Ｓ１９の
機能を用いて任意の設定を行うことも可能である。

【００６７】次に、ステップＳ２０では、ステップＳ１
８、Ｓ１９で設定された条件に従って、検索が実行され
る。

【００６８】ステップＳ１５で算出された特徴が、ｆ₁
〜ｆ_M のＭ個であり、検索を行うデータベース５内のデ
ータがＩ₁ 〜Ｉ_N のＮ個あるとして、特徴量行列を式
（１）とすると、ｑ番目の３次元画像Ｉ_q の特徴量ベク
トルは式（２）として表現される。

【００６９】式（２）において、κ_j を乗ずることによ
り、各特徴項は正規化されたものとなっている。

【００７０】

【数１】

【００７１】

【数２】

【００７２】として定義される値であり、ｗ_j は各特徴
の重み係数である。

【００７３】式（２）の特徴ベクトルにより類似度を定
義することができる。

【００７４】すなわち、検索の対象とする画像がＩ_p で
あるとき、データベース５内の他の画像Ｉ_q との類似度
関数を、

【００７５】

【数３】

【００７６】とすれば、Ｓｉｍ（ｐ，ｑ）が小さいほど
類似性が高いことになる。

【００７７】データベース５内のすべての画像に対し
て、この関数を計算することにより、類似度の順序を決
定することができる。

【００７８】式（２）で定義した特徴量には、ステップ
Ｓ１８で行った特徴の分類に基づいた考慮がされていな
いが、特徴のグループ分けを行った場合には、各特徴項
に乗ぜられている重み係数ｗ_j をｗ_G(J)・ｗ_j と変更す
ることによりグループ分けの設定が反映された特徴量の
定義式となる。

【００７９】但し、ｗ_G(J)は、ｊ番目の特徴ｆ_j を含む
グループの重み係数である。

【００８０】次に、ステップＳ２１において、ステップ
Ｓ２０で検索をかけて決定された類似性に基づいて類似
性の高いものからあらかじめ設定された数だけのデータ
を取り出し、これらのデータについて、類似性の順番で
表示装置３上に表示する。

【００８１】検索の実行、および、検索結果が表示され
た後で、別な観点に基づいた検索を行いたい場合には、
検索条件の設定を行う。

【００８２】検索条件の設定は、各特徴量に対する重み
係数の編集が主な作業となり、設定は図３のステップＳ
１９で述べた設定と同様な方法で行われる。

【００８３】図６は、検索結果の表示例を示している。

【００８４】各子ウィンドウには検索対象画像、および
検索結果の画像が表示される（図６の例では検索結果１
〜検索結果６までが表示されている）。

【００８５】これらの各子ウィンドウには、扱う対象３
次元画像がボリュームデータである場合には、スライス
画像が表示される。

【００８６】図７に示すように、各スライス画像表示ウ
ィンドウ内には画像操作コントロール部が設けられ、ス
ライダや指示装置によりそれぞれ独立して指定スライス
番号のスライス画像の閲覧を行うことができる。

【００８７】また、指示デバイス４による指定において
３次元的にレンダリングされたウィンドウを開き、この
ウィンドウ内には関心領域設定及び３次元オブジェクト
の作成の際に作成されたポリゴンパッチデータによる３
次元レンダリング画像、または関心領域に基づくボリュ
ームレンダリング画像を表示することができる。

【００８８】さらに、このウィンドウ内では、指示デバ
イス４、または、視点変更を行うための指示操作ウィン
ドウの操作によりオブジェクトの任意視点表示、およ
び、拡大縮小、平行移動等の変換操作を行うことができ
る。

【００８９】スライス画像を表示するためのウィンドウ
と同様に３次元画像表示用のウィンドウを図６と同様な
ものを作成し、スライス表示ウィンドウと、３次元画像
表示用検索結果表示ウィンドウが同時に表示装置上に表
示されるような画面構成をとることもできる。

【００９０】さらに、各子ウィンドウは、図７に示すよ
うに、検索結果の画像の表示のみでなく、類似度の定量
的情報を表示するためのウィンドウを表示することがで
き、この表示ウィンドウには、ｆ₁ 〜ｆ_N までの各特徴
に対し、検索対象画像の特徴と、検索結果画像の特徴、
およびその差の値がそれぞれ表示される。

【００９１】また、式（３）で示した類似度算出のため
に利用した類似度評価関数の値も、対象画像、および検
索結果画像に対して、評価関数の値と、差の値がそれぞ
れ表示される。

【００９２】検索結果を閲覧後、利用者の要求により、
重み係数の変更を行うためのメニュー、または、ボタン
を配置しておき、検索後、迅速に、重み係数検討に移れ
るような画面構成にしてある。

【００９３】図８は、本発明の検索結果表示の一例を示
す。

【００９４】図６に示すように、通常、検索条件設定に
より検索された結果は、類似度の順に指定した件数が出
力される。

【００９５】図８では、図６で表示された検索結果に対
して、各特徴に対する並べ替えを行って表示したもので
ある。

【００９６】すなわち、図６で検索結果として表示した
ものを、ｊ番目の特徴の注目し、この特徴の値に対して
参照となる３次元画像、または３次元オブジェクトとの
差を求め、その値の小さな順に表示する。

【００９７】このような表示を行うことにより、検索条
件としては、様々な特徴を融合したような検索条件であ
っても、その検索結果に対して、指定されたある特徴に
寄与する度合いを確認することができる。

【００９８】図８は、上記の表示を行うために、所望の
特徴を指定するためのユーザインタフェースとなってい
る。

【００９９】すなわち、図８における各タブに、特徴名
が記述されており、これらの中から任意の特徴を選択す
ることにより、その特徴に対する順序で検索結果がウィ
ンドウ内に表示される。

【０１００】同様に、タブを特徴カテゴリとしたものも
考えることができる。

【０１０１】図９は、その一例を示している。

【０１０２】図８、図９において、各子ウィンドウ内に
は、図７に示すような各オブジェクトの表示およびコン
トロールを行うことが可能なウィンドウとなっている。

【０１０３】次に、図１０は、図８、図９で示した表示
法に関し、これらを、空間内に表示する例を示してい
る。

【０１０４】この表示では、図８、図９では各ウィンド
ウに一種類の特徴に関するオブジェクトが順に表示され
ていたのに対し、すべての情報を一つの空間内に表示す
ることが可能となる。

【０１０５】この表示では、３次元空間を生成し、原点
に検索の参照とするオブジェクトを配置し、その各軸を
指定された特徴軸とし、各検索結果オブジェクトの各特
徴値と、参照画像オブジェクトの各特徴値との差を各座
標軸の成分として持つような３次元座標位置にオブジェ
クトを表示するものである。

【０１０６】各軸を特徴とした場合には、各成分は、式
（３）を参考にして、特徴番号ｋで与えられる特徴に対
する類似度としては、式（４）で与えられる。

【０１０７】この表示方法は、検索結果の画像が対象画
像に対してどの特徴に対して類似度が大きいかを表示す
ることができる。

【０１０８】ここでは、３次元空間内にオブジェクトを
配置する例を示しているが、２次元の空間でも同様に表
示することは可能であり、さらには仮想的に一般的にｎ
次元空間として考えることも可能である。

【０１０９】但し、表示装置内に表示するという制約が
あるため、３次元空間を表示するのが分かりやすいた
め、通常は３次元空間内の検索結果の分布を表示するこ
とが一般的になる。

【０１１０】３次元空間であることから、表示できる
軸、すなわち特徴は３つであり、これらの特徴は、利用
者が任意に設定することが可能である。

【０１１１】また、各特徴を軸にするのに加えて、各軸
を、分類したカテゴリとして表示することができる。

【０１１２】ここで、カテゴリとしては、例えば、位
置、大きさ、形状、テクスチャ等があげられる。

【０１１３】位置というカテゴリならば、重心位置、近
似楕円体の中心位置、関心領域の外接直方体の中心位置
等が同じカテゴリに含まれる。

【０１１４】大きさであれば、関心領域の体積、表面
積、近似楕円対の体積、近似楕円対の表面積、関心領域
の外接直方体の体積、関心領域の外接直方体の表面積等
が同じカテゴリに含まれる。

【０１１５】形状であれば、真球度、近似楕円対の軸の
方向ベクトル、形状複雑度等が同じカテゴリに含まれ
る。

【０１１６】さらに、テクスチャ的特徴という面では濃
度平均値、濃度ヒストグラム、濃度分布歪み、共起行
列、エネルギー、エントロピー、方向性２次モーメン
ト、３次元フーリェ特徴である、ＭＰＳ，ＡＰＳ等が同
じカテゴリに含まれる。

【０１１７】他にも任意のカテゴリを設定することが可
能であり、設定したカテゴリを用いて類似度を算出する
ことが可能である。

【０１１８】カテゴリ分類した特徴において、カテゴリ
の重み係数を考慮すれば、各特徴ｆ _i に関する類似度
は、ｗ_G(i)・ｗ_i ｜ｆ_q (i) −ｆ_p (i) ｜で表される。

【０１１９】但し、ｆ_q (i) は、画像Ｉ_q のｉ番目の特
徴項である。

【０１２０】したがって、グループ番号ｋに属する特徴
に関する類似度として、式（５）で与えられる値が算出
される。

【０１２１】すべてのグループに対して同様にグループ
としての類似度を算出することによりグループとしての
類似度の特性を算出することができる。

【０１２２】この式中、ｎ_Gkでの除算はグループに属す
る特徴の数ｎ_Gkによる平均値を算出することを意味す
る。

【０１２３】

【数４】

【０１２４】

【数５】

【０１２５】この表示空間に対する操作性の特徴とし
て、指示デバイス４等により、表示装置３内で自由に任
意視点表示を行うことができる。

【０１２６】さらに、この空間内に表示されたオブジェ
クトは、それぞれ指示デバイス４による指定により、そ
のオブジェクトの情報が表示装置３内に表示される。

【０１２７】また、指示デバイス４により、各オブジェ
クトは表示空間内で、独立に視点変更を行うことがで
き、その形状、大きさ等を検討することもできる。

【０１２８】図１０では、検索結果の位置に点で表示し
てあるが、点でなく、実際の検索結果の３次元画像、ま
たは３次元オブジェクトをその形状を示すように、３次
元表示し、各３次元表示されたものが指示デバイス４に
より視点変更が可能な表示を行うことも可能である。

【０１２９】そして、上述したような実施の形態で示し
た本明細書には、特許請求の範囲に示した請求項１乃至
３以外にも、以下に付記１乃至付記３として示すような
発明が含まれている。

【０１３０】（付記１） ３次元画像、または３次元オ
プジェクトが蓄積されている画像データベース内より類
似画像を検索し、その検索結果を表示する装置におい
て、該データベース内の３次元画像、または３次元オブ
ジェクトから関心領域を抽出した後、該関心領域に対す
る画像特徴量を算出して、該データべース内の画像の検
索を行うときに、検索条件として各特徴に対する重み係
数設定手段と、各特徴をいくつかのカテゴリに分類する
手段と、各カテゴリに対する重み係数設定手段とを有
し、各特徴、および各カテゴリに対して設定した検索条
件に基づいて検索した結果として、各特徴ごとに類似性
の高い順に検索結果を表示する手段と、各カテゴリごと
に類似性の高い順に検索結果を表示する手段と、を有す
ることを特徴とした類似画像検索装置。

【０１３１】（作用効果）検索を行う際に、オブジェク
トの持つ多数の特徴に対し、各特徴に重み係数の設定を
行うが、この検索条件に基づいて検索を行ったときに出
力される検索結果に対し、通常は、検索条件に対する総
合的な検索結果としての類似度の順での表示が行われ
る。

【０１３２】それに加えて、各々の特徴を考慮して、各
特徴に基づいた類似度の順に並べ替えて表示されるた
め、検索結果のオブジェクトが、各特徴に対してどの程
度の寄与があるかといった検索結果に対する評価を行う
ことができる。

【０１３３】（付記２） 付記１の類似画像検索装置に
おいて、各特徴、または各カテゴリの中から任意のｎ個
の特徴、またはカテゴリを選択する手段と、選択された
ｎ個の特徴、またはカテゴリを座標軸として持つような
空間を作成した上で、この空間内に検索結果の３次元画
像、または３次元オブジェクトを表示装置内に表示する
手段と、をさらに有することを特徴とする類似画像検索
装置。

【０１３４】（作用効果）付記１では、各特徴につい
て、別々に表示を行うことができるが、利用者が所望の
いくつかの特徴に関してまとめて検討を行いたいとき
に、これらの指定した特徴すべてを特徴軸として設定す
るようなｎ次元空間を張り、この空間内に検索結果のオ
ブジェクトを表示することができ、空間内における検索
結果オブジェクトの分布等を知ることができ、利用者の
所望の特徴のみを抽出した上でそれらの寄与等を検討す
ることができる。

【０１３５】（付記３） 付記２の類似画像検索装置に
おいて、選択される特徴、またはカテゴリの数が３であ
り、３次元の特徴空間、またはカテゴリ特徴空間に検索
結果のオブジェクトを表示する手段と、該特徴空間全体
を指示装置により任意視点表示する手段と、該空間内に
表示された各オブジェクトを、指示装置により、独立に
任意視点表示する手段と、該空間内に表示された各オブ
ジェクトを、指示装置により指定したとき、該オブジェ
クトに対する要素となる各特徴等の情報を表示する手段
と、を有することを特徴とする検索結果表示装置。

【０１３６】（作用効果）付記２では、一般にｎ次元空
間を生成したが、これを３次元と特定することにより、
一般的な表示装置に投影し、視覚的に把握することが可
能となる。

【０１３７】この３次元座標系全体を任意視点表示する
ことにより、各オブジェクトの３次元的分布の様子を把
握し易くなり、検索結果の検討を容易にすることが可能
であり、また、各オブジェクトを独立に任意視点表示す
ることができることにより、各オブジェクトの形状等の
特徴を視覚的に把握することも可能となる。

【０１３８】さらに、表示されている空間内の各オブジ
ェクトについて、利用者が所望のオブジェクトについて
詳細な情報を知りたいときに、指示装置によりオブジェ
クトを指示するのみで、該オブジェクトの詳細情報を表
示装置内に表示することができ、検索結果として得られ
た各オブジェクトを詳細に検討することができる。

【０１３９】

【発明の効果】従って、以上説明したように、請求項１
に記載の本発明によれば、例えば、３次元画像、または
３次元オブジェクトの検索結果の表示を、検索結果の検
索情報、すなわち、検索のために利用した各特徴値を各
検索結果に対して詳細に表示して、検索結果の特性を詳
細に知ることができ、さらに、３次元画像であることを
考慮して、これらの情報を、視覚的に分かり易すく表示
することが可能とし、より理解し易い検索結果の表示を
行うことができる類似画像検索方法を提供することがで
きる。

【０１４０】また、以上説明したように、請求項２また
は３に記載の本発明によれば、例えば、３次元画像、ま
たは３次元オブジェクトの検索結果の表示を、検索結果
の検索情報、すなわち、検索のために利用した各特徴値
を各検索結果に対して詳細に表示して、検索結果の特性
を詳細に知ることができ、さらに、３次元画像であるこ
とを考慮して、これらの情報を、視覚的に分かり易く表
示することが可能とし、より理解し易い検索結果の表示
を行うことができる類似画像検索装置を提供することが
できる。

【図面の簡単な説明】

【図１】図１は、本発明の一実施の形態による類似画像
検索装置の構成を示すブロック図である。

【図２】図２は、図１の演算装置１内での処理を機能ブ
ロックとして示している。

【図３】図３は、画像入力から類似画像検索結果の表示
までの流れを詳細に示したフローチャートである。

【図４】図４は、各特徴に関する重み係数を設定するた
めのダイアログボックスを示す図である。

【図５】図５は、各グループに対する重み係数の設定の
ためのダイアログボックスを示す図である。

【図６】図６は、検索結果の表示例を示す図である。

【図７】図７は、各スライス画像表示ウィンドウ内に設
けられる画像操作コントロール部を示す図である。

【図８】図８は、本発明の検索結果表示の一例を示す図
である。

【図９】図９は、タブを特徴カテゴリとしたものと考え
る例を示している。

【図１０】図１０は、図８、図９で示した表示法に関
し、これらを、空間内に表示する例を示す図である。

【符号の説明】

１…演算装置、 ２…データ入力装置、 ３…表示装置、 ４…指示・操作入力装置を含む指示デバイス、 ５…外部データベース装置（データベース）、 ６…関心領域設定機能部、 ７…特徴量算出機能部、 ８…類似性算出機能部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ (72)発明者 柴▲崎▼ 隆男 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 Ｆターム(参考） 5B050 CA07 EA04 EA26 FA02 FA19 GA08 5B075 ND06 PP02 PQ02 PQ34 PQ46 PQ72 PR06 QM08 5L096 EA14 JA03 JA11

Claims (3)

【特許請求の範囲】
1. 【請求項１】 類似する画像データを検索する方法であ
   り、 画像データにおいて複数の特徴量を算出するステップ
   と、 上記特徴量を用いて、類似する画像データを検索するス
   テップと、 上記検索の結果を用いて、各特徴量毎に、または複数の
   特徴量をまとめたカテゴリ毎に、類似性の高い画像を表
   示するステップと、 を具備することを特徴とする類似画像検索方法。
2. 【請求項２】 類似する画像データを検索する装置であ
   り、 画像データにおいて複数の特徴量を算出する手段と、 上記特徴量を用いて、類似する画像データを検索する手
   段と、 上記検索の結果を用いて、各特徴量毎に、または複数の
   特徴量をまとめたカテゴリ毎に、類似性の高い画像を表
   示する手段と、 を具備することを特徴とする類似画像検索装置。
3. 【請求項３】 複数の上記特徴量を座標軸にとった空間
   において、検索結果の画像の特徴量に対応する座標位置
   を表示する手段をさらに具備することを特徴とする請求
   項２記載の類似画像検索装置。