JP5794035B2 - 画像検索装置、画像検索方法、およびプログラム - Google Patents

Description

本発明は画像検索装置、画像検索方法、およびプログラムに関する。

画像データを検索キーとして設定し、類似する画像データの検索を行う画像検索方法が
知られている（たとえば、特許文献１）。特許文献１に示される画像検索方法によれば、
検索キーとして設定された画像データ（以下、「クエリ画像」という。）および各検索対
象画像の各特徴点から局所特徴量を抽出し、類似度が比較的厳しい第１の条件を満足する
特徴点の第１対応点ペアと、第１対応点ペアに基づいて比較領域をさらに限定して、類似
度が比較的緩やかな第２の条件を満足する特徴点の第２対応点ペアとを抽出し、この第２
対応点ペアの個数に基づいて類似する画像データを抽出し、画像検索結果として出力して
いる。この特許文献１による画像検索方法によれば、第１対応点ペアが得られない検索対
象画像はクエリ画像とは非類似であるとして予め排除されるため、高精度の類似画像検索
を実現することができる。

特開２０１０−２０４９０８号公報（要約、図１参照）

ところで、図１７に示すように、ある人物が写っている画像データＡと、別の人物が写
っている画像データＢをユーザが所持していたとする。ここで、ユーザが、画像データＡ
に写っている人物と画像データＢに写っている人物とが一緒に写っている画像データＣを
探している場合がある。このような場合において、特許文献１に開示される画像検索方法
で画像データＣを検索したい場合に、画像データＡまたは画像データＢをクエリ画像に設
定して画像検索を行っても、類似度が比較的厳しい第１の条件を満足する特徴点が画像デ
ータＣとの間で得られない可能性が高く、検索結果として出力されないか、あるいは検索
結果の上位に出力させることはできない。

また、図１８に示すように、複数の人物が写っている画像データＤ、Ｅをユーザが所持
していたとする。ここで、ユーザが画像データＤ，Ｅに共通する特定人物のみが写ってい
る画像データＦを探している場合がある。このような場合において、特許文献１に開示さ
れる画像検索方法で画像データＦを検索したい場合に、画像データＤまたは画像データＥ
をクエリ画像に設定して画像検索を行っても、類似度が比較的厳しい第１の条件を満足す
る特徴点が画像データＦとの間で得られない可能性が高く、検索結果として出力されない
か、あるいは検索結果の上位に出力させることはできない。

すなわち、特許文献１に開示される画像検索方法では上述のようなユーザの所望する画
像データを検索するものとしては検索精度が悪くなってしまう。

本発明は、上述した課題の少なくとも１つを鑑みてなされたものであり、ユーザが所望
する画像データを精度よく検索して出力することができる画像検索装置、画像検索方法、
およびプログラムを提供することを目的とする。

本発明の一側面としての画像検索装置は、複数の検索対象画像データを取得する画像取
得手段と、画像取得手段により取得された複数の検索対象画像データのそれぞれに含まれ
るオブジェクトが写っている画像データを検索する第１の画像検索手段と、画像取得手段
により取得された複数の検索対象画像データに共通して含まれるオブジェクトが写ってい
る画像データを検索する第２の画像検索手段と、第１の画像検索手段および第２の画像検
索手段の検索結果の少なくともいずれか一方を出力する検索結果出力手段と、検索結果出
力手段からの出力を第１の画像検索手段および第２の画像検索手段のいずれか一方から他
方へと切り替える画像検索切替手段とを備えるものである。

画像検索装置を上述の構成とすることで、単一の画像データからは得ることのできない
、複数の画像データから得られる検索条件が反映された画像検索結果を上位に出力させる
ことができるので、図１７および図１８に示したようなユーザの要望を満たす画像データ
を精度よく検索して出力させることができる。また、複数の画像データから得られる検索
条件についても切り替えることができるので、図１７および図１８に示したようなユーザ
の要望それぞれに対して所望の検索結果を容易に出力させることが可能である。

また、複数の画像データのそれぞれに含まれるオブジェクトまたは共通して含まれるオ
ブジェクトの構図、位置関係または背景色のいずれか１つを少なくとも指定する検索条件
指定手段を備え、第１の画像検索手段、または第２の画像検索手段は、検索条件指定手段
の指定条件を満たす画像データを検索することが好ましい。

画像検索装置を上述の構成とすることで、ユーザが所望する画像データの中でも、画像
データ内のオブジェクトの構図、位置関係、背景色を検索条件として設定できるので、ユ
ーザの要望をより正確に満たす画像データを検索して出力させることができる。

また、検索キーとして設定された複数の検索対象画像データの仮の画像検索結果をプレ
ビュー表示させる検索画像プレビュー手段を備え、検索画像プレビュー手段は、複数の検
索対象画像データの組み合わせが変更される都度、その変更された検索条件を満たす仮の
画像検索結果をプレビュー表示させることが好ましい。

画像検索装置を上述の構成とすることで、ユーザは、指定した画像データに応じてどの
ような検索結果が出力されるのかを確認しながら、所望の画像データの検索作業を行うこ
とができる。

また、画像取得手段により取得された複数の画像データが、同一の画像データである場
合、第１の画像検索手段または第２の画像検索手段は、複数の画像データのそれぞれに含
まれるオブジェクトの個数をカウントし、カウントされた個数分のオブジェクトが含まれ
る画像データを検索することが好ましい。

画像検索装置を上述の構成とすることで、たとえば、ユーザが単一のオブジェクトが写
っている画像データは所有しているが、複数の同一のオブジェクトが写っている画像デー
タを捜している場合であっても、所望の画像データを検索して出力させることができる。

また、本発明の一側面としての画像検索装置は、複数の検索対象画像データを取得する画像取得手段と、前記画像取得手段により取得された前記複数の検索対象画像データのそれぞれに含まれるオブジェクトを全て含んでいる画像データを検索するための設定をする第１の検索条件設定手段と、前記画像取得手段により取得された前記複数の検索対象画像データに共通して含まれるオブジェクトを含んでいる画像データを検索するための設定をする第２の検索条件設定手段と、前記第１の検索条件設定手段の設定、または、前記第２の検索条件設定手段の設定にしたがって画像データを検索する画像検索手段と、前記画像検索手段の検索結果を出力する検索結果出力手段と、を備え、前記画像取得手段により取得された前記複数の検索対象画像データが、同一の検索対象画像データである場合、前記画像検索手段は、前記複数の検索対象画像データのそれぞれに含まれるオブジェクトの個数をカウントし、カウントされた個数分の前記オブジェクトが含まれる画像データを検索することを特徴とする。
また、本発明は、画像検索装置のみならず、画像検索装置を構成する各手段が実行する各工程を有する画像検索方法においても実現することができる。さらに、画像検索装置を構成する各手段に相当する機能をコンピューターに実行させるプログラムにおいても本発明を実現することができる。そのため、本発明の一側面である画像検索方法、プログラムについても、上述した画像検索装置と同様の効果を奏することができる。

本発明の実施の形態に係るサーバーとクライアント端末の概略構成を示す説明図である。 図１に示すサーバーの内部構成の機能を機能ブロック図にて模式的に示す説明図である。 図２に示す画像データベースに記憶されている情報の一例を示す図である。 図２に示す画像データベース内に生成されるクラスタの概念を説明する図である。 図１に示すサーバーが備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。 図５に示す画像検索モジュールの詳細機能を示す図である。 図１に示すクライアント端末の内部構成を機能ブロック図にて模式的に示す説明図である。 図１に示すクライアント端末が備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。 図１に示すクライアント端末およびサーバー間において実行される画像検索処理を示すフローチャートである。 図９に示した画像検索処理結果が表示された画面の一例を示す図である。 変形例１の画像検索画面の一例を示す図である。 図１１に示す検索イメージ画像作成ボタンが押下されると新たに表示される画面例を示す図である。 検索クエリ画像の作成手順を説明する図である。 変形例２の画像検索画面の表示例を示す図である。 変形例３の画像検索結果の表示例を示す図である。 変形例４の画像検索結果の表示例を示す図である。 ユーザが所持する画像データと欲しい画像データとの関係を説明するための図である。 ユーザが所持する画像データと欲しい画像データとの関係を説明するための図である。

以下、本発明に係る画像検索装置、画像検索方法、およびプログラムについて、図面を
参照しつつ、実施の形態に基づいて説明する。なお、本発明に係る画像検索方法について
は画像検索装置の動作を例として説明し、本発明に係るプログラムについては、画像検索
装置にインストールされているプログラムを例として説明する。

図１は、本発明の実施の形態に係るサーバー１とクライアント端末２の概略構成を示す
説明図である。サーバー１と、クライアント端末２とはネットワーク３を介して双方向通
信可能に接続されている。ネットワーク３は、インターネット、イントラネット、ＷＡＮ
（Wide Area Network）、ＬＡＮ（Local Area Network）などのいずれであってもよい。

サーバー１は、ネットワーク３を介して接続された不図示のコンピューター上に存在す
る数多くの画像データを格納し、クライアント端末２からの検索要求に応じて類似・一致
する画像データの検索を実行すると共に、検索結果として抽出された画像データを送信す
る、画像検索装置の一例である。

（サーバー１の構成）
図２は、図１に示すサーバー１の内部構成の機能を機能ブロック図にて模式的に示す説
明図である。

サーバー１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリ
ー１２、記憶装置１３、および入出力インターフェース１４を備えている。

ＣＰＵ１１は、メモリー１２に格納されているＯＳ（不図示）、各種プログラム、モジ
ュールを実行する。

メモリー１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に
記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮
発的な作業領域を有する。なお、メモリー１２としては、たとえば、プログラムなどを不
揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を
提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。

記憶装置１３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブと
いった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、画像
データベース１３Ａが構築されている。

画像データベース１３Ａは、画像データの検索に要する時間を短縮させるために、画像
インデックスがクラスタリングにより構築されており、複数の画像データ、所属クラスタ
、各画像データの画像特徴量が関連付けられて構成されている。ここで、画像データの画
像特徴量とは、たとえば、画像データの平均輝度、最小輝度、最高輝度、色相、画像デー
タに含まれるオブジェクト（商品、図形、動物、人物の顔など）のサイズ、位置といった
複数種類の値から構成される。なお、これらの特徴量は、当業者にとって周知の方法で取
得することが可能であるから説明を省略する。

図３は、図２に示す画像データベース１３Ａに記憶されている情報の一例を示す図であ
る。図３に示すように、画像データ毎に所属する所属クラスタおよび、画像特徴量が記憶
されている。なお、図示していないが、各クラスタには各画像データの画像特徴量の代表
値（たとえば、各画像データの特徴量の平均値）が関連付けられており、画像検索の際に
、まず代表値の単位で画像検索が行われ、その後に類似する代表値に属する各画像データ
との比較が行われるようになっている。

図４は、図２に示す画像データベース１３Ａ内に生成されるクラスタの概念を説明する
図である。図４に示す例では、正規化された画像特徴量に基づいて画像データに顔が含ま
れるか否かによって画像データが分類される。顔を含むクラスタについては、顔の大きさ
を示す正規化された画像特徴量が所定値以上（図４では顔サイズ大）であるか所定値未満
（図４では顔サイズ小）であるかに基づいてさらに分類される。顔サイズ大のクラスタに
ついては、顔が子供の顔であるか大人の顔であるか（図４では年齢）を、たとえば、顔の
器官位置に関する画像特徴量に基づいてさらに分類される。顔サイズ小のクラスタについ
ては、風景シーンであるか否かを、青または緑の色相を示す正規化された画像特徴量が所
定値以上であるかに基づいてさらに分類される。そして、風景シーンのクラスタについて
は、色相が青を示すか否かに基づきさらに分類され、色相が青でないクラスタについては
色相が緑を示すか否かに基づきさらに分類される。顔を含まないクラスタについては、風
景であるか否かに基づいて分類され、風景シーンでないクラスタについては、彩度が所定
値以上（彩度大）であるか所定値未満（彩度小）であるかに基づいてさらに分類される。
なお、図４に示すクラスタの構成及び分類はあくまでも一例であり、これに限定されるも
のではなく、複数のクラスタを構成したり、図４とは異なる分類としてもよい。

クラスタリングは、画像データベース１３Ａに対して画像インデックスを作成する最初
のタイミングにて、あるいは、画像データベース１３Ａに所定量の新規な画像データが追
加されたタイミングにてサーバー１によって実行される。なお、クラスタリングの手法と
しては、上述したような階層型クラスタリング手法の他、Ｋ−平均法、自己組織化マップ
（ＳＯＭ）などの非階層型クラスタリング手法なども知られているが、それらのいずれを
採用してもよい。

なお、記憶装置１３は、複数の画像データのみを格納するデータ格納部として機能して
もよい。この場合には、記憶装置１３に格納されている各画像データの特徴量、各画像デ
ータの管理情報はメモリー１２に格納される。

さらに、本実施の形態では、記憶装置１３が画像データおよび管理情報を単に格納する
データベースを例として説明しているが、記憶装置１３に検索処理機能を備える制御部を
備えさせて、外部からの検索処理要求に応じて検索結果の画像データを出力する独立型の
データベースシステムであってもよい。この場合には、サーバー１の外部にデータベース
システムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検
索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメ
モリー１２に格納され、ＣＰＵ１１によって実行される。

入出力インターフェース１４は、外部装置、たとえば、クライアント端末２との間で、
周知の通信プロトコルに従って検索要求の受信および検索結果の送信を実行する。なお、
図示しないが、入出力インターフェース１４は、キーボードなどの操作部としての機能、
ディスプレイなどの表示部としての機能を有するものであってもよい。

図５は、図１に示すサーバー１が備えるメモリー１２に格納されている各種プログラム
、モジュールを示す説明図である。図５に示すように、メモリー１２には画像検索プログ
ラムＳＰ１が格納されている。

画像検索プログラムＳＰ１は、記憶装置１３から画像データを検索するプログラムであ
り、検索画像取得モジュールＳＭ１１および画像検索モジュールＳＭ１２を備えている。

検索画像取得モジュールＳＭ１１は、クライアント端末２によりネットワーク３を介し
て送信されてきた、ユーザにより検索条件として設定されている１または複数の検索画像
データを取得するモジュールである。

画像検索モジュールＳＭ１２は、検索画像取得モジュールＳＭ１１により取得した１ま
たは複数の検索画像データを用いて、ユーザが探している画像データと類似または一致す
る画像データを記憶装置１３の画像データベース１３Ａから検索するモジュールである。

図６は、図５に示す画像検索モジュールＳＭ１２の詳細機能を示す図である。図６に示
すように、画像検索モジュールＳＭ１２は、サブモジュールとして検索条件設定モジュー
ルＳＭ１３、検索特徴量算出モジュールＳＭ１４および類似画像検索モジュールＳＭ１５
を更に備えている。

検索条件設定モジュールＳＭ１３は、検索画像取得モジュールＳＭ１１により取得した
複数の検索画像データの検索条件を設定するモジュールである。具体的には、複数の検索
画像データそれぞれに含まれるオブジェクトが全て含まれる画像データを検索する場合（
以下、この場合を「第１検索条件」とする。）と、複数の検索画像データに共通して含ま
れるオブジェクトを有する画像データを検索する場合（以下、この場合を「第２検索条件
」とする。）のいずれかを設定する。なお、本実施の形態においては、初期設定として第
１検索条件が設定されているものとし、ユーザから変更指示が有った場合には、第２検索
条件へと切り替えが行われる。しかし、初期設定として第２検索条件が設定されていても
よい。

検索特徴量算出モジュールＳＭ１４は、検索画像取得モジュールＳＭ１１により取得し
た複数の検索画像データから、検索条件設定モジュールＳＭ１３により設定された検索条
件に応じて、画像データに含まれるオブジェクトを特定すると共に、検索する際に設定す
る特徴量を算出するモジュールである。検索特徴量算出モジュールＳＭ１４は、検索条件
設定モジュールＳＭ１３により設定された検索条件によって、特徴量の算出方法が異なる
。すなわち、第１検索条件が設定されていた場合には、複数の検索画像データそれぞれの
オブジェクトについての特徴量をそれぞれ算出し、第２検索条件が設定されていた場合に
は、複数の検索画像データに共通するオブジェクトについての特徴量を算出する。なお、
これらの特徴量の算出方法については、当業者であれば画像データの特徴量についての公
知技術によって容易に実現できるため、詳細な説明は省略するが、たとえば、第２検索条
件の場合であれば、各画像データから抽出したＳＵＲＦ特徴量をSupport Vector Machine
で多クラス分類し、各クラスの平均値を算出し、その平均値が閾値以上の特徴量を使用す
ることなどが考えられる。

類似画像検索モジュールＳＭ１５は、検索特徴量算出モジュールＳＭ１４により算出さ
れた特徴量と、画像データベース１３Ａに格納されている各クラスタの代表値および各ク
ラスタに属する画像データの特徴量とを用いて類似するクラスタおよび類似するクラスタ
に属する類似画像データを検索し、その検索結果を出力するモジュールである。類似画像
検索モジュールＳＭ１５は、第１検索条件が設定されていた場合には、検索特徴量算出モ
ジュールＳＭ１４で複数の画像データ毎に算出された特徴量（たとえば、ある大きさ以上
の顔サイズをもつクラスタに属し、更に正面を向いている複数の人物が写っているクラス
タに属する画像データの特徴量）をすべて有するか否かという観点からユーザが探してい
る画像データと類似・一致する画像データの検索（すなわち、複数の特徴量のＡＮＤ検索
）を実行する。また、第２検索条件が設定されていた場合には、検索特徴量算出モジュー
ルＳＭ１４で算出された複数の画像データに共通する特徴量と近似するか否かという観点
からユーザが探している画像データと類似・一致するクラスタの代表値および各クラスタ
に属する類似・一致する画像データの検索を実行して、これらの検索結果を出力する。

（クライアント端末２の構成）
図７は、図１に示すクライアント端末２の内部構成を機能ブロック図にて模式的に示す
説明図である。

クライアント端末２は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１
、メモリー２２、記憶装置２３、および入出力インターフェース２４を備えている。

ＣＰＵ２１は、メモリー２１に格納されているＯＳ（不図示）、各種プログラム、モジ
ュールを実行する。

メモリー２１は、ＣＰＵ２１によって実行されるプログラム、モジュールを不揮発的に
記憶すると共に、ＣＰＵ２１による処理実行時にプログラム、モジュールが展開される揮
発的な作業領域を有する。なお、メモリー２１としては、たとえば、プログラムなどを不
揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を
提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。

記憶装置２３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブと
いった１または複数の大容量記憶装置によって構成されている。記憶装置１３には、ユー
ザが検索条件として設定可能な画像データＤが複数記憶されている。

入出力インターフェース２４は、外部装置、たとえば、サーバー１との間で、周知の通
信プロトコルに従って検索要求の送信、検索結果の受信を実行する機能を有する。また、
図示しないが、入出力インターフェース２４は、サーバー１に対してユーザが画像検索指
示を入力するための操作部としての機能を有し、たとえば、ボタン、ホイールによって実
現され得る。また、入出力インターフェース２４には、表示部としての機能を有し、ユー
ザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行
う。

図８は、図１に示すクライアント端末２が備えるメモリー２２に格納されている各種プ
ログラム、モジュールを示す説明図である。

メモリー２１は、画像検索要求プログラムＣＰ１と、ＷｅｂブラウザプログラムＣＰ２
とを備える。

画像検索要求プログラムＣＰ１は、サーバー１に対して画像検索処理を要求するプログ
ラムであり、画像特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得
モジュールＣＭ１３を備えている。

画像特定モジュールＣＭ１１は、検索対象となる１または複数の画像データＤを特定す
るモジュールである。

検索要求モジュールＣＭ１２は、画像特定モジュールＣＭ１１により抽出された１また
は複数の画像データＤと検索条件が設定された検索要求をサーバー１に対して送信するモ
ジュールである。なお、ここでいう検索条件には、上述した第１検索条件、または第２検
索条件のいずれかの設定がなされているものとする。

検索結果取得モジュールＣＭ１３は、サーバー１から検索結果として一または複数の検
索結果の画像データを取得するモジュールである。

ＷｅｂブラウザプログラムＣＰ２は、検索結果取得モジュールＣＭ１３が取得したデー
タを用いて表示部に検索結果を表示させるプログラムである。

（画像データの検索処理）
図９は、図１に示すクライアント端末２およびサーバー１間において実行される画像検
索処理を示すフローチャートである。

クライアント端末２のＣＰＵ２１は、ユーザによって特定された複数の画像（検索画像
）が選択されると（ＳＴＡＲＴ）、その複数の検索画像に対応する複数の検索画像データ
および検索条件を特定する（ステップＳ１０）。複数の検索画像データは、たとえば、記
憶装置１３に格納されている複数の画像データＤであり、ユーザによって不図示の操作部
を介して選択される。

ＣＰＵ２１は、検索処理要求（検索クエリー）として、複数の検索画像データおよびそ
の検索条件を示す情報をサーバー１に送信する（ステップＳ１１）。具体的には、入出力
インターフェース２４、ネットワーク３を介してサーバー１に送信される。

サーバー１のＣＰＵ１１は、ステップＳ１１の複数の検索画像データおよび検索条件を
示す情報を含む画像検索処理要求をクライアント端末２から受信すると、画像検索プログ
ラムＳＰ１を実行する。具体的には、ＣＰＵ１１は、画像検索プログラムＳＰ１の検索画
像取得モジュールＳＭ１１を実行して、複数の検索画像データを取得する（ステップＳ１
２）。具体的には、入出力インターフェース１４を介して複数の検索画像データがサーバ
ー１内に取り込まれ、メモリー１２に格納される。

ＣＰＵ１１は、ステップＳ１２が完了すると、検索条件設定モジュールＳＭ１２を実行
して、検索処理要求に含まれる検索条件を示す情報に応じた検索条件を設定する。（ステ
ップＳ１３）。具体的には、検索条件設定モジュールＳＭ１２により、検索条件が上述し
た第１設定条件なのか第２設定条件であるのかを判定する。なお、ステップＳ１２とステ
ップＳ１３の処理については前後が逆であっても構わない。

ＣＰＵ１１は、ステップＳ１３が完了すると、検索特徴量算出モジュールＳＭ１４を実
行して、類似画像を検索する際に使用する特徴量を、ステップＳ１３で設定された検索条
件に応じて算出する（ステップＳ１４）。

ＣＰＵ１１は、ステップＳ１４が完了すると、類似画像検索モジュールＳＭ１５を実行
する。類似画像検索モジュールＳＭ１５は、画像データベース１３Ａを参照し、ステップ
Ｓ１４で算出された特徴量から、ユーザが探している画像データと類似・一致するクラス
タおよび画像データを検索する（ステップＳ１５）。

具体的には、算出した各特徴量の値と、各クラスタに対応付けられている属性（各特徴
量の代表値）とを用いて類似するクラスタおよび画像データが検索される。なお、ユーザ
が探している画像データと類似・一致するか否かは、たとえば、ユークリッド距離、マハ
ラノビス距離といった距離算出方法によって算出された、各特徴量の値と、各クラスタに
対応付けられている代表値との間の距離、すなわち、各特徴量の値と各クラスタの代表値
によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似
・一致していると判断される。なお、これら類似度を算出するための各距離の算出手法お
よび内積の演算式は当業者にとって周知であるから説明を省略する。

また、ユーザが探している画像データと類似・一致した複数の画像データの選択方法と
しては、閾値としての距離を予め決めておいて、その閾値に含まれる画像データを選択す
る、あるいは、選択画像データ数を予め設定しておき、類似である画像データの上位から
順番に選択画像データ数までを選択するようにすればよい。

ＣＰＵ１１は、ステップＳ１５において検索された複数の画像データを、検索要求の送
信元であるクライアント端末２に対して送信する（ステップＳ１６）。

クライアント端末２のＣＰＵ２１は、ステップＳ１６の送信によって複数の画像データ
を受信すると、検索結果取得モジュールＣＭ１３を実行して、メモリー２１に格納する（
ステップＳ１７）。

ＣＰＵ２１は、ステップＳ１７を完了すると、ＷｅｂブラウザプログラムＣＰ２を実行
して、メモリー２１に格納されている複数の画像データを表示部に表示させ（ステップＳ
１８）、画像検索処理を終了する（ＥＮＤ）。

（画像検索画面例について）
図１０は、画像検索画面の一例を示す図である。図１０に示すように、表示ウィンドウ
１０１には、複数の検索画像を指定する検索画像指定領域Ｆ１１と、検索条件を指定する
検索条件指定領域Ｆ２１と、画像検索結果が表示される画像検索結果表示領域Ｆ３１と、
検索実行ボタンＦ４１とキャンセルボタンＦ４２が表示されている。

検索画像指定領域Ｆ１１では、クライアント端末２の所定のフォルダに格納されている
複数の画像データＤの画像がサムネイル形式で表示されている。そして、サムネイル形式
で表示された各画像の右隣に示すチェックボックスにチェックを入れることにより、画像
の指定を行うことができる。

検索条件指定領域Ｆ２１には、検索条件を設定する項目がそれぞれ表示されている。そ
して、検索条件の各項目の右隣に示すチェックボックスにチェックを入れることにより、
検索条件の指定を行うことができる。なお、この表示例の場合、人物の画像検索を行うも
のであるため、検索条件として「すべての人物」、「特定の人物」という項目表示となっ
ているが、人物以外の画像検索の場合には、表示を「すべての物」、「特定の物」など適
宜表示を変更すればよい。

画像検索結果表示領域Ｆ３１には、検索画像指定領域Ｆ１１および検索条件指定領域Ｆ
２１に入力された条件のもと、検索実行ボタンＦ４１がユーザにより押下されると、図９
に示した画像検索処理が実行され、その実行結果が表示される。なお、左上から右方向へ
順番にユーザが探している画像データと類似・一致する画像データがサムネイル形式で表
示される。なお、この表示例では、検索画像を変更、または検索条件を変更したい場合に
は、それらの変更を行った後に、検索実行ボタンＦ４１を再度ユーザが押下することで、
それらの変更が反映された検索結果が表示される。

（実施の形態の効果）
以上のように、本実施の形態におけるサーバー１では、検索画像取得モジュールＳＭ１
１が複数の画像データを取得し、類似画像検索モジュールＳＭ１５が、複数の画像データ
それぞれに含まれるオブジェクトが写っている画像データを検索する、あるいは複数の画
像データに共通して含まれる所定のオブジェクトが写っている画像データを検索するもの
であり、検索条件設定モジュールＳＭ１３によって、複数の画像データに基づく画像検索
結果として出力を、上述のいずれか一方の出力から他方の出力へと切り替えることが可能
であるため、単一の画像データからは得ることのできない、複数の画像データから得られ
る検索条件が反映された画像検索結果を出力させることができる。つまり、図１７および
図１８に示したようなユーザが所望する画像データを容易に検索結果として出力させるこ
とができる。また、複数の画像データから得られる検索条件についても切り替えることが
できるので、図１７および図１８に示したようなユーザの要望それぞれに対して所望の検
索結果を容易に出力させることが可能である。

〔変形例について〕
なお、上記実施形態は例示に過ぎず、本発明は、以下に例示するもの（各変形例同士の
組み合わせも含む）、それ以外の他の実施態様も含むものである。

（変形例１）
たとえば、複数の画像データに含まれる所定のオブジェクトの構図、位置関係または背
景色のいずれか１つを少なくとも指定することができるようにしてもよい。

図１１は、変形例１の画像検索画面の一例を示す図である。なお、図１０に示す表示例
と同一機能の部分についての同一の符号を付して説明は省略する。表示ウィンドウ１０１
の検索条件を指定する検索条件指定領域Ｆ２１には、検索イメージ画像作成ボタンＢ２２
が表示されている。このボタンＢ２２を押下すると、別ウィンドウが表示され、検索クエ
リとしての画像データに含まれる所定のオブジェクトの構図、位置関係または背景色のい
ずれか１つを少なくとも指定することができる。

図１２は、図１１に示す検索イメージ画像作成ボタンＢ２２が押下されると新たに表示
される画面例を示す図である。図１２に示すように、表示ウィンドウ２０１には、イメー
ジ画像キャンパスＦ５１と、使用領域選択領域Ｆ６１と、背景色選択領域Ｆ７１と、完了
ボタンＢ２３と、キャンセルボタンＢ２４とが表示されている。

図１３にイメージ画像作成手順の具体例を示す。ユーザは、マウスなどのポインティン
グデバイスを用い、図１２に示す使用領域選択領域Ｆ６１に表示される画像から使用領域
をドラッグして選択する。そして、イメージ画像キャンパスＦ５１にその使用領域をドロ
ップして所望の位置に配置させる。なお、配置した使用領域のサイズ調整をマウスの操作
ですることも可能である。さらにユーザは、背景色選択領域Ｆ７１を操作してイメージ画
像キャンパスＦ５１の背景色を指定し、完了ボタンＢ２３を押下すると、オブジェクトの
構図、位置関係または背景色が指定される。図１３に示す例では、プリンター画像が左側
に位置し、人物画像が右側に位置する関係となるような画像、および背景色が指定される
。なお、背景色に関しては、ハッチングで表示しているが、実際には指定した色が背景に
表示される。そして、図１２の完了ボタンＢ２３が押下されると、そのイメージ画像から
読み取れるオブジェクトの構図、位置関係、または背景色が検索条件として設定されて、
画像検索処理が行われ、画像検索結果は、図１０に示した画像検索結果表示領域Ｆ３１に
表示される。

図１２および図１３に示したように、ユーザが所望する画像データの中でも、画像デー
タ内のオブジェクトの構図、位置関係、背景色を検索条件として設定できるので、ユーザ
の要望をより正確に満たす検索結果を出力させることができる。

（変形例２）
また、図１４に示すように、画像検索結果表示領域Ｆ３１に、仮の画像検索結果をプレ
ビュー表示させるようにしてもよい。その場合、たとえば、類似画像検索モジュールＳＭ
１５が、１つの検索画像データが設定された場合、その検索画像データについて類似画像
検索処理を実行し、クライアント端末２のＷｅｂブラウザプログラムＣＰ２によりプレビ
ュー表示させ、更にもう一つの検索画像データが設定された場合に、類似画像検索モジュ
ールＳＭ１５が現在の類似画像で抽出されている母集団から、検索条件を満たす類似画像
に絞り込んで、クライアント端末２のＷｅｂブラウザプログラムＣＰ２によりその結果を
表示させるようにしてもよい。また、類似画像検索モジュールＳＭ１５が、複数の検索画
像データの組み合わせが変更される都度、その検索設定条件に従った画像検索処理を実行
し、その検索実行結果の一部または全部を仮の画像検索結果としてクライアント端末２の
ＷｅｂブラウザプログラムＣＰ２によりプレビュー表示させてもよい。

このようなプレビュー表示機能を有することで、指定された画像データに応じてどのよ
うな検索結果が出力されるのかをユーザが確認しながら、所望の画像データの検索作業を
行うことが可能となる。

（変形例３）
また、図１５に示すように、ユーザにより設定された複数の画像データが、同一の画像
データである場合、同一の画像データに含まれるオブジェクトの個数をカウントし、その
カウントされた個数分のオブジェクトが含まれる画像データを検索結果として出力するよ
うにしてもよい。なお、検索条件指定領域Ｆ２１Ａに示すように、オブジェクトの個数を
直接指定できる項目を設け、この項目のチェックボックスにチェックを入れることで、個
数を指定できるようにしてもよい。

（請求項４の効果）
このような検索処理機能を有することで、画像検索装置を上述の構成とすることで、た
とえば、ユーザが単一のオブジェクトが写っている画像データは所有しているが、複数の
同一のオブジェクトが写っている画像データを捜している場合、所望の画像データを容易
に検索することができる。

（変形例４）
また、図１６に示すように、画像検索結果表示領域Ｆ３１Ｂと画像検索結果表示領域Ｆ
３１Ｃを設けて、第１検索条件に基づく画像検索結果を画像検索結果表示領域Ｆ３１Ｂに
表示させると共に、第２検索条件に基づく画像検索結果を画像検索結果表示領域Ｆ３１Ｃ
に表示させるようにしてもよい。すなわち、複数の検索画像データそれぞれに含まれるオ
ブジェクトが全て含まれる画像データを検索した場合と、複数の検索画像データに共通し
て含まれるオブジェクトのみを有する画像データを検索した場合の両方をそれぞれの検索
結果として自動的に表示させるようしてもよい。

このように両方の検索結果を自動的に表示させることで、ユーザに２つの検索結果を表
示させて、探している画像がどちらなのかを直接確認してもらう方が、画像検索操作に不
慣れなユーザにとっては親切な設計になる。

なお、第２検索条件に限って、更に、以下のような機能を持たせてもよい。すなわち、
一つの検索画像データがユーザによって選択された際に、類似する画像を画像検索結果表
示領域Ｆ３１に提示し、それらの中から、探している画像に類似しているものを選択して
もらい、元々設定されていた１つの検索画像データとその選択された画像データの組み合
わせに応じて画像検索処理結果を出力するようにしてもよい。その場合、既に設定された
１つ検索画像データと、選択された画像データとの共通した特徴点を更に抽出し、それら
の特徴点に基づく画像検索結果を出力すればよい。

このような機能を有することで、ユーザが探している画像について、共通する要素を有
する画像データの組み合わせを用いて、効果的な画像検索結果を出力させることが可能と
なる。

（変形例５）
上述した画像検索装置では、第１検索条件および第２検索条件に基づく画像検索機能を
有し、これらを切り替え可能に構成したが、これらのいずれか１つの機能のみを有する画
像検索装置であってもよい。そのような画像検索装置であっても、図１７または図１８の
いずれか１つに示したようなユーザが所望する画像データを容易に出力させることができ
る。

Ａ…画像データ
Ｂ…画像データ
Ｃ…画像データ
Ｄ…画像データ
Ｅ…画像データ
Ｆ…画像データ
Ｂ２２…検索イメージ画像作成ボタン
Ｂ２３…完了ボタン
Ｂ２４…キャンセルボタン
ＣＰ１…画像検索要求プログラム
ＣＰ２…Ｗｅｂブラウザプログラム
ＣＭ１１…画像特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
Ｆ１１…検索画像指定領域
Ｆ２１…検索条件指定領域
Ｆ２１Ａ…検索条件指定領域
Ｆ３１…画像検索結果表示領域
Ｆ３１Ｂ…画像検索結果表示領域
Ｆ３１Ｃ…画像検索結果表示領域
Ｆ４１…検索実行ボタン
Ｆ４２…キャンセルボタン
Ｆ５１…イメージ画像キャンパス
Ｆ６１…使用領域選択領域
Ｆ７１…背景色選択領域
ＳＰ１…画像検索プログラム（プログラムの一例）
ＳＭ１１…検索画像取得モジュール（画像取得手段の一例）
ＳＭ１２…画像検索モジュール
ＳＭ１３…検索条件設定モジュール（検索条件指定手段の一例）
ＳＭ１４…検索特徴量算出モジュール
ＳＭ１５…類似画像検索モジュール（第１の画像検索手段、第２の画像検索手段、検索
画像プレビュー手段の一例）
１…サーバー（画像検索装置の一例）
２…クライアント端末
１１…ＣＰＵ
１２…メモリー
１３…記憶装置
１３…画像データベース
１４…入出力インターフェース
２１…ＣＰＵ
２２…メモリー
２３…記憶装置
２４…入出力インターフェース
１０１…表示ウィンドウ
２０１…表示ウィンドウ

Claims (3)

1. 複数の検索対象画像データを取得する画像取得手段と、
   前記画像取得手段により取得された前記複数の検索対象画像データのそれぞれに含まれるオブジェクトを全て含んでいる画像データを検索するための設定をする第１の検索条件設定手段と、
   前記画像取得手段により取得された前記複数の検索対象画像データに共通して含まれるオブジェクトを含んでいる画像データを検索するための設定をする第２の検索条件設定手段と、
   前記第１の検索条件設定手段の設定、または、前記第２の検索条件設定手段の設定にしたがって画像データを検索する画像検索手段と、
   前記画像検索手段の検索結果を出力する検索結果出力手段と、を備え、
   前記画像取得手段により取得された前記複数の検索対象画像データが、同一の検索対象画像データである場合、前記画像検索手段は、前記複数の検索対象画像データのそれぞれに含まれるオブジェクトの個数をカウントし、カウントされた個数分の前記オブジェクトが含まれる画像データを検索する
   ことを特徴とする画像検索装置。
2. 画像検索装置が、画像データを検索する画像検索方法であって、
   複数の検索対象画像データを取得する画像取得ステップと、
   前記画像取得ステップにより取得された前記複数の検索対象画像データのそれぞれに含まれるオブジェクトを全て含んでいる画像データを検索するための設定をする第１の検索条件設定ステップと、
   前記画像取得ステップにより取得された前記複数の検索対象画像データに共通して含まれるオブジェクトを含んでいる画像データを検索するための設定をする第２の検索条件設定ステップと、
   前記第１の検索条件設定ステップの設定、または、前記第２の検索条件設定ステップの設定にしたがって画像データを検索する画像検索ステップと、
   前記画像検索ステップの検索結果を出力する検索結果出力ステップと、を有し、
   前記画像取得ステップにより取得された前記複数の検索対象画像データが、同一の検索対象画像データである場合、前記画像検索ステップは、前記複数の検索対象画像データのそれぞれに含まれるオブジェクトの個数をカウントし、カウントされた個数分の前記オブジェクトが含まれる画像データを検索する
   ことを特徴とする画像検索方法。
3. コンピューターを、
   複数の検索対象画像データを取得する画像取得手段と、
   前記画像取得手段により取得された前記複数の検索対象画像データのそれぞれに含まれるオブジェクトを全て含んでいる画像データを検索するための設定をする第１の検索条件設定手段と、
   前記画像取得手段により取得された前記複数の検索対象画像データに共通して含まれるオブジェクトを含んでいる画像データを検索するための設定をする第２の検索条件設定手段と、
   前記第１の検索条件設定手段の設定、または、前記第２の検索条件設定手段の設定にしたがって画像データを検索する画像検索手段と、
   前記画像検索手段の検索結果を出力する検索結果出力手段、として機能させ、
   前記画像取得手段により取得された前記複数の検索対象画像データが、同一の検索対象画像データである場合、前記画像検索手段は、前記複数の検索対象画像データのそれぞれに含まれるオブジェクトの個数をカウントし、カウントされた個数分の前記オブジェクトが含まれる画像データを検索する
   ことを特徴とするプログラム。

Images