JP2018142074A - 特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラム - Google Patents

Abstract

【課題】回転やスケール以外の加工処理（例えば、トリム、ぼかし、ノイズ、色の変更、明るさの変更、コントラストの変更、文字や図形の重ね書きなど）が１種類または複数種類加えられた画像データについて、加えられた加工処理の種類やその数が不明な状態であっても高い精度で類似する画像データを検索できるような特徴量ベクトルを抽出する。【解決手段】入力された画像データから、前記データの特徴を示す特徴量ベクトルを算出する特徴量算出装置であって、画像データの入力を受け付ける画像受付手段と、画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記画像データから前記抽出方法ごとに特徴量ベクトルを抽出する特徴量抽出手段、を備える特徴量算出装置が提供される。【選択図】図１

Description

本発明は、画像データから、当該データの特徴を示す特徴量ベクトルを算出する特徴量算出装置、特徴量算出方法及びプログラムに関するものである。また、算出した特徴量ベクトルを用いた画像類似度判定装置、画像検索装置に関するものである。

大量の画像データの中から目的の画像を探す手段として、検索したい画像データを入力し、画像データから抽出される特徴量ベクトルに基づいて画像の類似度を評価し、類似している画像データを検索するやり方が知られている。この特徴量ベクトルの抽出については、ＳＩＦＴ（Scale Invariant Feature Transformation）、ＳＵＲＦ（Speed Upped Robust Feature）、ＯＲＢ（Oriented BRIEF）など、これまでにいくつかの方法が提案されている（例えば、非特許文献１）。また、検索したい画像データに回転やスケールの変更があった場合にも、高い検索精度で実行できる特徴量ベクトルの抽出方法が開示されている（例えば、特許文献１）。

特許第５８１９１５８号公報

Ｄ．Ｇ．Ｌｏｗｅ，"Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ-Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．６０， Ｎｏ．２， ９１−１１０ （２０４）．

しかしながら、回転やスケール以外の変更、例えば、トリム、コントラストや明るさの変更、ぼかし、ノイズ、色の変更、文字や図形の重ね書きなどの加工処理が１種類または複数種類加えられた画像データについて、加えられた加工処理の種類やその数が不明な状態であっても高い精度で類似する画像データを検索できるような特徴量ベクトルを抽出する方法がなかった。

そこでこの発明は、上述の課題を解決することのできる特徴量算出装置、画像類似度判定装置、画像検索装置、特徴量算出方法及びプログラムの提供を目的としている。

本発明の第１の態様によれば、特徴量算出装置は、画像データの入力を受け付ける画像受付手段と、画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記画像受付手段が受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する特徴量抽出手段、を備える。
このような構成により、複数の加工処理それぞれの観点から、ある画像データの特徴を表す特徴量ベクトルを抽出することができる。

本発明の第２の態様によれば、前記加工処理の種類ごとに予め定められた抽出方法は、当該加工処理によって変化しない特徴量ベクトルを画像データから抽出する抽出方法である。

本発明の第３の態様によれば、前記加工処理の種類が、画像データの回転、スケールの変更、縦横比の変更、部分切り出し、色調変化、モノクロ化、図形重ね書き、文字重ね書き、トリム、明るさの変更、コントラストの変更、ぼかし、ノイズのうちの少なくとも２つである。
第２の態様または第３の態様によれば、加工処理ごとにその加工処理の影響を受けにくい特徴量ベクトルを抽出することができる。

本発明の第４の態様によれば、画像類似度判定装置は、入力されたクエリ画像データと、参照画像データとの間の類似度を判定する画像類似度判定装置であって、上記の何れか１つに記載の特徴量算出装置を用いて、前記参照画像データから前記抽出方法ごとの特徴量ベクトルを抽出する参照用特徴量抽出手段と、上記の何れか１つに記載の特徴量算出装置を用いて、前記クエリ画像データから前記抽出方法ごとの特徴量ベクトルを抽出するクエリ用特徴量抽出手段と、前記クエリ画像データから得られる複数の特徴量ベクトルと前記参照画像データから得られる複数の特徴量ベクトルとに基づいて、前記クエリ画像データと前記参照画像データの類似度を算出する類似度算出手段と、算出された前記類似度に基づいて、前記クエリ画像データと前記参照画像データの類似度を判定する類似度判定手段と、を備える。
このような構成により、対象とする２つの画像データのうち一方が、他方の画像データに対して１つまたは複数種類の加工処理が施された画像データである場合であっても、２つの画像データ間の類似度を判定することができる。

本発明の第５の態様によれば、前記類似度算出手段は、前記クエリ画像データおよび前記参照画像データから前記抽出方法のうち同じ抽出方法を用いて抽出した特徴量ベクトル同士の類似度を算出し、当該算出した複数の抽出方法それぞれに対応する類似度に基づいて、前記クエリ画像データと前記参照画像データの類似度を算出する。
このように複数の加工処理ごとの特徴量ベクトル同士の類似度を組み合わせて、画像データ間の類似度を算出する構成とすることで、前記類似度算出手段は、複数の加工処理に対応した類似度を算出することができる。

本発明の第６の態様によれば、画像検索装置は、複数の参照画像データの中から、入力されたクエリ画像データに類似する参照画像データを検索する画像検索装置であって、前記複数の参照画像データの各々と前記クエリ画像データとの間の類似度を判定する上記の何れか１つに記載の画像類似度判定装置と、前記画像類似度判定装置が判定した類似度に基づいて、前記複数の参照画像データの中から前記クエリ画像データに類似する画像データの候補を抽出する類似画像抽出手段と、を備える。
このような構成により、複数の参照画像データの中から、クエリ画像データに類似する画像データを抽出することができる。

本発明の第７の態様によれば、特徴量算出方法は、画像データの入力を受け付ける画像受付工程と、画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する特徴量抽出工程と、を有する。

本発明の第８の態様によれば、特徴量処理プログラムは、コンピュータを、画像データの入力を受け付ける手段、画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する手段、として機能させる。

本発明の特徴量算出装置によれば、画像データに加えられた加工処理の種類やその数に依存せずに用いることができるその画像データの特徴量ベクトルを抽出することが可能となる。

本発明の実施形態に係る画像検索システムのシステム構成の一例を示す図である。 本発明の実施形態に係る画像検索システムのハードウエア構成の一例を示す図である。 本発明の実施形態に係る記憶装置が記憶する各種テーブルの一例を示す図である。 本発明の実施形態に係る特徴量算出装置の処理の流れの一例を示すフローチャートである。 本発明の実施形態に係る特徴量ベクトルの一例を示す図である。 本発明の実施形態に係る画像検索システムの処理の流れの一例を示すフローチャートである。 本発明の実施形態に係る記憶装置が記憶するテーブルの他の例を示す図である。

以下では、本発明の一実施形態について、図面を用いて詳細に説明する。
（システム構成）
図１は、本発明の実施形態に係る画像検索システムの構成を示すシステム構成の一例を示す図である。
画像検索システム１００は、大量の参照画像データの中から、クエリ画像データに類似する画像データを検索する。この類似性の判断は、画像データの特徴量ベクトルを比較することにより行う。
図１によれば、画像検索システム１００は、参照画像データやその参照画像データの特徴量ベクトル等をデータベース化して記憶する記憶装置３００と、記憶装置３００上のデータベースを管理するとともに、当該データベースの検索等を可能とする管理コンピュータ２００とを含んで構成される。また、管理コンピュータ２００には、記憶装置３００が接続されている。さらに、この管理コンピュータ２００には、例えばインターネット等のネットワークを介して端末４００Ａ、４００Ｂ、４００Ｃ、４００Ｄと接続されている。端末４００Ａ等は、管理コンピュータ２００へアクセスすることができる。例えば、端末４００Ａからユーザがクエリ画像データを入力すると、管理コンピュータ２００は、複数の参照画像データの中からクエリ画像データに類似した画像データを抽出する。ユーザは、管理コンピュータ２００によって抽出されたクエリ画像データに類似する参照画像データの候補を、端末４００Ａから確認することができる。

管理コンピュータ２００は、特徴量ベクトル抽出部２１０、画像受付部２２０、類似度算出部２３０、および類似度判定部２４０と、結果出力部２５０と、を備える。
画像受付部２２０は、例えばイメージスキャナーやデジタルカメラなどの画像入力手段を用いた参照画像データの入力、あるいは外部記憶装置内に保管されている参照画像データのネットワーク等の通信を介した通信入力手段を用いた入力、を受け付ける。あるいは、画像受付部２２０は、例えば、マウス、キーボード、タッチパネル等の各種入力手段を用いた参照画像データの入力を受け付けてもよい。画像受付部２２０は、受け付けた参照画像データを記憶装置３００の参照データ記憶部３１０に格納する。
特徴量ベクトル抽出部２１０は、記憶装置３００の参照データ記憶部３１０に格納されている参照画像データから、予め登録された複数の特徴量ベクトル抽出方法を用いて、参照画像データに関する特徴量ベクトルを複数抽出する。複数の特徴量ベクトルの各々は、複数の特徴量ベクトル抽出方法のうち、各々の特徴量ベクトルに対応する特徴量ベクトル抽出方法によって抽出されたものである。特徴量ベクトル抽出部２１０は、抽出したそれら複数の特徴量ベクトルを記憶装置３００の参照データ記憶部３１０に格納する。

また、画像受付部２２０は、各種入力手段を用いたクエリ画像データの入力を受け付ける。画像受付部２２０は、受け付けたクエリ画像データを記憶装置３００のクエリデータ記憶部３２０に格納する。
特徴量ベクトル抽出部２１０は、記憶装置３００のクエリデータ記憶部３２０に格納されているクエリ画像データから、予め登録された複数の特徴量ベクトル抽出方法を用いて、前記クエリ画像データに関する特徴量ベクトルを複数抽出する。複数の特徴量ベクトルの各々は、複数の特徴量ベクトル抽出方法のうち、各々の特徴量ベクトルに対応する特徴量ベクトル抽出方法よって抽出されたものである。特徴量ベクトル抽出部２１０は、抽出したそれら複数の特徴量ベクトルを記憶装置３００のクエリデータ記憶部３２０に格納する。

類似度算出部２３０は、記憶装置３００のクエリデータ記憶部３２０に格納されているクエリ画像データの複数の特徴量ベクトルと、記憶装置３００の参照データ記憶部３１０に格納されている参照画像データの複数の特徴量ベクトルとに基づいて、クエリ画像データに対する参照画像データの類似度を算出する。類似度算出部２３０は、算出した参照画像データごとの類似度を参照画像データの識別子と対応付けて記憶装置３００の類似度データ記憶部３３０に格納する。
類似度判定部２４０は、記憶装置３００の類似度データ記憶部３３０に格納されているクエリ画像データに対する参照画像データの類似度に基づいて、全ての参照画像データとクエリ画像データの類似度を判定する。また、類似度判定部２４０は、判定の結果に基づいて、全ての参照画像データの中からクエリ画像データに類似する画像データの候補を抽出し、結果出力部２５０に出力する。結果出力部２５０は抽出された画像データの候補を出力する。

（ハードウエア構成）
一実施形態に係る管理コンピュータ２００は、例えば一般的なコンピュータ５００を用いて実現することができる。図２にコンピュータ５００の構成の一例を示す。
図２は、本発明の実施形態に係る画像検索システムのハードウエア構成の一例を示す図である。
コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＡＭ（Random Access Memory）５０２、ＲＯＭ（Read Only Memory）５０３、ストレージ装置５０４、外部Ｉ／Ｆ（Interface）５０５、入力装置５０６、出力装置５０７、通信Ｉ／Ｆ５０８等を有する。これらの装置はバスＢを介して相互に信号の送受信を行う。

ＣＰＵ５０１は、ＲＯＭ５０３やストレージ装置５０４等に格納されたプログラムやデータをＲＡＭ５０２上に読み出し、処理を実行することで、コンピュータ５００の各機能を実現する演算装置である。ＲＡＭ５０２は、ＣＰＵ５０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ５０３は、電源を切ってもプログラムやデータを保持する不揮発性のメモリである。ストレージ装置５０４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等により実現され、ＯＳ（Operation System）、アプリケーションプログラム、及び各種データ等を記憶する。外部Ｉ／Ｆ５０５は、外部装置とのインタフェースである。外部装置には、例えば、記録媒体５０９等がある。コンピュータ５００は、外部Ｉ／Ｆ５０５を介して、記録媒体５０９の読取り、書き込みを行うことができる。記録媒体５０９には、例えば、光学ディスク、磁気ディスク、メモリカード、ＵＳＢ（Universal Serial Bus）メモリ等が含まれる。

入力装置５０６は、例えば、マウス、及びキーボード等で構成され、操作者の指示を受けてコンピュータ５００に各種操作等を入力する。出力装置５０７は、例えば、液晶ディスプレイにより実現され、ＣＰＵ５０１による処理結果を表示する。通信Ｉ／Ｆ５０８は、有線通信又は無線通信により、コンピュータ５００をインターネット等のネットワークに接続するインタフェースである。バスＢは、上記各構成装置に接続され、制御装置間で各種制御信号等を送受信する。

次に図３を用いて、記憶装置３００が記憶する各テーブルについて説明する。
図３は、本発明の実施形態に係る記憶装置が記憶する各種テーブルの一例を示す図である。
図３（ａ）に示す記憶装置３００の参照データ記憶部３１０が記憶する参照データ管理テーブル６００は、各参照画像データを、当該参照画像データに割り当てられている画像識別子、および当該参照画像データの特徴量ベクトルと対応付けて記憶するテーブルである。
例えば図３（ａ）の１行目のデータは、参照画像データ「Ｐ０００１」の画像識別子は「＃００００１」であり、参照画像データ「Ｐ０００１」に関する特徴量ベクトル「ＶＡ００００１」は特徴量ベクトル抽出部２１０が「抽出方法ａ」によって抽出した特徴量ベクトルであることを示す。同様に図３（ａ）の１行目のデータのうち「ＶＢ００００１」、「ＶＣ００００１」は、それぞれ特徴量ベクトル抽出部２１０が「抽出方法ｂ」、「抽出方法ｃ」によって抽出した特徴量ベクトルであることを示す。

ここで、抽出方法ａとは、例えば、画像データに対する加工処理「トリム」に対応する抽出方法である。加工処理「トリム」に対応する抽出方法ａとは、加工処理「トリム」により変化しない特徴量ベクトルを抽出できることが分かっている処理である。抽出方法ａは、例えば、ＳＩＦＴ、ＣＮＮ（Convolutional Neural Network)等の公知の方法であってもよい。また、ユーザがある画像データαに対してトリムを行う場合、その画像データαの重要な部分だけを残して、残りをトリムすることが多いと考えられる。画像データαの重要な部分が画像データαの中央部分に存在すると仮定すると、抽出方法ａは、例えば、ＳＩＦＴ等の方法により算出された画像データαの特徴量ベクトルについて、画像データαの中央部分から抽出した特徴量ベクトルに対してはより大きな重みを付け、周縁部から抽出した特徴量ベクトルに対しては小さな重みを付して抽出方法ａによる特徴量ベクトルとする抽出方法であってもよい。なお、ある加工処理により変化しない（影響を受けない）特徴量ベクトルとは、加工処理の前後で完全に一致することを要する特徴量ベクトルの意味に限定されず、加工処理の前後で抽出される２つの特徴量ベクトルの差が、所定の所要範囲内に含まれることを意味する。

また、例えば、抽出方法ｂとは、抽出方法ｂが画像データαに対する加工処理「図形追加」に対応する抽出方法であるとした場合、加工処理「図形追加」を行っても変化しない特徴量ベクトルを抽出する処理である。例えば、画像データの一部の領域の特徴量ベクトルだけが変化し、残りの領域については変化がないことが加工処理「図形追加」の特徴であるとすると、抽出方法ｂは、特徴量ベクトルの変化がない領域に比べ、特徴量ベクトルの変化が大きい一部の領域の特徴量ベクトルには小さな重みを付けて抽出方法ｂによる特徴量ベクトルとする抽出方法であってもよい。
同様に抽出方法ｃが画像データαに対する加工処理「明るさの変更」に対応する抽出方法であるとした場合、抽出方法ｃは、明るさの変更によって変化しない特徴量ベクトルを抽出する処理である。このように本実施形態では、特徴量ベクトル抽出部２１０が加工処理ごとにその加工処理によって影響されない特徴量ベクトル、換言すればその加工処理に強い特徴量ベクトルを抽出する処理方法を有している。

特徴量ベクトル抽出部２１０は、ユーザが端末４００Ａ等に入力した参照画像データ「Ｐ００００１」について、加工処理ａに対応する抽出方法ａを用いて、加工処理ａに強い特徴量ベクトル「ＶＡ００００１」を抽出する。特徴量ベクトル抽出部２１０は、「ＶＡ００００１」を、記憶装置３００の参照データ記憶部３１０に格納する。抽出方法ｂ、ｃについても同様である。
このように参照データ記憶部３１０の参照データ管理テーブル６００には、ユーザが入力した参照画像データについての複数の加工処理ごとの特徴量ベクトルが格納される。

図３（ｂ）に示す記憶装置３００のクエリデータ記憶部３２０が記憶するクエリデータ管理テーブル６１０は、クエリ画像データを、当該クエリ画像データに割り当てられている画像識別子、および当該クエリ画像データの特徴量ベクトルと対応付けて記憶するテーブルである。例えば、このテーブルは、クエリ画像毎に算出されるテーブルである。
例えば図３（ｂ）のデータは、クエリ画像データ「ＱＰ０００１」の画像識別子は「Ｑ＃００００１」であり、クエリ画像データ「ＱＰ０００１」に関する特徴量ベクトル「ＱＶＡ００００１」は特徴量ベクトル抽出部２１０が「抽出方法ａ」によって抽出した特徴量ベクトルであることを示す。同様に図３（ｂ）のデータのうち「ＱＶＢ００００１」、「ＱＶＣ００００１」はそれぞれ、特徴量ベクトル抽出部２１０が「抽出方法ｂ」、「抽出方法ｃ」によって抽出した特徴量ベクトルであることを示す。

特徴量ベクトル抽出部２１０は、ユーザが端末４００Ａ等に入力した参照画像データ「ＱＰ００００１」について、加工処理ａに対応する抽出方法ａを用いて、加工処理ａに強い特徴量ベクトル「ＱＶＡ００００１」を抽出する。この抽出方法ａは、図３（ａ）で説明した抽出方法ａと同じ抽出処理である。特徴量ベクトル抽出部２１０は、「ＱＶＡ００００１」を、記憶装置３００のクエリデータ記憶部３２０に格納する。抽出方法ｂ、ｃについても同様である。
このようにクエリデータ記憶部３２０のクエリデータ管理テーブル６１０には、ユーザが入力したクエリ画像データについて、複数の加工処理ごとの特徴量ベクトル（各々は参照画像データと同様の抽出処理によって抽出される）が格納される。

図３（ｃ）に示す記憶装置３００の類似度データ記憶部３３０が記憶する類似度データ管理テーブル６２０は、各参照画像データに割り当てられている画像識別子と、クエリ画像データに対する前記参照画像データの類似度とを対応付けて記憶するテーブルである。例えば、このテーブルは、クエリ画像毎に算出されるテーブルである。
図３（ｃ）のデータは、図３（ａ）に例示する参照画像データ「Ｐ００００１」〜「Ｐ００００３」と図３（ｂ）に例示するクエリ画像データ「ＱＰ００００１」との類似度を示す。例えば、図３（ｃ）の１行目データは、クエリ画像データ「ＱＰ００００１」と参照画像データ「Ｐ００００１」（画像識別子：＃００００１）の類似度は「Ｘ００００１」であることを示す。
類似度算出部２３０は、参照データ管理テーブル６００が記憶する参照画像データ「Ｐ００００１」の抽出方法ごとの特徴量ベクトル「ＶＡ００００１」、「ＶＢ００００１」、「ＶＣ００００１」とクエリデータ管理テーブル６１０が記憶する抽出方法ごとの特徴量ベクトル「ＱＶＡ００００１」、「ＱＶＢ００００１」、「ＱＶＣ００００１」とを用いて類似度「Ｘ００００１」を算出する。具体的には、まず、類似度算出部２３０は、同じ種類の抽出方法によって抽出された特徴量ベクトル同士を比較して、類似度を算出する。例えば、類似度算出部２３０は、抽出方法ａによる参照画像データの特徴量ベクトル「ＶＡ００００１」と抽出方法ａによるクエリ画像データの特徴量ベクトル「ＱＶＡ００００１」の類似度を、例えば、それら２つのベクトルのコサイン類似度により算出する。コサイン類似度によって算出された類似度は、０から１の間の値を取り、その値が１に近い程、２つのベクトルが類似していることを示す。なお、類似度の算出方法はコサイン類似度に限定されず他の方法であってよい。例えば、ベクトル間のユークリッド距離を求めて、距離が近い程、類似度が高いとしてもよい。また、類似度算出部２３０は、抽出方法ｂによる参照画像データの特徴量ベクトル「ＶＢ００００１」と抽出方法ｂによるクエリ画像データの特徴量ベクトル「ＱＶＢ００００１」との類似度を算出し、抽出方法ｃによる参照画像データの特徴量ベクトル「ＶＣ００００１」と抽出方法ｃによるクエリ画像データの特徴量ベクトル「ＱＶＣ００００１」との類似度を算出する。次に、類似度算出部２３０は、これら抽出方法ａ〜ｃごとに算出した類似度に基づいて、参照画像データ「Ｐ００００１」とクエリ画像データ「ＱＰ００００１」との類似度「Ｘ００００１」を算出する。類似度の算出方法については、後に図５を用いて説明する。参照画像データ「Ｐ００００２」、「Ｐ００００３」についても同様である。

（処理の流れ）
次に図１の構成および図３の各種データを例に、図４を用いて参照画像データの特徴量ベクトル算出処理について説明する。
図４は、本発明の実施形態に係る特徴量算出装置の処理の流れの一例を示すフローチャートである。
前提として、ユーザが、参照画像データ「Ｐ００００１」、「Ｐ００００２」、「Ｐ００００３」を端末４００Ａに入力したとする。すると、端末４００Ａは、それら３つの画像データを管理コンピュータ２００に送信する。管理コンピュータ２００では、画像受付部２２０が、これら３つの画像データを受信し、記憶装置３００に格納する。より具体的には、画像受付部２２０は、参照画像データ「Ｐ００００１」をその画像識別子と対応付けて、参照データ管理テーブル６００に格納する。画像受付部２２０は、参照画像データ「Ｐ００００２」、「Ｐ００００３」についても同様に各々の画像識別子と対応付けて参照データ管理テーブル６００に格納する。なお、参照画像データの画像識別子については、画像受付部２２０が算出してもよいし、記憶装置３００で稼働するデータベースシステム等が算出してもよい。このように記憶装置３００に参照画像データが格納されると、例えばユーザによる指示によって、管理コンピュータ２００は、参照画像データの特徴量ベクトル抽出処理を開始する。

まず、特徴量ベクトル抽出部２１０は、参照画像データを記憶装置３００から取り込む（ステップＳ１０１）。より具体的には、特徴量ベクトル抽出部２１０は、記憶装置３００の参照データ記憶部３１０（参照データ管理テーブル６００）に格納されている３つの参照画像データ「Ｐ００００１」〜「Ｐ００００３」を読み出して取り込む。

次に特徴量ベクトル抽出部２１０は、取り込んだ参照画像データから、予め登録された複数の特徴量ベクトル抽出方法を用いて、前記参照画像データに関する複数の特徴量ベクトルを抽出する（ステップＳ１０２）。より具体的には、まず、参照画像データ「Ｐ００００１」〜「Ｐ００００３」について、特徴量ベクトル抽出部２１０は、抽出方法ａを用いて「ＶＡ００００１」〜「ＶＡ００００３」を抽出する。また、特徴量ベクトル抽出部２１０は、抽出方法ｂを用いて「ＶＢ００００１」〜「ＶＢ００００３」を抽出する。また、特徴量ベクトル抽出部２１０は、抽出方法ｃを用いて「ＶＣ００００１」〜「ＶＣ００００３」を抽出する。特徴量ベクトル抽出部２１０は、「ＶＡ００００１」〜「ＶＣ００００１」を参照画像データ「Ｐ００００１」と対応付けて参照データ管理テーブル６００に格納する。参照画像データ「Ｐ００００２」、「Ｐ００００３」についても同様である。画像検索システム１００は、図４の処理により、大量の参照画像データを受け付け、それらの特徴量ベクトルを抽出し、その結果を記憶装置３００に格納する。

次に、図５を用いて、画像データ間の類似度の算出方法について説明する。
図５は、本発明の実施形態に係る特徴量ベクトルの一例を示す図である。
特徴量ベクトル抽出部２１０が、参照画像データについて抽出した特徴量ベクトルをｘ_ａ、ｘ_ｂおよびｘ_ｃとする。また、特徴量ベクトル抽出部２１０が、参照画像データについて抽出した特徴量ベクトルをｙ_ａ、ｙ_ｂおよびｙ_ｃとする。
類似度算出部２３０は、所定の類似度算出方法（コサイン類似度等）によって、ｘ_ａとｙ_ａの類似度ｚ_ａを算出する。また、類似度算出部２３０は、所定の類似度算出方法によって、ｘ_ｂとｙ_ｂの類似度ｚ_ｂを算出し、同様にｘ_ｃとｙ_ｃの類似度ｚ_ｃを算出する。このとき、類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃを算出する類似度算出方法は、全て同じ算出方法でもよいし、加工処理ごとに全てが異なる算出方法であってもよい。
次いで、類似度算出部２３０は、これらの類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃを用いて画像データ間の類似度Ｚを算出する。例えば、類似度算出部２３０は、抽出処理別（加工処理別）に算出した類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃの合計値を算出し、これを類似度Ｚとしてもよい。あるいは、類似度算出部２３０は、加工処理ごとに適切な重みを付した類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃの加重平均を算出してこれを類似度Ｚとしてもよい。また、類似度算出部２３０は、類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃのうちの最大値を選択して、選択した値を類似度Ｚとして決定してもよい。あるいは、類似度算出部２３０は、類似度ｚ_ａ、ｚ_ｂ、ｚ_ｃの合計値と加重平均と最大値とを算出し、これらの合計を類似度Ｚとしてもよい。

このように類似度Ｚは、複数の特徴量ベクトル間の類似度を組み合わせて算出される。具体的には、類似度Ｚは、明るさ、色、コントラストなどの変更、トリム、回転、キャプション追加、図形追加などの人為的な加工のうち、一つまたは複数の加工処理が加わった画像データに対し、各加工処理によって変化することがない特徴量ベクトル同士の類似度を組み合わせた値である。このようにして得られた類似度Ｚは、例えば、複数の加工処理が施された画像データと、加工処理が施されていない元の画像データとの間の類似度の指標として用いることができる。この性質を利用すると、ある画像データβについて、多量の画像データの中から、画像データβに対して一つまたは複数の加工処理が行われた画像データを検索することができる。

次に図１の構成および図３の各種データを例に、画像データの検索処理について図６を用いて説明する。
図６は、本発明の実施形態に係る画像検索システムの処理の流れの一例を示すフローチャートである。
前提として、記憶装置３００の参照データ記憶部３１０には、図４で説明した処理によって複数の参照画像データ「Ｐ００００１」〜「Ｐ００００３」等が格納されている。ユーザは、検索対象となるクエリ画像データ「ＱＰ００００１」と検索指示情報を端末４００Ａに入力する。ここで、「ＱＰ００００１」は参照画像データ「ＱＰ００００１」に対して複数の加工処理を施した画像であるとする。端末４００Ａは、クエリ画像データ「ＱＰ００００１」を管理コンピュータ２００に送信する。管理コンピュータ２００では、画像受付部２２０が、クエリ画像データ「ＱＰ００００１」を受信し、記憶装置３００に格納する。より具体的には、画像受付部２２０は、クエリ画像データ「ＱＰ００００１」をその画像識別子と対応付けて、クエリデータ管理テーブル６１０に格納する。

すると、特徴量ベクトル抽出部２１０は、クエリ画像データ「ＱＰ００００１」の特徴量ベクトルを抽出する（ステップＳ２０１）。この処理の流れは、図４で説明したステップＳ１０１〜ステップＳ１０２と同じなので説明を省略する。特徴量ベクトル抽出部２１０は、抽出した複数の特徴量ベクトルを類似度算出部２３０へ出力する。
次に類似度算出部２３０は、クエリ画像データの複数の特徴量ベクトルと、記憶装置３００の参照データ記憶部３１０に格納されている参照画像データの特徴量ベクトルとに基づいて、クエリ画像データに対する参照画像データの類似度を抽出処理ごとに算出する。次に類似度算出部２３０は、クエリ画像データと参照画像データとの間の類似度Ｚを算出する。類似度Ｚは、クエリ画像データや参照画像データに施された一種類または複数種類の加工処理に影響されない特徴量ベクトル同士の類似度を考慮して得られる類似度である。類似度算出部２３０は、算出した類似度Ｚを、参照画像データの画像識別子に対応付けて記憶装置３００の類似度データ記憶部３３０に格納する（ステップＳ２０２）。
次に類似度判定部２４０は、記憶装置３００の類似度データ記憶部３３０に格納されているクエリ画像データに対する参照画像データの類似度Ｚに基づいて、クエリ画像データ「ＱＰ００００１」に類似する参照画像データの候補を抽出する（ステップＳ２０３）。候補の抽出方法としては、例えば、算出した類似度Ｚが所定の閾値以上ならばその参照画像データはクエリ画像データに類似していると判定する。あるいは、類似度判定部２４０は、例えば、類似度Ｚが高いものから順に上位１０件、あるいは類似度Ｚが高い上位５％を類似している画像と判定してもよい。あるいは、類似度判定部２４０は、２つの画像データの類似度Ｚを「高」、「中」、「低」などのランクに分けて判定してもよいし、８０％等の割合で判定してもよい。類似度判定部２４０は、判定結果を結果出力部２５０に出力する。結果出力部２５０は、類似している画像データの候補を端末４００Ａに送信する。ユーザは、記憶装置３００に格納されている参照画像データのうち、クエリ画像データに類似する画像データの候補を参照することができる。この例の場合、ユーザは、クエリ画像データ「ＱＰ００００１」の類似する画像データとして、加工処理前の画像データ「Ｐ００００１」を確認することができる。加工処理前の「Ｐ００００１」を確認すると、ユーザは、その「Ｐ００００１」を入手して、「Ｐ００００１」に対して新たな加工を施す等の処理を行うことができ、ユーザの利便性が向上する。

この他にも図６で説明した画像データ検索処理を利用すると様々な応用が可能である。
図７は、本発明の実施形態に係る記憶装置が記憶するテーブルの他の例を示す図である。
図７に例示するのは、参照データ管理テーブル６００の応用例である。図７に示す参照データ管理テーブル６００は、図３（ａ）で示した項目に加え「利用制限」、「ファイルパス」の各項目を有している。図４のフローチャートで説明した処理において、参照画像データを登録する際に、その参照画像データに対する利用制限に関する情報や、その参照画像データを含むドキュメントファイルのパスの情報を参照画像データと対応付けて登録する。また、図６に示す画像データの検索処理にて、結果出力部２５０は、類似度判定部２４０によって類似すると判定された参照画像データと対応付けて記憶された利用制限の情報を、類似画像の候補と共に出力する。すると、ユーザは、自分が探しているクエリ画像データに利用制限があるかどうかを把握することができる。例えば、「利用制限」の値が「無し」であればユーザは、そのクエリ画像データ、あるいは候補として提示された類似する参照画像データを自由に利用することができる。また、「利用制限」の値が「社内のみ」であれば、ユーザは、クエリ画像データ等を社内用のドキュメントにのみ利用することができる。また、「利用制限」の値が「禁止」であれば、ユーザは、そのクエリ画像データは利用禁止であることを把握することができる。このように、本実施形態の画像検索処理は、画像データの不正利用防止の目的で応用することができる。

また、図６に示す画像データの検索処理にて、結果出力部２５０は、類似画像の候補と共にその類似画像データと対応付けて記憶されたファイルパス情報を出力する。すると、ユーザは、自分が探しているクエリ画像データに類似する画像データを含むファイルが何処に存在するかを知り、入手することができる。このように、本実施形態の画像検索処理は、クエリ画像データをキーとしたファイル検索の目的で応用することができる。
なお、画像データの不正利用防止、ファイル検索の何れの場合も、ユーザがクエリ画像データを含んだファイルを端末４００Ａに入力すると、管理コンピュータ２００の画像データ抽出手段（図示せず）が、当該ファイルからファイルに含まれる画像データを抽出し、抽出した各画像データに対して、図６のステップＳ２０１〜ステップＳ２０３の処理を実行するように構成してもよい。

従来、人為的な加工を加えた画像データと、加工が加わる前の画像データとの一致・不一致を評価する場合、人手により行うことが多い。その場合、対象とする画像データの数が多いと、確認作業に多くの時間や費用が費やされたり、確認作業を行う人の熟練度により精度に差が生じたりする可能性がある。また、対象の画像データから特徴量ベクトルを抽出し、特徴量ベクトル同士の類似度によって画像データ同士の一致・不一致を評価することも行われている。しかし、対象画像が加工された画像データの場合、加工処理が加わったことにより特徴量ベクトルが変動してしまうため、加工処理前の元の画像データとの類似度の判定が正しくできないことが多い。また、画像データに対する加工処理の種類は複数存在するが、どの画像加工に対しても特徴量ベクトルが変動しない特徴量抽出処理は存在しない。これに対し、本実施形態によれば、以上説明したように、例えば、トリム、ぼかし、ノイズ、色調変化、コントラストや明るさの変更、モノクロ化、縦横比の変更、部分切り出し、文字や図形の重ね書き、回転、スケール変更などの加工処理が加えられた画像であっても、加工処理の種類を問わずに高い精度で類似度を評価するための複数の特徴量ベクトルを抽出することが可能となる。また、上で例示したような加工処理が１種類または複数種類施された加工後の画像データが存在したとして、その画像データにどのような加工処理が施されたのかは実際に加工処理を行ったユーザ以外知ることができない。本実施形態によれば、複数種類の加工処理に対応する特徴量ベクトルの抽出方法が予め用意されているので、加えられた加工処理の種類や数が不明な画像データが多数存在する状況であっても、その中から高い精度で類似する画像データを検索できるような複数の特徴量ベクトルを抽出することができる。

なお、上述した管理コンピュータ２００における各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを管理コンピュータ２００のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、管理コンピュータ２００は、１台のコンピュータで構成されていても良いし、通信可能に接続された複数のコンピュータで構成されていてもよい。

また実施形態の説明では、画像検索システム１００を例示したが、例えば、１台のコンピュータに特徴量ベクトル抽出部２１０、画像受付部２２０の各機能部を実装して特徴量算出装置として構成することも可能である。この特徴量算出装置によれば、画像データを入力すると、その画像データに対して行う加工処理の有無に関係なく、その画像データから抽出できる複数の特徴量ベクトルを抽出することができる。インターネットの発展等により加工された画像データが広く流通する社会で、流通する画像データの監視や不正な利用を防止する目的で、元の画像データについての各種の加工処理に強い特徴量ベクトルを抽出しておくことは有効である。

また、例えば、１台のコンピュータに上記の特徴量算出装置の各機能部と、類似度算出部２３０、類似度判定部２４０の各機能部を実装して画像類似度判定装置として構成することも可能である。ユーザは、クエリ画像データと、参照画像データとを画像類似度判定装置に入力する。すると、画像類似度判定装置に含まれる上記の特徴量算出装置（クエリ用特徴量抽出手段）の各機能部は連動して、クエリ画像データについての複数の特徴量ベクトルを抽出する。また、画像類似度判定装置に含まれる上記の特徴量算出装置（参照用特徴量抽出手段）の各機能部は連動して、参照画像データについての複数の特徴量ベクトルを抽出する。そして、類似度算出部２３０は、複数の特徴量ベクトルごとにクエリ画像データと前記参照画像データの類似度を算出し、さらに複数の類似度を組み合わせて２つの画像データ間の類似度Ｚを算出する。次に類似度判定部２４０は、算出された類似度Ｚに基づいて、前記クエリ画像データと前記参照画像データの類似度を判定する。この画像類似度判定装置によれば、例えば、一見しただけでは元の画像データと加工後の画像データの関係にあるかどうかが分からない２つの画像データの類似度を確認する場面などで利用することができる。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
なお、特徴量ベクトル抽出部２１０は特徴量抽出手段の一例、画像受付部２２０は画像受付手段の一例、類似度算出部２３０は類似度算出手段の一例、類似度判定部２４０は類似度判定手段の一例、類似度判定部２４０は、類似画像抽出手段の一例である。画像検索システム１００は画像検索装置の一例である。

１００・・・画像検索システム
２００・・・管理コンピュータ
２１０・・・特徴量ベクトル抽出部
２２０・・・画像受付部
２３０・・・類似度算出部
２４０・・・類似度判定部
２５０・・・結果出力部
３００・・・記憶装置
３１０・・・参照データ記憶部
３２０・・・クエリデータ記憶部
３３０・・・類似度データ記憶部
４００・・・端末
５００・・・一般的なコンピュータ
６００・・・参照データ管理テーブル
６１０・・・クエリデータ管理テーブル
６２０・・・類似度データ管理テーブル

Claims (8)

1. 画像データの入力を受け付ける画像受付手段と、
   画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記画像受付手段が受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する特徴量抽出手段、
   を備える特徴量算出装置。
2. 前記加工処理の種類ごとに定められた抽出方法は、当該加工処理によって変化しない特徴量ベクトルを画像データから抽出する抽出方法である、
   請求項１に記載の特徴量算出装置。
3. 前記加工処理の種類が、画像データの回転、スケールの変更、縦横比の変更、部分切り出し、色調変化、モノクロ化、図形重ね書き、文字重ね書き、トリム、明るさの変更、コントラストの変更、ぼかし、ノイズのうちの少なくとも２つであることを特徴とする、
   請求項２に記載の特徴量算出装置。
4. 入力されたクエリ画像データと、参照画像データとの間の類似度を判定する画像類似度判定装置であって、
   請求項１から請求項３の何れか１項に記載の特徴量算出装置を用いて、前記参照画像データから前記抽出方法ごとの特徴量ベクトルを抽出する参照用特徴量抽出手段と、
   前記特徴量算出装置を用いて、前記クエリ画像データから前記抽出方法ごとの特徴量ベクトルを抽出するクエリ用特徴量抽出手段と、
   前記クエリ画像データから得られる複数の特徴量ベクトルと前記参照画像データから得られる複数の特徴量ベクトルとに基づいて、前記クエリ画像データと前記参照画像データの類似度を算出する類似度算出手段と、
   算出された前記類似度に基づいて、前記クエリ画像データと前記参照画像データの類似度を判定する類似度判定手段と、
   を備える画像類似度判定装置。
5. 前記類似度算出手段は、前記クエリ画像データおよび前記参照画像データから前記抽出方法のうち同じ抽出方法を用いて抽出した特徴量ベクトル同士の類似度を算出し、当該算出した複数の抽出方法それぞれに対応する類似度に基づいて、前記クエリ画像データと前記参照画像データの類似度を算出する、
   請求項４に記載の画像類似度判定装置。
6. 複数の参照画像データの中から、入力されたクエリ画像データに類似する参照画像データを検索する画像検索装置であって、
   前記複数の参照画像データの各々と前記クエリ画像データとの間の類似度を判定する請求項４または請求項５に記載の画像類似度判定装置と、
   前記画像類似度判定装置が判定した類似度に基づいて、前記複数の参照画像データの中から前記クエリ画像データに類似する画像データの候補を抽出する類似画像抽出手段と、
   を備える画像検索装置。
7. 画像データの入力を受け付ける画像受付工程と、
   画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する特徴量抽出工程と、
   を有する特徴量算出方法。
8. コンピュータを、
   画像データの入力を受け付ける手段、
   画像データに対する複数の加工処理の種類ごとに予め定められた特徴量ベクトルの抽出方法を用いて、前記受け付けた画像データから前記抽出方法ごとに特徴量ベクトルを抽出する手段、
   として機能させるためのプログラム。

Images