JP2018036960A - 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体 - Google Patents

Abstract

【課題】画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度を算出する。【解決手段】画像類似度算出装置１０は、複数の画像の各画像データを取得する画像取得部２と、画像取得部により取得した入力画像Ｉｉと参照画像Ｉｊの各画像データに基づいて２つの画像間の類似度を算出する類似度算出部３と、を備え、類似度算出部３は、２つの画像について色彩に関する特徴量である平均と分散をそれぞれ算出し、入力画像Ｉｉと参照画像Ｉｊの平均と分散とを用いて入力画像Ｉｉの画素値を変換することにより、レタッチ画像Ｉｉ｜ｊの画像データを生成する色彩転写部３１と、レタッチ画像Ｉｉ｜ｊの画像データと入力画像Ｉｉの画像データとの間で画素値を用いて色彩比較して２つの画像間の類似度を算出する色彩比較部３２と、を有するよう構成した。【選択図】図３

Description

本発明は、画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体に関する。

従来より、画像間の類似度の算出方法として、平均２乗誤差やＳ／Ｎなどの基礎的な方法が知られている。さらに、他の算出方法として、画像の正規化相互相関、同じ位置の画素値の２乗の合計であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）および同じ位置の画素値の差の絶対値の合計であるＳＳＡ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等も知られている（例えば、特許文献１）。これらの方法は、各画像間の対応する位置の画素値を比較することで画像間の類似度を算出している。

また、画像の色情報をヒストグラム化して、ヒストグラム化された画像データ同士を比較し、類似度を算出する方法がある（例えば、非特許文献１）。この方法では、各色が画像中に何ピクセルあるかを数え、画像の色の割合が似ているほど類似度が高く算出される。

しかしながら、特許文献１の算出方法による類似度と、人の直観による類似度との整合性が十分でないという問題があった。すなわち、平均２乗誤差やＳ／Ｎは、２枚の画像における対応する位置の画素値の比較に基づいて、同じ絵柄についての表現の違いを測る尺度である。このため絵柄が異なる画像の比較には適さず、特許文献１の算出方法による類似度と、人の直観による類似度との整合性が十分でないという問題があった。

画像の情報を便宜的に絵柄と表現に分けた場合において、絵柄とは、何がどこにどれくらいの大きさで写っているかを意味するものとする。そして、表現とは、絵柄を普通にレタッチして得られるバリエーションを意味するものとする。

さらに、非特許文献１の類似度の算出方法も、絵柄の影響を完全に回避することはできない。ヒストグラムが画素値の分布を一律に簡略化しているためである。例えば、一方の画像の絵柄の割合が大きい場合は、絵柄の画素値が密となるので、算出される類似度に対して絵柄の影響は大きくなる。すなわち、従来の色ヒストグラムによる類似度の算出方法は、絵柄の影響があるので、算出される類似度と、人の直観による類似度との整合性が十分でないという問題があった。

本発明は、このような問題を解決するためになされたもので、画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度の算出方式を提供することを目的とする。

本発明に係る画像類似度算出装置は、上記目的を達成するため、少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出手段を含む画像類似度算出装置であって、前記類似度算出手段は、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成部と、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較部と、を有することを特徴とする。

本発明によれば、画像の絵柄の影響を受けにくく、人の直観による類似度と整合する類似度の算出方式を提供することができる。

第１の実施の形態に係る画像類似度算出装置の構成を示す機能ブロック図である。 第１の実施の形態に係る画像類似度算出装置による色彩転写を説明する図である。 第１の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。 第１の実施の形態に係る記録媒体を適用した計算機の構成例を示す機能ブロック図である。 第１の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。 第１の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。 第２の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。 第２の実施の形態に係る画像類似度算出装置による類似度算出を説明する図である。 第２の実施の形態に係る画像類似度算出装置の動作を説明するフローチャートである。 第３の実施の形態に係る画像修整装置の構成を示す機能ブロック図である。 第３の実施の形態に係る画像修整装置の動作を説明するフローチャートである。

（第１の実施の形態）
まず、図１〜図５を参照して、本発明の第１の実施の形態に係る画像類似度算出装置、画像処理装置、画像類似度算出方法、およびプログラムについて説明する。

図１は、本実施の形態に係る画像類似度算出装置１０の構成例を示す図である。画像類似度算出装置１０は、制御部１と画像取得部２と類似度算出部３と類似度出力部４とを備えている。

制御部１は、ＣＰＵ、ＲＡＭ、ＲＯＭを備え各種の演算、制御を行う。画像取得部２は、少なくとも第１の画像と第２の画像を含む複数の画像の各画像データを取得する。そして、処理対象となる画像を類似度算出部３に入力する。画像取得部２による画像データの取得は、画像撮影装置から直接取得する形態にしてもよいし、撮影済みのデータを通信機能によって取得する形態にしてもよい。

以下、画像取得部２が取得した画像のうち入力側の画像を画像Ｉ_ｉとし、参照側の画像を画像Ｉ_ｊとする。画像Ｉ_ｉと画像Ｉ_ｊとの絵柄は互いに異なっていても同一であってもよい。画像Ｉ_ｉと画像Ｉ_ｊの大きさが異なる場合には大きさを揃えるようにしてもよい。

類似度算出部３は、画像取得部２が取得した複数の画像のうち少なくとも第１の画像として画像Ｉ_ｉと、第２の画像として画像Ｉ_ｊに基づいて２つの画像間の類似度を算出する。類似度算出部３は、色彩転写部３１と色彩比較部３２とを有している。

本実施の形態における類似度の算出は、後述する色彩転写で得られるレタッチ画像Ｉ_ｉ｜^ｊを画像Ｉ_ｉと色彩比較することで行われる。色彩転写部３１は、本発明に係るレタッチ画像生成部を構成する。

色彩転写部３１は、画像Ｉ_ｉと画像Ｉ_ｊの画像データの色彩に関する特徴量をそれぞれ算出する。ここでいう特徴量とは、画素値に関する平均値や分散等の統計量を指す。また、画素値は、各ピクセルにおける輝度や色空間におけるＲＧＢ値等を指す。色彩転写部３１は、算出した画像Ｉ_ｉと画像Ｉ_ｊの特徴量に基づいて画像の画素値を変換する色彩転写を行うことでレタッチ画像Ｉ_ｉ｜^ｊを生成する。

以下では、本実施の形態で用いる色彩転写の処理について図２を用いてより詳しく説明する。色彩転写は、入力側の画像Ｉ_ｉに参照側の画像Ｉ_ｊの色彩情報を転写する処理であり、図２に示すように色彩転写部３１が画像Ｉ_ｉに画像Ｉ_ｊの色彩情報を転写し、レタッチ画像Ｉ_ｉ｜^ｊを得る。

ここでいう画像Ｉ_ｉは色彩転写によって加工される元画像であり転写先に相当する。画像Ｉ_ｊは、色彩転写で参照される側の画像であり転写元に相当する。レタッチ画像Ｉ_ｉ｜^ｊは、画像Ｉ_ｊを用いて画像Ｉ_ｉを色彩転写することで得られる画像である。色彩情報は、色相、彩度だけでなく明暗も含み、表現形態としては、ＲＧＢ、ＣＭＹＫ、ＹＣｒＣｂ、ＨＳＶ、Ｌａｂ、Ｌαβをはじめ多様性がある。

画像間の類似度を算出するにあたり、色彩転写を用いる理由について説明する。

いま、絵柄の異なる二つの画像である画像Ｉ_ｉと画像Ｉ_ｊがあるとして、両者の類似度を算出することを考える。両者に同位置の画素値を比較する通常の色彩比較をしても絵柄が異なるので人間の直観による類似の度合いとは合わない指標になることが問題となる。

図２に示すように、画像Ｉ_ｉと画像Ｉ_ｊとでは絵柄が異なっている。しかし、画像Ｉ_ｊを画像Ｉ_ｉに色彩転写を行なえば、レタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｉとは絵柄が揃う。

このようにして得られたレタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｉの両者に同位置の画素値を比較する色彩比較をすることで、絵柄の影響を受けず、より人の直観に合う画像間の類似度算出が可能となる。

色彩転写の具体的な処理について、以下では、Ｌａｂ色空間での色彩転写の処理を例に説明する。

色彩転写部３１は、画像Ｉ_ｉ全体のＬａｂ値の平均であるＥ（Ｌ_ｉ）、Ｅ（ａ_ｉ）、Ｅ（ｂ_ｉ）と分散であるＶ（Ｌ_ｉ）、Ｖ（ａ_ｉ）、Ｖ（ｂ_ｉ）を算出する。同様に、色彩転写部３１は、画像Ｉ_ｊ全体のＬａｂ値の平均であるＥ（Ｌ_ｊ）、Ｅ（ａ_ｊ）、Ｅ（ｂ_ｊ）と分散であるＶ（Ｌ_ｊ）、Ｖ（ａ_ｊ）、Ｖ（ｂ_ｊ）を算出する。

色彩転写部３１は、レタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｊの色分布の統計量である特徴量を近づける処理を行う。

具体的には、色彩転写部３１は、上記算出された画像Ｉ_ｉと画像Ｉ_ｊのＬａｂ値の平均と分散を用いて、以下の式（１）〜（３）に従いレタッチ画像Ｉ_ｉ｜^ｊのＬａｂ値であるＬ_ｉ'、ａ_ｉ'、ｂ_ｉ'を各画素毎に算出し、色彩転写されたレタッチ画像Ｉ_ｉ｜^ｊの画素値を得る。

Ｌ_ｉ'＝（Ｌ_ｉ−Ｅ（Ｌ_ｉ））×Ｖ（Ｌ_ｊ）／Ｖ（Ｌ_ｉ）＋Ｅ（Ｌ_ｊ） （１）
ａ_ｉ'＝（ａ_ｉ−Ｅ（ａ_ｉ））×Ｖ（ａ_ｊ）／Ｖ（ａ_ｉ）＋Ｅ（ａ_ｊ） （２）
ｂ_ｉ'＝（ｂ_ｉ−Ｅ（ｂ_ｉ））×Ｖ（ｂ_ｊ）／Ｖ（ｂ_ｉ）＋Ｅ（ｂ_ｊ） （３）

上記例では、各画像の色分布を近づけるため色分布の統計量として平均と分散を用いた処理を行ったが、平均と標準偏差を用いて同様の処理を行ってもよい。また、各画像の累積ヒストグラムを近づける処理を行ってもよい。また、色空間としてＬａｂ色空間を例に説明を行ったが、ＲＧＢ、ＬＭＳ、ＩＰＴ等の他の色空間を用いて同様の処理を行うようにしてもよい。

色彩比較部３２は、色彩転写部３１で生成されたレタッチ画像Ｉ_ｉ｜^ｊの画像データと画像Ｉ_ｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度を算出する。より、具体的には、画像Ｉ_ｉとレタッチ画像Ｉ_ｉ｜^ｊの対応する同じ位置の画素値の組を取り出し、それらに演算を施し、画像全体で累積するような処理を行なう。

各画像の画素数を（Ｍ，Ｎ）とし、座標（ｌ，ｍ）における画像Ｉ_ｉの画素値をＩ_ｉ（ｌ，ｍ）とし、レタッチ画像Ｉ_ｉ｜^ｊの画素値をＩ_ｉ｜^ｊ（ｌ，ｍ）とする。画素値に関しては、モノクロ濃淡画像の場合は一つのスカラー量であり、カラー画像の場合はベクトル量である。記号の中黒"・"はベクトルの内積（スカラー量の場合は通常の積）を表わす。

画像の正規化相互相関（相互相関係数）Ｒは次の式（４）で与えられ、得られた正規化相互相関Ｒが画像間の類似度を表す。正規化相互相関Ｒが１に近い値を取る程、画像間の類似度は高くなる。

色彩比較部３２における画像間の類似度算出は、上記の正規化相互相関Ｒ以外の指標の算出を行ってもよい。また、画像Ｉ_ｉと画像Ｉ_ｊの対応する位置座標における輝度値等の画素値の差の２乗の合計である式（５）で表されるＳＳＤや、輝度値等の画素値の差の絶対値の合計である式（６）で表されるＳＡＤを用いてもよい。あるいはそれらを画素数等で正規化した指標を類似度としてもよい。但し、これらの場合は算出された値が小さいほど類似性が高くなる。

色彩比較部３２は、画像Ｉ_ｉと画像Ｉ_ｊの対応する画素位置の画素値を比較することに基づくものであれば、他の定義式を用いて画像間の類似度を算出するようにしてもよい。たとえば、色信号ごとにモノクロとみなし正規化相互相関｛Ｒｒ，Ｒｇ，Ｒｂ｝を個別に求めておいて、最後に合成するといった方法も可能である。

色彩比較部３２は、全ての色彩情報を均等に扱うのではなく用途に応じて重み付けをするようにしてもよい。例えば、ＲＧＢで与えられた画像信号をＬａｂの形式に変換し、これらの明度方向の差異を基に算出したΔＬと色度平面での差異を基に算出したΔａｂとを重み付けをかえて合成することを考える。ΔＬ、Δａｂの算出には、前述した方法（Ｒ，ＳＳＤ，ＳＡＤ）等を用いる。

ΔＬは明度成分の違いに相当し、たとえば撮影時の露出の違いが大きいとΔＬは大きくなる。また、Δａｂは色味（色相と彩度）の違いに相当し、たとえば色カブリが大きいとΔａｂは大きくなる。これらを用いて合成した類似度指標をＲｗは、たとえば次式（７）で定義できる。ここで、ｗは［０．０〜１．０］の値をとるスカラー量であって線形結合の重みパラメータある。

式（７）において、重みｗを調整することによって、露出の違いを重視するのか、色味の違いを重視するのかを用途に応じて適切に定めることが可能となる。すなわち、重みｗを１に近づける程、色味の違いが重視され、重みｗを０に近づける程、露出の違いが重視される。

本実施の形態における画像類似度算出装置１０の処理の変形例として、画像取得部２で取得した画像の画像データ量を削減するサムネール化を行い、サムネール化された画像を用いて色彩転写、色彩比較の処理を行うようにしてもよい。本処理は、サムネール化の処理以外は、上述の処理と同じである。

このような、画像のデータ量を削減するサムネール化を類似度算出の前に予め行う理由は以下の通りである。画像取得部２に非常に大きなサイズの画像データが入力された場合に、計算量が膨大になるという問題が生じうる。この問題を回避するために、画像取得部２における工夫として、画像データ量を縮小し、サムネール化することで類似度算出における計算処理負荷を減らす。

具体的には、画像の一辺が１２８画素程度であれば、画素数としては十分であり元の画像の色彩の情報を大きく失うことはない。したがって、短辺を１２８画素くらいまで小さくすれば、全体として画素数を抑えることができ、色彩転写と色彩比較の処理量を抑制することができる。なお、１２８画素とは説明のために特定した数であり、全体の計算負荷を考慮したうえで他の値としてもよい。

類似度出力部４は、色彩比較部３２が算出した画像間の類似度を値として保持し、必要な時に出力して他のシステム等に提供する。

本実施の形態における画像類似度算出装置は計算機上のソフトウェアとして実現することもできる。

図４は本実施の形態の画像類似度を算出可能なプログラムを適用した計算機４９の構成例を示す図である。ＣＤ−ＲＯＭなどの記録媒体４７に記録されたプログラムは、ドライブ４６を通じて補助記憶装置４４に読み込まれる。計算機４９には入力Ｉ／Ｆを介し画像等のデータが入力され、出力Ｉ／Ｆを介してデータが出力される。

計算機４９の動作を制御するＣＰＵ４２が、補助記憶装置４４や記憶装置４３との間で情報をやり取りしながら、あるいはコントローラ４８によりネットワークを介して他の計算機と連携しながら、プログラムの各ステップを実行する。このような構成のもとに、本発明をソフトウェアとして実現することが可能である。

次に図３を用いて画像類似度算出装置１０による類似度算出の流れについて説明する。

図３は、本実施の形態に係る画像類似度算出装置１０による画像間の類似度算出の流れを示すフローチャートである。

画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ１０１）。色彩転写部３１は、画像取得部２で取得した画像から第１の画像として画像Ｉ_ｉと第２の画像として画像Ｉ_ｊとを選択し、２つの画像について色彩に関する特徴量を算出する。次いで、色彩転写部３１は、入力側の画像Ｉ_ｉと参照側の画像Ｉ_ｊの特徴量を用いて画像Ｉ_ｉの画素値を変換する色彩転写を行うことでレタッチ画像Ｉ_ｉ｜^ｊを生成する（ステップＳ１０２）。

色彩比較部３２は、色彩転写部３１が生成したレタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度を算出する（ステップＳ１０３）。類似度出力部４は、色彩比較部３２が算出した画像間の類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ１０４）。

色彩転写および色彩比較を行う前に画像取得部２で取得した画像データのサムネール化を行う場合のフロー図は図５に示す通りである。

画像取得部２は、外部より複数の画像の各画像データを取得し（ステップＳ１１１）取得した画像の画像データ量を削減するサムネール化の処理を行う（ステップＳ１１２）。ステップＳ１１３以降の処理は図３に示すステップＳ１０２以降の処理と同じである。

以上のように本実施の形態に係る画像類似度算出装置１０は、複数の画像を取得する画像取得部２と、複数の画像のうちの画像Ｉ_ｉと画像Ｉ_ｊに基づいて２つの画像間の類似度を算出する類似度算出部３と、制御部１と、類似度を出力する類似度出力部４と、を備えている。

類似度算出部３は、色彩転写部３１と色彩比較部３２とを有する。色彩転写部３１は、２つの画像のうち一方を画像Ｉ_ｊ、他方を画像Ｉ_ｉとして選択する。そして、２つの画像について色彩に関する特徴量である平均と分散をそれぞれ算出する。この平均と分散とを用いて画像Ｉ_ｉの画素値を変換することにより、レタッチ画像Ｉ_ｉ｜^ｊを生成する。色彩比較部３２は、レタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｉとの間で画素値を用いて色彩比較して２つの画像間の類似度を算出する。

この構成により、画像間の絵柄を揃えたうえで類似度を算出することができる。

したがって、画像間の類似度の算出における絵柄依存性を減らし、算出される類似度と人間の直観による類似の度合いとを近づけ、整合性を高めることができる。

また、類似度算出部３は、類似度を算出するにあたり、色彩比較部３２が、レタッチ画像Ｉ_ｉ｜^ｊの画像の色彩情報を基に算出した類似度を重み付けして合成して合成類似度を算出するようにしてもよい。さらに、レタッチ画像Ｉ_ｉ｜^ｊの画像と画像Ｉ_ｉ等との彩情報の差異を基に類似度を算出してもよい。色彩情報の差異とは、例えば、Ｌａｂ空間における明度方向のΔＬ、色度方向の差異Δａｂ等である。

この構成により、類似度を明度、色相、彩度等で定まる画像の性質に応じて調整することができる。

また、画像取得部２は、取得した画像のデータ量を削減し、類似度算出部３は、データ量が削減された画像の画像データを用いて類似度を算出するようにしてもよい。

この構成により、画像間の類似度算出の処理負荷を減らすことができる。

（第２の実施の形態）
次に、図６〜図９を参照して、本発明の第２の実施の形態について説明する。

本実施の形態では、第１の実施の形態とは、画像間の類似度の算出にあたり色彩転写を行う対象とする画像、色彩転写及び色彩比較を行う回数等が異なるが、他の構成は基本的に同様である。したがって、同一の構成要素については、図１〜図５に示した第１の実施形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。

本実施の形態に係る画像類似度算出装置１０の構成は第１の実施の形態におけるものと同等であり、図１に示すように画像取得部２と類似度算出部３と類似度出力部４と制御部１とを備えている。

図６、図７、図８を用いて本実施の形態と第１の実施の形態における類似度算出の方式の相違を説明する。

図６は第１の実施の形態における類似度算出の方式を示している。この方式では、色彩転写部３１が入力側の画像Ｉ_ｉに参照側の画像Ｉ_ｊを色彩転写して絵柄をあわせたレタッチ画像Ｉ_ｉ｜^ｊを生成した後に、色彩比較部３２が画像Ｉ_ｉとレタッチ画像Ｉ_ｉ｜^ｊとを色彩比較し類似度を算出している。

図７は本実施の形態における類似度算出の方式を示している。この方式では、まず、第１の実施の形態と同様に、色彩転写部３１が入力側の画像Ｉ_ｉに参照側の画像Ｉ_ｊを色彩転写して絵柄をあわせた第1のレタッチ画像Ｉ_ｉ｜^ｊを生成する。次いで、色彩比較部３２が画像Ｉ_ｉと第1のレタッチ画像Ｉ_ｉ｜^ｊとを色彩比較し類似度を算出する。このようにして得られた類似度を類似度Ｒ１とする。

次いで、色彩転写部３１は、入力する画像と参照する画像とを逆にして入力画像としての画像Ｉ_ｊに参照画像としての画像Ｉ_ｉを色彩転写して絵柄をあわせた第２のレタッチ画像Ｉ_ｊ｜^ｉを得る。次いで、色彩比較部３２が第２のレタッチ画像Ｉ_ｊ｜^ｉと入力画像としての画像Ｉ_ｊとを色彩比較し類似度を算出する。このようにして得られた類似度を類似度Ｒ２とする。ここで行う色彩転写の方法は第１の実施の形態と同様であり、先述した式（１）〜（３）に従って行う。また、ここで行う色彩比較の方法は第１の実施の形態と同様であり、先述した式（４）または、式（５）、式（６）に従って行う。

色彩比較部３２は得られた類似度Ｒ１と類似度Ｒ２とを合成して画像Ｉ_ｉと画像Ｉ_ｊとの最終的な類似度である合成類似度を算出する。ここでいう合成とは、例えば、類似度Ｒ１と類似度Ｒ２との平均をとるようにしてもよいし、他の方法によるものであってもよい。

ここで、図７に示すような逆方向の色彩転写を行い、類似度を合成するようにした理由について説明を行う。

一般に、「画像Ｉ_ｉと第１のレタッチ画像Ｉ_ｉ｜^ｊの比較」により算出される画像間の類似度と、その逆「画像Ｉ_ｊと第２のレタッチ画像Ｉ_ｊ｜^ｉの比較」により算出される画像間の類似度では結果が同一とならない。

したがって、比較する２つの画像のうちいずれを入力側、参照側とし、色彩転写するかにより、２つの画像間の類似度が異なってしまい、色彩転写の順序依存性が残るという問題がある。

図７を例にとると、第１のレタッチ画像Ｉ_ｉ｜^ｊに比べて、第２のレタッチ画像Ｉ_ｊ｜^ｉは空の面積が圧倒的に大きいため、最終的な算出結果に空の色の違いの影響が大きく寄与する。

このような問題を解消するため、本実施の形態では、他方の画像から一方の画像への色彩転写もあわせて行い、色彩比較し、類似度を合成して合成類似度を得ている。これにより色彩転写の順序の相違による色彩比較の際の絵柄依存性は緩和されるので、色彩転写の順序依存性の色彩比較に対する影響を排除することができる。

次いで、図７に示した色彩転写を相互に画像と画像とで相互に行う例のバリエーションとして、さらに第３の画像Ｉ_ｘを用いる例について図８を用いて説明する。

この類似度算出の方式では、まず、色彩転写部３１が入力側の第３の画像Ｉ_ｘに参照側の画像Ｉ_ｊを色彩転写にて絵柄をあわせた第３のレタッチ画像Ｉ_ｘ｜^ｊを得る。

次いで、色彩転写部３１は、色彩転写部３１が第３の画像Ｉ_ｘに画像Ｉ_ｉを色彩転写にて絵柄をあわせた第４のレタッチ画像Ｉ_ｘ｜^ｉを得る。ここで行う色彩転写の方法は第１の実施の形態と同様であり、先述した式（１）〜（３）に従って行う。また、ここで行う色彩比較の方法は第１の実施の形態と同様であり、先述した式（４）または、式（５）、式（６）に従って行う。

色彩比較部３２は色彩比較部３２が第３のレタッチ画像Ｉ_ｘ｜^ｊと第４のレタッチ画像Ｉ_ｘ｜^ｉを色彩比較し類似度を算出する。

ここで、図８に示すような第３の画像Ｉ_ｘを導入して色彩転写を行い、類似度を合成するようにした理由について説明を行う。

例えば、図８では、第３の画像Ｉ_ｘとして背景（地面）の面積が大きいものを用いている。このケースでは、色彩転写が施された第３のレタッチ画像Ｉ_ｘ｜^ｊと第４のレタッチ画像Ｉ_ｘ｜^ｉは第３の画像Ｉ_ｘと絵柄が揃えられている。第３のレタッチ画像Ｉ_ｘ｜^ｊと第４のレタッチ画像Ｉ_ｘ｜^ｉの背景（地面）の面積は、大きいので背景（地面）の違いがより強く反映された類似度を求めることができる。このように第３の画像Ｉ_ｘを導入することで、類似度の内容を用途に応じて調整することができる。

さらに、第３の画像Ｉ_ｘは必ずしも意味のある絵柄に限定される必要はなく、適切に定めたグラデーション・パターンなどを用いることもできる。そうすることで、特に重視したい色味の画素値の数を多めにすることで、独自の類似度指標を定義することが可能となる。

次に図９を用いて画像類似度算出装置１０による類似度算出の流れについて説明する。

図９は、本実施の形態に係る画像類似度算出装置１０による画像間の類似度算出の流れを示すフローチャートである。

まず、図７の類似度算出のパターンの処理の流れを説明する。画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ２０１）。色彩転写部３１は、画像取得部２で取得した画像から画像Ｉ_ｉと画像Ｉ_ｊとを選択し、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。次いで、色彩転写部３１は、入力側の画像Ｉ_ｉと参照側の画像Ｉ_ｊの特徴量を用いて画像Ｉ_ｉの画素値を変換する色彩転写を行うことで第１のレタッチ画像Ｉ_ｉ｜^ｊを生成する（ステップＳ２０２）。

色彩比較部３２は、色彩転写部３１が生成した第１のレタッチ画像Ｉ_ｉ｜^ｊと画像Ｉ_ｉの画像との間で画素値を用いて色彩比較して画像間の類似度Ｒ１を算出する（ステップＳ２０４）。

次いで、上述の色彩転写と逆方向の色彩転写を行うため、色彩転写部３１は、ステップＳ２０２で既に計算した画像Ｉ_ｉと画像Ｉ_ｊの特徴量を用いて画像Ｉ_ｊの画素値を変換する色彩転写を行うことで第２のレタッチ画像Ｉ_ｊ｜^ｉを生成する（ステップＳ２０３）。

色彩比較部３２は、色彩転写部３１が生成した第２のレタッチ画像Ｉ_ｊ｜^ｉと画像Ｉ_ｉの画像データとの間で画素値を用いて色彩比較して画像間の類似度Ｒ２を算出する（ステップＳ２０４）。色彩比較部３２は、算出した２つの類似度Ｒ１と類似度Ｒ２とを合成し（例えば、平均値をとる）、画像Ｉ_ｉと画像Ｉ_ｊの間の最終的な類似度である合成類似度を算出する（ステップＳ２０４）。

類似度出力部４は、色彩比較部３２が算出した画像間の合成類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ２０５）。

以上、図７に示す類似度算出のパターンについて図９のフロー図を用いて説明したが、同様に図８に示す類似度算出のパターンについても以下のように説明できる。

画像取得部２は外部より複数の画像の各画像データを取得する（ステップＳ２０１）。色彩転写部３１は、画像取得部２で取得した画像から第３の画像Ｉ_ｘと画像Ｉ_ｊとを選択し、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。次いで、色彩転写部３１は、入力側の第３の画像Ｉ_ｘと参照側の画像Ｉ_ｊの特徴量を用いて第３の画像Ｉ_ｘの画素値を変換する色彩転写を行うことで第３のレタッチ画像Ｉ_ｘ｜^ｊを生成する（ステップＳ２０２）。

次いで、上述の色彩転写部３１は、入力側の第３の画像Ｉ_ｘに参照側の画像Ｉ_ｉの色彩情報の色彩転写を行うため、２つの画像について色彩に関する特徴量（平均、分散等）を算出する。色彩転写部３１は、算出した第３の画像Ｉ_ｘと画像Ｉ_ｉの特徴量を用いて第３の画像Ｉ_ｘの画素値を変換する色彩転写を行うことで第４のレタッチ画像Ｉ_ｘ｜^ｉを生成する（ステップＳ２０３）。

色彩比較部３２は、第３のレタッチ画像Ｉ_ｘ｜^ｊと第４のレタッチ画像Ｉ_ｘ｜^ｉに基づいて、前記画像間の類似度を算出する（ステップＳ２０４）。

類似度出力部４は、色彩比較部３２が算出した画像間の合成類似度を保持し、必要な時に出力して他のシステム等に提供する（ステップＳ２０５）。

以上のように、本実施の形態に係る画像類似度算出装置１０の類似度算出部３は、類似度の算出を以下のように行う。まず、色彩転写部３１が、画像Ｉ_ｉに画像Ｉ_ｊを色彩転写して絵柄をあわせた第1のレタッチ画像Ｉ_ｉ｜^ｊを生成する。さらに、画像Ｉ_ｊの画像データに画像Ｉ_ｉの画像データを色彩転写して第２のレタッチ画像Ｉ_ｊ｜^ｉの画像データを生成する。次いで、色彩比較部３２が、第1のレタッチ画像Ｉ_ｉ｜^ｊの画像データとこれに対応する画像Ｉ_ｉの画像データとを色彩比較して画像間の類似度Ｒ１を算出する。また、第２のレタッチ画像Ｉ_ｊ｜^ｉの画像データとこれに対応する画像Ｉ_ｊの画像データとを色彩比較して画像間の類似度Ｒ２を算出する。類似度算出部３は、色彩比較部３２により得られた２つの類似度Ｒ１、Ｒ２を合成して画像Ｉ_ｉと画像Ｉ_ｊの間の合成類似度を算出するようになっている。

この構成により、画像間の類似度算出における絵柄依存性を減らし、直観との整合性を高め、類似度算出の順序依存性を少なくできる。

また、本実施の形態に係る画像類似度算出装置１０の類似度算出部３は、類似度の算出を以下のように行う。まず、色彩転写部３１が、画像取得部２により取得した第３の画像Ｉ_ｘに対して画像Ｉ_ｉの画像データを色彩転写した第４のレタッチ画像Ｉ_ｘ｜^ｉの画像データを生成する。さらに、第３の画像Ｉ_ｘに対して画像Ｉ_ｊの画像データを色彩転写した第３のレタッチ画像Ｉ_ｘ｜^ｊの画像データを生成する。次いで、色彩比較部３２が、第３のレタッチ画像Ｉ_ｘ｜^ｊと第４のレタッチ画像Ｉ_ｘ｜^ｉに基づいて、画像間の類似度を算出するようになっている。

この構成により、画像間の類似度算出における絵柄依存性を減らし、直観との整合性を高め、類似度算出の順序依存性を少なくできる。

なお、本実施の形態に係る画像類似度算出装置１０による類似度を算出するプログラムを計算機（図４参照）と組み合わせ、類似度を算出するようにしてもよい。

（第３の実施の形態）
次に、図１０〜図１１を参照して、本発明の第３の実施の形態について説明する。

本実施の形態に係る画像処理装置２０は、第１の実施の形態または第２の実施の形態に係る画像類似度算出装置１０を用いて、入力された画像に色彩転写を施し、自動的に補正することを目的とするものである。したがって、同一の構成要素については、図１〜図９に示した第１および第２の実施形態と同一の符号を用いて説明し、特に相違点についてのみ詳述する。

図１０は、本実施の形態に係る画像処理装置２０の構成例を示す図である。画像処理装置２０は、制御部１と画像取得部２と類似度算出部３と類似度出力部４を含んで構成される画像類似度算出装置１０と参照画像蓄積部５と画像出力部６を備えている。

画像取得部２は、複数の画像の各画像データを取得して、処理対象となる入力画像Ｉ_ｉを入力するようになっている。画像データの取得は、画像撮影装置から直接に取得する形態でもよいし、撮影済みのデータを通信機能によって取得する形態でもよい。あるいは、記憶装置にあらかじめ記憶されている画像をロードしてもよい。

参照画像蓄積部５は、入力画像に対し色彩転写をしてレタッチ画像の画像データを生成する際に参照する参照画像をあらかじめ１枚以上蓄積している。蓄積する枚数が１枚に限定されないのは、入力画像に対する望ましい補正結果が一通りに限定できないことがあるからである。

例えば、ポートレート画像であれば、人種のバリエーションに応じて複数の参照画像をもたせることができる。あるいは、不動産売買のための室内画像であれば、マンションのカラーバリエーション等に応じて複数の参照画像をもたせることができる。

制御部１は、参照画像蓄積部５で蓄積された参照画像を順に取り出す。制御部１は取り出した参照画像を用いて類似度算出部３が算出した入力画像との間の類似度を蓄積する。制御部１は蓄積された類似度の情報を適切にソートし、最も高い類似度を算出するのに用いられた参照画像を選択する。この選択された参照画像を以下では、選択参照画像Ｉ_Ｒｅｆという。

類似度算出部３による類似度の算出は第１の実施の形態または、第２の実施の形態で述べた方法により行う。また、ここでいう類似度は第２の実施の形態で述べた合成類似度も含む。算出された類似度は類似度出力部４に保持される。

制御部１は、参照画像の数だけ上記の処理、すなわち参照画像を取り出し、類似度を蓄積し、類似度の高い参照画像を選択する処理を反復し、取り出す参照画像がなくなるまで上記の処理の反復を行う。

色彩転写部３１は、制御部１により選択参照画像Ｉ_Ｒｅｆが選択されると入力画像Ｉ_ｉに色彩転写を行うことでレタッチ画像Ｉ_ｉ｜^Ｒｅｆを得る。画像出力部６は、得られたレタッチ画像Ｉ_ｉ｜^Ｒｅｆを画像処理装置２０の画面に表示する、またはプリンタ等により出力する。なお、ユーザが出力されたレタッチ画像Ｉ_ｉ｜^Ｒｅｆの結果を好まない場合には、ユーザが自ら選択参照画像Ｉ_Ｒｅｆとして他の参照画像を選択できるようにしてもよい。

次に図１１を用いて画像処理装置２０による画像レタッチの流れについて説明する。図１１は、本実施の形態に係る画像処理装置２０による画像レタッチの流れを示すフローチャートである。

画像取得部２は処理対象となる入力画像Ｉ_ｉを取得する（ステップＳ３０１）。制御部１は、参照画像蓄積部５に蓄積された画像を１枚ずつ順に取り出す（ステップＳ３０２）。制御部１は参照画像を取り出すことができた場合は（ステップＳ３０３）、類似度算出部３による類似度算出を行わせ、得られた類似度を蓄積し（ステップＳ３０４）、再度ステップＳ３０２の参照画像の取り出しを行う。

制御部１はステップＳ３０２において参照すべき画像がなくなり参照画像を取り出すことができなくなった場合は（ステップＳ３０３）、参照画像の取り出し〜類似度算出の反復処理を抜けて、蓄積された類似度をソートし、類似度算出部３により最も高い類似度が算出するのに用いられた選択参照画像Ｉ_Ｒｅｆを選択する（ステップ３０５）。

色彩転写部３１は、選択された選択参照画像Ｉ_Ｒｅｆを入力画像Ｉ_ｉに色彩転写し（ステップＳ３０６）、レタッチ画像Ｉ_ｉ｜^Ｒｅｆを得る。次いで、画像出力部６は、得られたレタッチ画像Ｉ_ｉ｜^Ｒｅｆを画面等を介して出力し（ステップＳ３０７）、ユーザに提示する。

以上のように、本実施の形態に係る画像処理装置２０は、画像類似度算出装置１０と、レタッチ画像を生成する際に参照する参照画像を蓄積する参照画像蓄積部５と、画像出力部６と、を有する。画像出力部６は、参照画像蓄積部５で蓄積された参照画像を用いて類似度算出部３が算出した画像取得部２により取得した入力画像Ｉ_ｉとの間の類似度を蓄積し、最も高い類似度を算出するのに用いられた選択参照画像Ｉ_Ｒｅｆを選択する制御部１と、制御部１により選択された選択参照画像Ｉ_Ｒｅｆを用いて入力画像Ｉ_ｉに色彩転写することで得られたれたレタッチ画像Ｉ_ｉ｜^Ｒｅｆを類似度出力部４に出力するようになっている。

この構成により、画像の自動補正が可能となり、ユーザの負荷を減らすことができる。

なお、本実施の形態に係る画像処理装置２０による画像レタッチのプログラムを計算機（図４参照）と組み合わせ、自動画像レタッチを行うようにしてもよい。

以上、本発明の実施の形態について説明したが、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

本発明によれば、絵柄の異なり、明暗や色味等の色情報がもたらす２つの画像間の類似度に着目し、絵柄の影響を受けにくく、人の直観と整合する類似度を算出できるという効果を有する。画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体全般に有用である。

１ 制御部
２ 画像取得部
３ 類似度算出部
４ 類似度出力部
５ 参照画像蓄積部
６ 画像出力部
１０ 画像類似度算出装置
２０ 画像処理装置
３１ 色彩転写部（レタッチ画像生成部）
３２ 色彩比較部
４７ 記録媒体

特開２０１４−２２２４２９号公報

Ｍ．Ｊ． Ｓｗａｉｎ ａｎｄ Ｄ．Ｈ． Ｂａｌｌａｒｄ．"Ｃｏｌｏｒ ｉｎｄｅｘｉｎｇ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ． １１−３２， １９９１．

従来より、画像間の類似度の算出方法として、平均２乗誤差やＳ／Ｎなどの基礎的な方法が知られている。さらに、他の算出方法として、画像の正規化相互相関、同じ位置の画素値の２乗の合計であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）および同じ位置の画素値の差の絶対値の合計であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等も知られている（例えば、特許文献１）。これらの方法は、各画像間の対応する位置の画素値を比較することで画像間の類似度を算出している。

Claims (21)

1. 少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出手段を含む画像類似度算出装置であって、
   前記類似度算出手段は、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成部と、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較部と、を有することを特徴とする画像類似度算出装置。
2. 前記色彩比較部は、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１に記載の画像類似度算出装置。
3. 前記レタッチ画像生成部が、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
   前記色彩比較部が、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
4. 前記レタッチ画像生成部が、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
   前記色彩比較部が、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１または請求項２に記載の画像類似度算出装置。
5. 前記画像類似度算出装置は、複数の画像を取得する画像取得手段をさらに備え、前記取得した画像のデータ量を削減し、
   前記類似度算出手段は、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像類似度算出装置。
6. 前記レタッチ画像生成部は、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１に記載の画像類似度算出装置。
7. 請求項６に記載の画像類似度算出装置と、
   前記参照画像を蓄積する参照画像蓄積手段と、
   前記参照画像蓄積手段から、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御部と、
   前記制御部により選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力手段と、を有することを特徴とする画像処理装置。
8. 少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法であって、
   前記類似度算出ステップは、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有することを特徴とする画像類似度算出方法。
9. 前記色彩比較ステップは、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項８に記載の画像類似度算出方法。
10. 前記レタッチ画像生成ステップが、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
    前記色彩比較ステップが、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
11. 前記レタッチ画像生成ステップが、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
    前記色彩比較ステップが、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項８または請求項９に記載の画像類似度算出方法。
12. 前記画像類似度算出方法は、複数の画像を取得する画像取得ステップをさらに備え、前記取得した画像のデータ量を削減し、
    前記類似度算出ステップは、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項８ないし請求項１１のいずれか１項に記載の画像類似度算出方法。
13. 前記レタッチ画像生成ステップは、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項８に記載の画像類似度算出方法。
14. 請求項１３に記載の画像類似度算出方法と、
    前記参照画像を蓄積する参照画像蓄積ステップと、
    前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
    前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、を有することを特徴とする画像処理方法。
15. 少なくとも第１の画像と第２の画像に基づいて、画像間の類似度を算出する類似度算出ステップを含む画像類似度算出方法であって、
    前記類似度算出ステップは、前記第１の画像と前記第２の画像の色彩に関する特徴量に基づいて、レタッチ画像を生成するレタッチ画像生成ステップと、少なくとも前記レタッチ画像に基づいて、前記画像間の類似度を算出する色彩比較ステップと、を有する画像類似度算出方法を実行させるためのプログラムを格納する記憶媒体。
16. 前記色彩比較ステップは、少なくとも前記レタッチ画像の色彩情報に基づいて算出した類似度を重み付けして合成した合成類似度を算出することを特徴とする請求項１５に記載の記憶媒体。
17. 前記レタッチ画像生成ステップが、前記第１の画像に第２の画像を色彩転写して第１のレタッチ画像を生成し、前記第２の画像に第１の画像を色彩転写して第２のレタッチ画像を生成し、
    前記色彩比較ステップが、前記第１のレタッチ画像と前記第１の画像に基づいて色彩情報を比較した画像間の類似度と、前記第２のレタッチ画像と前記第２の画像に基づいて色彩情報を比較した画像間の類似度と、を合成し、画像間の合成類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
18. 前記レタッチ画像生成ステップが、第３の画像に前記第２の画像を色彩転写して第３のレタッチ画像を生成し、前記第３の画像に前記第１の画像を色彩転写して第４のレタッチ画像を生成し、
    前記色彩比較ステップが、第３のレタッチ画像と第４のレタッチ画像に基づいて、前記画像間の類似度を算出することを特徴とする請求項１５または請求項１６に記載の記憶媒体。
19. 前記画像類似度算出方法は、複数の画像を取得する画像取得ステップをさらに備え、前記取得した画像のデータ量を削減し、
    前記類似度算出ステップは、前記データ量が削減された画像に基づいて、類似度を算出することを特徴とする請求項１５ないし請求項１８のいずれか１項に記載の記憶媒体。
20. 前記レタッチ画像生成ステップは、前記第１の画像と前記第２の画像のうち、一方を参照画像とし、他方を入力画像として、または、他方の入力画像に対して、色彩転写してレタッチ画像を生成することを特徴とする請求項１５に記載の記憶媒体。
21. 請求項２０に記載の画像類似度算出方法と、
    前記参照画像を蓄積する参照画像蓄積ステップと、
    前記参照画像蓄積ステップから、最も高い前記類似度を算出するのに用いられた参照画像を選択する制御ステップと、
    前記制御ステップにより選択された参照画像を前記入力画像に色彩転写することで得られたレタッチ画像を出力する画像出力ステップと、を実行させるためのプログラムを格納する記憶媒体。