JP4665355B2

JP4665355B2 - Image extraction apparatus, image extraction method, and image extraction program

Info

Publication number: JP4665355B2
Application number: JP2001221405A
Authority: JP
Inventors: 恭子中村
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2001-07-23
Filing date: 2001-07-23
Publication date: 2011-04-06
Anticipated expiration: 2021-07-23
Also published as: JP2003036439A

Description

【０００１】
【発明の属する技術分野】
この発明は画像抽出装置、画像抽出方法および画像抽出プログラムに関し、特に、効率よく画像の抽出を行なうことのできる画像抽出装置、画像抽出方法および画像抽出プログラムに関する。
【０００２】
【従来の技術】
画像抽出の目的の１つとして、人物認証や作業解析などを行なうため、与えられた画像中に含まれる顔を抽出することが考えられる。しかし、画像中に含まれる顔は、対象の距離の違いや個体差などから、大きさが未知である。そこで、大きさが未知の顔を、画像中に含まれる背景などから区別して抽出する技術が必要となる。
【０００３】
従来より行なわれていた画像抽出技術では、顔のサンプルである参照画像を用いて、与えられた画像中の領域を、少しずつスキャンしながら比較し、顔を抽出する方法が行なわれている。参照画像または与えられた画像の大きさを変化させた画像ピラミッドを形成し、画像ピラミッドに沿って、いろいろな大きさの参照画像で、画像中の全ての領域をスキャンする。
【０００４】
さらに、特開平７−４９９４９号公報においては、解像度の最も低い画像ピラミッドの最上層において、探索領域（探索点）と参照画像との相関値を求め、所定の相関値を持った点群を作成し、点群のうち代表点を画像ピラミッドの次層の探索点として絞込んで、対象画像を抽出する発明が開示されている。
【０００５】
また、特開平１０−２１３８９号公報においては、解像度の最も低い画像ピラミッドの最上層において抽出された候補点での近傍点を下層での検索に用い、候補点を絞込むことで相関値計算の回数を減らし、高速で対象画像を抽出する発明が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら上述の発明においては、与えられた画像より任意の大きさの顔の抽出を行なうことができない。すなわち、特定の大きさの顔は、参照画像と比較することで抽出することができるが、画像に含まれている、特定されない大きさの顔を抽出することができない。
【０００７】
また従来の画像抽出方法を用いて任意の大きさの顔を抽出する場合は、多種類の大きさの参照画像でスキャンする必要があり、大変時間のかかる処理であった。
【０００８】
そこでこの発明では、与えられた画像に含まれる任意の大きさの対象画像（例えば顔）を効率よく抽出することのできる画像抽出装置、画像抽出方法および画像抽出プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像抽出装置は入力画像から抽出対象画像を抽出するための画像抽出装置であって、抽出対象画像を記憶する記憶手段と、入力画像の入力を受付けるための入力手段と、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、変換手段で変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換手段で変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出手段と入力画像に探索領域を設定する設定手段とを備える。抽出手段は、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定手段は、抽出手段が、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換手段で変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定手段は、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
本発明の他の局面に従うと、画像抽出装置は入力画像から抽出対象画像を抽出するための画像抽出装置であって、抽出対象画像を記憶する記憶手段と、入力画像の入力を受付けるための入力手段と、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、変換手段で変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換手段で変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出手段と、入力画像に探索領域を設定する設定手段とを備える。抽出手段は、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定手段は、抽出手段が、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１０】
好ましくは、抽出手段は、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように上記倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出装置は、抽出手段で抽出された、入力画像中の抽出対象画像の位置と、抽出手段で抽出対象画像が抽出された際の比較に用いた変換手段で変換された画像群の内の１の画像の倍率とを抽出の結果として出力するための出力手段をさらに備える。
【００１１】
本発明のさらに他の局面に従うと、画像抽出方法は抽出対象画像を記憶した画像抽出装置において入力画像から抽出対象画像を抽出する方法であって、入力画像の入力を受付ける入力ステップと、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換ステップで変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを備える。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定ステップでは、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
本発明のさらに他の局面に従うと、画像抽出方法は抽出対象画像を記憶した画像抽出装置において入力画像から抽出対象画像を抽出する方法であって、入力画像の入力を受付ける入力ステップと、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換ステップで変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを備える。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１２】
好ましくは、抽出ステップでは、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出方法は、抽出ステップで抽出された、入力画像中の抽出対象画像の位置と、抽出ステップで抽出対象画像が抽出された際の比較に用いた変換ステップで変換された画像群の内の１の画像の倍率とを抽出の結果として出力するステップをさらに備える。
【００１３】
また本発明の他の局面に従うと、画像抽出プログラムは抽出対象画像を記憶した画像抽出装置に、入力画像から抽出対象画像を抽出する処理を実行させるためのプログラムであって、入力画像の入力を受付ける入力ステップと、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換ステップで変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを前記画像抽出装置に実行させる。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定ステップでは、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
また本発明の他の局面に従うと、画像抽出プログラムは抽出対象画像を記憶した画像抽出装置に、入力画像から抽出対象画像を抽出する処理を実行させるためのプログラムであって、入力画像の入力を受付ける入力ステップと、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換ステップで変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを画像抽出装置に実行させる。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１４】
好ましくは、抽出ステップでは、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出プログラムは、抽出ステップで抽出された、入力画像中の抽出対象画像の位置と、抽出ステップで抽出対象画像が抽出された際の比較に用いた変換ステップで変換された画像群の内の１の画像の倍率とを抽出の結果として出力するステップをさらに画像抽出装置に実行させる。
【００１５】
また本発明の他の局面に従うと、記録媒体は、上述の画像抽出プログラムを記録した、コンピュータ読取可能な記録媒体である。
【００１６】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１７】
図１は、本実施の形態における画像抽出装置の構成を示すブロック図である。
本実施の形態においては、図１に示される画像抽出装置を用いて、入力された画像から、顔画像を抽出する画像抽出処理を行なうものとして以下の説明を行なう。
【００１８】
図１を参照して、画像抽出装置は、画像入力部１０１と、参照画像記憶部１０２と、縮小画像生成部１０３と、画像メモリ１０４と、画像切出し部１０５と、画像比較処理部１０６と、探索領域設定部１０７と、探索領域記憶部１０８と、顔位置記憶部１０９と、顔位置調整出力部１１０とを含む。
【００１９】
画像入力部１０１は、画像の外部からの入力を行なう。
参照画像記憶部１０２は、顔であるか否かを判断するための参照画像を記憶する。参照画像記憶部１０２で記憶される参照画像は、１枚でもよいし、複数枚でもよい。
【００２０】
縮小画像生成部１０３は、画像入力部１０１より入力された画像を階層化し、画像メモリ１０４に記憶する処理を行なう。縮小画像生成部１０３において階層化された縮小画像については、後に詳細な説明を行なう。
【００２１】
画像メモリ１０４は、画像入力部１０１から入力された原画像と、縮小画像生成部１０３で階層化された縮小画像とを記憶する。
【００２２】
画像切出し部１０５は、画像入力部１０１から入力された原画像、または縮小画像生成部１０３で階層化された縮小画像から、画像比較処理部１０６で比較参照処理を行なうために、部分画像を切出す。
【００２３】
画像比較処理部１０６は、参照画像記憶部１０２に記憶された参照画像と、画像切出し部１０５で作成された部分画像とを比較し、画像切出し部１０５で作成された部分画像が顔であるか否かを判断し、顔を抽出する。
【００２４】
探索領域設定部１０７は、縮小画像生成部１０３において階層化された縮小画像に対して、画像比較処理部１０６で顔であるか否かを判断する探索領域を設定する。
【００２５】
探索領域記憶部１０８は、探索領域設定部１０７での探索領域の設定を記憶する。
【００２６】
顔位置記憶部１０９は、画像比較処理部１０６で抽出された顔の位置と、当該顔の抽出された階層の情報とを記憶する。
【００２７】
顔位置調整出力部１１０は、各階層で抽出された顔を、当該顔が抽出された階層に基づいて大きさを設定し、顔の大きさの設定と、抽出された顔の位置とを出力する。
【００２８】
図２に、図１に示される画像抽出装置で行なう画像抽出処理について、フローチャートを示す。
【００２９】
図２を参照して、画像入力部１０１より画像が入力されると（Ｓ１）、縮小画像生成部１０３において、階層化された縮小画像が作成される（Ｓ２）。ステップＳ１で入力された原画像と、ステップＳ２で縮小画像生成部１０３において作成された縮小画像とは、画像メモリ１０４に記憶される。以下の処理において、必要に応じて、画像メモリ１０４より読出される。
【００３０】
画像抽出装置では、ステップＳ２において作成された階層化された縮小画像のうち、顔の探索がなされていない最上位の階層の縮小画像があるか否かを判断する（Ｓ３）。
【００３１】
ステップＳ３において、顔の探索がなされていない、その時点での最上位の階層の縮小画像がある場合（Ｓ３でＹｅｓ）、その階層の縮小画像に探索領域が含まれているか否かを判断する（Ｓ４）。
【００３２】
抽出処理の開始時は、最上位の階層にある縮小画像から顔の探索が開始される。すなわち、最初の探索の階層である最上位の階層の縮小画像では、全ての領域が探索領域に設定されている。
【００３３】
ステップＳ４において、探索がなされていない最上位の階層の縮小画像に、探索領域が含まれている場合、画像切出し部１０５は、参照画像記憶部１０２に記憶されている参照画像の大きさにあわせて、縮小画像から部分画像を切出す（Ｓ５）。
【００３４】
ステップＳ５で切出された部分画像は、画像比較処理部１０６において、参照画像記憶部１０２に記憶されている参照画像と比較され（Ｓ６）、顔であるか否かが判断される（Ｓ７）。
【００３５】
ステップＳ７において、当該部分画像が顔領域であると判断された場合（Ｓ７でＹｅｓ）、判断された顔の位置と、抽出された階層の情報とが、顔位置記憶部１０９に記憶される（Ｓ８）。
【００３６】
探索を行なった部分画像が、属する縮小画像の探索領域の最後であるか否かが監視されており（Ｓ９）、当該階層の縮小画像に探索領域が残されているときは（Ｓ９でＹｅｓ）、探索を行なう領域を移動し（Ｓ１０）、他の部分画像に対してステップＳ４以降の処理を繰返す。
【００３７】
探索を行なった部分画像が、探索を行なう当該階層の縮小画像の探索領域の最後の部分画像であり、当該階層の縮小画像に探索領域が残されていないときは（Ｓ９でＮｏ）、探索領域設定部１０７は、当該階層での探索結果に基づいて、次層での探索領域を設定する（Ｓ１１）。また、ステップＳ１１で設定された探索領域は、探索領域記憶部１０８に記憶される。
【００３８】
画像抽出装置では、探索を行なう階層を次階層に移す（Ｓ１２）。次階層では、ステップＳ１１で設定された探索領域において、ステップＳ３以下に示される、画像抽出処理が繰返される。
【００３９】
以上の画像抽出処理は、縮小画像の最上位階層から最下位階層まで行なわれる。最下階層まで探索が行なわれ、探索すべき階層の縮小画像がなくなると、上述の画像抽出処理は終了される。
【００４０】
全階層の探索が終了すると（Ｓ３でＮｏ）、顔位置記憶部１０９に記憶された、抽出された顔の位置と、当該顔が抽出された階層の情報とに基づいて、顔位置調整出力部１１０では、抽出された顔の位置と大きさを示して抽出結果を出力する（Ｓ１３）。
【００４１】
さらに以下に具体例を挙げ、より詳細な説明を行なう。
図３に、画像ピラミッドの具体例を示す。図３に示される画像ピラミッドは、図２のステップＳ２において、縮小画像生成部１０３で作成され、画像メモリ１０４に記憶される。
【００４２】
縮小画像生成部１０３では、画像入力部１０１から入力された原画像に対して、適当な縮小比ｋで画像の縮小処理を行ない、原画像の階層化を行なう。図３に示される画像ピラミッドは、階層化された原画像を段階的に表わす。
【００４３】
縮小比ｋは、入力画像に対する縮小画像の縮小度合いを表わし、縮小比ｋが大きくなるに伴ない、縮小画像はより小さく縮小されるものとする。すなわち、縮小比ｋが大きくなるに伴ない、縮小画像の解像度は低くなる。
【００４４】
なお、縮小画像生成部１０３では、縮小処理において、画像のエイリアジング（アナログ信号を標本化する際の折返しエラー）を除去するために、フィルタリング処理が行なわれる。
【００４５】
また、抽出される顔領域が、画像全体に占める割合の最小値または最大値が既知の場合には、最上位階層または最下位階層の縮小率を上述の割合にあわせてもよい。すなわち、縮小画像生成部１０３においては、縮小処理にとらわれず、必要に応じて、入力画像の拡大処理が行なわれても構わない。したがって、図３において最下位階層は入力画像である原画像であると示されているが、上述の場合は入力画像でなく、拡大画像であっても、縮小画像であってもよい。
【００４６】
図２のステップＳ６において、画像比較処理部１０６は、図３に示される各階層の縮小画像から切出された部分画像を、参照画像記憶部１０２に記憶されている参照画像と比較することで、顔領域を探索する。
【００４７】
図４は、探索処理の具体例を示す図である。
図４では、入力画像が上段に、入力画像に対して縮小処理を行なった縮小画像が下段に示されている。また、図４では、（ａ）における縮小比ｋａが（ｂ）の縮小比ｋｂより大きいことが示されている。すなわち（ａ）に示される縮小画像の方が、（ｂ）に示される縮小画像よりも縮小率が大きい。
【００４８】
図２のステップＳ５において画像切出し部１０５は、縮小画像生成部１０３で縮小された縮小画像より、参照画像と同じ大きさの部分画像を切出す。部分画像は、入力画像の縦横にｎ画素ずつずらして、一定間隔毎に切出される。図４に示されるように、切出される間隔のｎ画素は、参照画像の大きさと等しいかまたはより小さく設定されることで、縮小画像の領域全体をもれなく探索することができる。
【００４９】
図４を参照して、図２のステップＳ６では、入力画像の端から探索が開始され、ステップＳ９およびＳ１０で、縦横にｎ画素毎ずらして切出された部分画像に沿って移動して探索が行なわれる。ステップＳ９およびＳ１０で移動して探索が行なわれることで、領域全体の探索が行なわれる。
【００５０】
図２のステップＳ６において行なわれる、参照画像と、切出された部分画像との比較および判定方法としては、例えばテンプレートマッチングやニューラルネットを用いた方法、またＳＶＭ（Support Vector Machine）などの手法が知られている。本発明においては、顔の比較判定方法について、上述の方法に限らずどのような方法を用いても構わないため、ここでの、比較判定方法についての具体的な説明は行なわない。
【００５１】
画像比較処理部１０６においては、参照画像と、部分画像とが比較されて顔領域であることが判断されるため、判断されるためには、縮小画像に含まれる顔の大きさが、参照画像と同じ大きさであることが必要である。したがって、顔の入力画像に占める面積が大きい場合には、図４の（ａ）に示されるように大きな縮小比ｋａにて縮小することで、顔の面積を参照画像と同じ大きさになるように縮小でき、参照画像との比較が可能になる。逆に、顔の入力画像に占める面積が小さい場合には、図４の（ｂ）に示されるように小さな縮小比ｋｂにて縮小する、または拡大することで、顔の面積を参照画像と同じ大きさになるように縮小または拡大でき、参照画像との比較が可能になる。
【００５２】
次に、図５は、探索領域設定処理の具体例を示す図である。図５の（ａ），（ｂ）および（ｃ）は、それぞれ、階層１，２および３の縮小画像を示す。また、階層１，２および３の縮小画像は、入力画像に対して、それぞれ縮小比ｋ１，ｋ２およびｋ３（ｋ１＞ｋ２＞ｋ３）にて縮小されているものとする。
【００５３】
図２のステップＳ３において、探索領域設定部１０７は、未探索階層を判断し、最上位階層から探索を開始するよう設定する。すなわち、当該階層の縮小画像中に占める参照画像の割合が最も大きい階層から探索が開始される。つまり、最も小さく縮小された、縮小比ｋが最も大きい階層の縮小画像から探索が開始される。
【００５４】
図５においては、上述の縮小比ｋの最も大きい階層の縮小画像は、（ａ）に示される階層１の縮小画像である。
【００５５】
図５（ａ）は、図２のステップＳ７において、参照画像と比較されて、領域１１が顔であると判断されたことを示している。
【００５６】
図２のステップＳ８において、顔位置記憶部１０９に、顔位置として図５（ａ）の領域１１と、階層の情報として階層１の縮小比ｋ１とが記憶される。顔層の情報は、縮小比ｋのみでなく、必要に応じて、その他の情報が記憶されてもよい。
【００５７】
引続いて図２のステップＳ１１では、探索領域設定部１０７は、ステップＳ８で記憶された顔位置と階層１の情報とに基づいて、次探索階層である階層２における探索領域を、図５（ｂ）に設定する。探索領域設定部１０７においては、前探索階層である階層１において顔であると判断された図５（ａ）の領域１１に対応する、図５（ｂ）の領域１２に対し、もはや顔は含まれないと判断される。したがって、次探索階層である階層２において、図５（ｂ）に斜線で示される領域１２を非探索領域として除かれた部分が、探索領域として設定される。また設定された探索領域は、探索領域記憶部１０８に記憶される。
【００５８】
さらに図２のステップＳ７において、画像比較処理部１０６で、参照画像と比較されて、図５（ｂ）の領域１３が顔であると判断される。さらに探索領域設定部１０７で、階層１での処理と同様に、次階層の設定が行なわれる。すなわち、探索領域設定部１０７は、図５（ｃ）に示される、次階層である階層３において、階層１の領域１１に対応する領域１２’および階層２の領域１３に対応する領域１４が非探索領域として除かれた部分を、探索領域に設定する。
【００５９】
図２のステップＳ６で画像比較処理部１０６において参照画像と部分画像とを比較する際、部分画像の領域の全てが、非探索領域である場合は、その部分画像と参照画像との比較は行なわれない。
【００６０】
上述のように、縮小比ｋの最も大きな最上位階層から探索処理を行なうことで、探索が次階層に移行する際に、第ｍ位階層の縮小画像の縮小比ｋｍと、第ｍ＋１位階層の縮小画像の縮小比ｋ（ｍ＋１）との比に応じて、非探索領域の大きさが拡大される。図３に示される画像ピラミッドの最下位階層になるまで、上述の探索を繰返すことで、下位階層に移行するほど非探索領域の大きさが拡大し、探索領域の大きさは縮小していく。したがって、最上位階層から最下位階層に向かって探索を行なうことで、参照画像との比較処理を実行する回数が少なくなり、未知の大きさの顔を効率よく抽出することができる。
【００６１】
なお、本実施の形態においては、入力された画像の中から、未知の大きさの顔を抽出する抽出方法について説明を行なったが、抽出対象は、顔に限定されず、その他の、未知の大きさの抽出対象を抽出することが考えられる。
【００６２】
また、本実施の形態においては、入力画像を縮小または拡大し、図３に示される画像ピラミッドを作成したが、入力画像の大きさは固定し、参照画像を縮小または拡大し、画像ピラミッドを作成してもよい。その場合、画像ピラミッドの最下位である、縮小比の小さい参照画像（一番大きい参照画像）から比較を行なうことで、上述の効率のよい顔の探索が実現される。
【００６３】
さらに、上述の画像抽出装置が行なう画像抽出方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータ読取り可能なプログラムである。
【００６４】
プログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどの記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００６５】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。
【００６６】
なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００６７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本実施の形態における画像抽出装置の構成を示すブロック図である。
【図２】図１に示される画像抽出装置で行なう画像抽出処理を表わすフローチャートである。
【図３】画像ピラミッドの具体例を示す図である。
【図４】探索処理の具体例を示す図である。
【図５】探索領域設定処理の具体例を示す図である。
【符号の説明】
１，２，３，ｍ階層、１１，１２，１２’，１３，１４非探索領域、１０１画像入力部、１０２参照画像記憶部、１０３縮小画像生成部、１０４画像メモリ、１０５画像切出し部、１０６画像比較処理部、１０７探索領域設定部、１０８探索領域記憶部、１０９顔位置記憶部、１１０顔位置調整出力部、ｋ，ｋａ，ｋｂ，ｋ１，ｋ２，ｋ３，ｋｍ，ｋ（ｍ＋１）縮小比、ｎ画素数。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image extraction device, an image extraction method, and an image extraction program, and more particularly to an image extraction device, an image extraction method, and an image extraction program that can efficiently extract an image.
[0002]
[Prior art]
One of the purposes of image extraction is to extract a face included in a given image in order to perform person authentication or work analysis. However, the size of the face included in the image is unknown due to the difference in distance between the objects and individual differences. Therefore, a technique for extracting a face whose size is unknown from the background included in the image is required.
[0003]
In the conventional image extraction technique, a method is used in which a reference image, which is a sample of a face, is used to compare a region in a given image while being scanned little by little to extract a face. An image pyramid with varying sizes of the reference image or a given image is formed, and all regions in the image are scanned with reference images of various sizes along the image pyramid.
[0004]
Further, in JP-A-7-49949, a correlation value between a search region (search point) and a reference image is obtained in the uppermost layer of an image pyramid having the lowest resolution, and a point cloud having a predetermined correlation value is created. An invention is disclosed in which target images are extracted by narrowing down representative points in the point group as search points for the next layer of the image pyramid.
[0005]
Further, in Japanese Patent Laid-Open No. 10-21389, the neighboring point at the candidate point extracted in the uppermost layer of the image pyramid having the lowest resolution is used for the search in the lower layer, and the correlation point calculation is performed by narrowing down the candidate points. An invention for reducing the number of times and extracting a target image at high speed is disclosed.
[0006]
[Problems to be solved by the invention]
However, in the above-described invention, a face having an arbitrary size cannot be extracted from a given image. That is, a face with a specific size can be extracted by comparing with a reference image, but a face with an unspecified size included in the image cannot be extracted.
[0007]
Further, when extracting a face of an arbitrary size using a conventional image extraction method, it is necessary to scan with reference images of various sizes, which is a time-consuming process.
[0008]
Therefore, an object of the present invention is to provide an image extraction apparatus, an image extraction method, and an image extraction program that can efficiently extract a target image (for example, a face) of an arbitrary size included in a given image. .
[0009]
[Means for Solving the Problems]
  In order to achieve the above object, according to one aspect of the present invention, an image extraction device is provided.An image extraction device for extracting an extraction target image from an input image,, Extraction vsElephantStorage means for storing an image;inputimageFor accepting inputInput means;inputMultiple imagesDifferent magnificationBy converting withInput imageTheEach converted at different magnificationConversion means for converting into an image group consisting of a plurality of images, and one image in the image group converted by the conversion means;Extraction target imageWhenTwo images ofUsing,By comparing the image to be extracted and the search area set for the input image converted by the conversion means,Extraction target from search areaimageExtractExtractMeans of exitIn the input imageSetting means for setting a search area.The extraction means performs the comparison in the order according to the magnification for each image in the image group, and the setting means performs the next magnification according to the magnitude of the magnification in the image group. When the next comparison is performed using the image of, each of the input images converted by the conversion means used for the next comparison corresponds to the area where the extraction target image was extracted in the respective comparisons up to immediately before The area excluding the area as the non-search area is set as the search area in the next comparison.
  Preferably, the setting means determines the area from which the extraction target image is extracted in each comparison up to immediately before the next comparison between the magnification of the input image used for each comparison and the magnification of the input image used for the next comparison. Based on the ratio, it is converted into a non-search area, and an area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is set as a search area in the next comparison.
  According to another aspect of the present invention, the image extraction device is an image extraction device for extracting an extraction target image from an input image, and includes a storage means for storing the extraction target image and an input for accepting the input of the input image. Means, conversion means for converting the extraction target image at a plurality of different magnifications to convert the extraction target image into an image group composed of a plurality of images respectively converted at different magnifications, and an image group converted by the conversion means Extracting from the search area by comparing the image to be extracted converted by the conversion means with the search area set for the input image using two images, one of the images and the input image Extraction means for extracting a target image and setting means for setting a search area in the input image. The extraction means performs the comparison in the order according to the magnification for each image in the image group, and the setting means performs the next magnification according to the magnitude of the magnification in the image group. When the next comparison is performed using the image of the above, an area obtained by removing each area corresponding to the area from which the extraction target image is extracted in each comparison up to immediately before the input image as a non-search area, Set as search area in next comparison.
[0010]
  Preferably, the extraction meansFrom the group of imagesCorresponds to the input image of the above two imagesimageArea ofAgainstOf the above two imagesExtraction targetCorresponding to imageimageOf areaImage with the highest percentageTherefore, the images converted at the above-mentioned magnifications are selected in order so that the ratio becomes smaller, and the comparison is performed..
  Preferably, the image extraction device is a group of images converted by the conversion unit used for comparison when the extraction target image is extracted by the extraction unit and the position of the extraction target image in the input image extracted by the extraction unit. Output means for outputting the magnification of one of the images as a result of extraction.
[0011]
  Of the present inventionfurtherAccording to another aspect, the image extraction method isA method for extracting an extraction target image from an input image in an image extraction apparatus storing the extraction target image.,inputimageAccept inputAn input step;Input imageMultipleDifferent magnificationBy converting withInput imageTheEach converted at different magnificationA conversion step for converting the image group to a plurality of images;A setting step for setting a search area which is an area for extracting an extraction target image in the input image;conversionStepOne image in the image group converted byExtraction target imageWhenTwo images ofUsing,By comparing the image to be extracted with the search area set for the input image converted in the conversion step,Search areaRaffleTargetimageExtractExtractStep outAndPrepare.In the extraction step, for each image in the image group, the comparison is performed in the order according to the magnification. In the setting step, the next step according to the magnification in the image group is performed in the extraction step. When the next comparison is performed using a magnification image, the input image converted in the conversion step used for the next comparison corresponds to the area from which the extraction target image was extracted in the previous comparison. A region obtained by removing each of the regions as a non-search region is set as a search region in the next comparison.
  Preferably, in the setting step, an area from which the extraction target image is extracted in each comparison up to immediately before the next comparison is calculated using the magnification of the input image used for each comparison and the magnification of the input image used for the next comparison. Based on the ratio, it is converted into a non-search area, and an area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is set as a search area in the next comparison.
  According to still another aspect of the present invention, an image extraction method is a method of extracting an extraction target image from an input image in an image extraction apparatus that stores the extraction target image, an input step for receiving input of the input image, and an extraction target By converting the image at a plurality of different magnifications, a conversion step for converting the extraction target image into a group of images each converted at a different magnification, and an area for extracting the extraction target image into the input image Using the setting step for setting a certain search area and the two images of the image group converted in the conversion step and the input image, the extraction target image converted in the conversion step and the input image And an extraction step of extracting an extraction target image from the search area by comparing with the search area set in the above. In the extraction step, the comparison is performed in the order according to the magnification for each image in the image group. In the setting step, the next magnification according to the magnification in the image group is extracted in the extraction step. When the next comparison is performed using the image of, each of the input images converted in the conversion step used for the next comparison corresponds to the area from which the extraction target image was extracted in the previous comparison. A region obtained by removing the region as a non-search region is set as a search region in the next comparison.
[0012]
  Preferably, in the extraction step,From the image group,Corresponds to the input image of the above two imagesimageArea ofAgainstOf the above two imagesExtraction targetCorresponding to imageimageOf areaImage with the highest percentageThen, select the images converted by the magnification in order so that the ratio becomes smaller and compare them..
  Preferably, in the image extraction method, the position of the extraction target image in the input image extracted in the extraction step and the image group converted in the conversion step used for comparison when the extraction target image is extracted in the extraction step And outputting the magnification of one of the images as a result of the extraction.
[0013]
  According to another aspect of the present invention, the image extraction program isA program for causing an image extraction apparatus that stores an extraction target image to execute processing for extracting the extraction target image from an input image.,inputimageAccept inputAn input step;Input imageMultipleDifferent magnificationBy converting withInput imageTheEach converted at different magnificationA conversion step for converting the image group to a plurality of images;A setting step for setting a search area which is an area for extracting an extraction target image in the input image;conversionStepOne image in the image group converted byExtraction target imageWhenTwo images ofUsing,By comparing the image to be extracted with the search area set for the input image converted in the conversion step,Search areaRaffleTargetimageExtractExtractStep out andCauses the image extracting apparatus to execute.In the extraction step, the comparison is performed in the order according to the magnification for each image in the image group. In the setting step, the next magnification according to the magnification in the image group is extracted in the extraction step. When the next comparison is performed using the image of, each of the input images converted in the conversion step used for the next comparison corresponds to the area from which the extraction target image was extracted in the previous comparison. A region obtained by removing the region as a non-search region is set as a search region in the next comparison.
  Preferably, in the setting step, an area from which the extraction target image is extracted in each comparison up to immediately before the next comparison is calculated using the magnification of the input image used for each comparison and the magnification of the input image used for the next comparison. Based on the ratio, it is converted into a non-search area, and an area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is set as a search area in the next comparison.
  According to another aspect of the present invention, an image extraction program is a program for causing an image extraction apparatus that stores an extraction target image to execute a process of extracting the extraction target image from the input image. An accepting input step, a conversion step for converting the extraction target image into a plurality of images respectively converted at different magnifications by converting the extraction target image at a plurality of different magnifications, and an extraction target image as the input image Extraction converted in the conversion step using two images: a setting step for setting a search area, which is an area for extracting images, and one image of the image group converted in the conversion step and an input image An extraction step for extracting an extraction target image from the search region by comparing the target image with the search region set for the input image is performed in the image extraction apparatus. To row. In the extraction step, each image in the image group is compared in the order according to the magnification. In the setting step, the next magnification according to the magnification in the image group is extracted in the extraction step. When the next comparison is performed using the image, each of the input images converted in the conversion step used for the next comparison corresponds to the area where the extraction target image is extracted in the respective comparisons up to immediately before. A region excluding the region as a non-search region is set as a search region in the next comparison.
[0014]
  Preferably, in the extraction step,From the image group,Corresponds to the input image of the above two imagesimageArea ofAgainstOf the above two imagesExtraction targetCorresponding to imageimageOf areaImage with the highest percentageThen, select the images converted by the magnification in order so that the ratio becomes smaller and compare them..
  Preferably, the image extraction program stores the position of the extraction target image in the input image extracted in the extraction step and the image group converted in the conversion step used for comparison when the extraction target image is extracted in the extraction step. The image extracting apparatus further executes a step of outputting the magnification of one of the images as a result of extraction.
[0015]
According to another aspect of the present invention, the recording medium is a computer-readable recording medium that records the above-described image extraction program.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0017]
FIG. 1 is a block diagram illustrating a configuration of an image extraction apparatus according to the present embodiment.
In the present embodiment, the following description will be given on the assumption that image extraction processing for extracting a face image from an input image is performed using the image extraction apparatus shown in FIG.
[0018]
Referring to FIG. 1, the image extraction apparatus includes an image input unit 101, a reference image storage unit 102, a reduced image generation unit 103, an image memory 104, an image cropping unit 105, an image comparison processing unit 106, A search area setting unit 107, a search area storage unit 108, a face position storage unit 109, and a face position adjustment output unit 110 are included.
[0019]
The image input unit 101 performs input from the outside of the image.
The reference image storage unit 102 stores a reference image for determining whether the face is a face. The reference image stored in the reference image storage unit 102 may be one or a plurality of images.
[0020]
The reduced image generation unit 103 performs processing of hierarchizing the image input from the image input unit 101 and storing it in the image memory 104. The reduced images hierarchized in the reduced image generation unit 103 will be described in detail later.
[0021]
The image memory 104 stores the original image input from the image input unit 101 and the reduced images hierarchized by the reduced image generation unit 103.
[0022]
The image cutout unit 105 cuts out a partial image from the original image input from the image input unit 101 or the reduced image hierarchized by the reduced image generation unit 103 in order to perform comparison reference processing by the image comparison processing unit 106. put out.
[0023]
The image comparison processing unit 106 compares the reference image stored in the reference image storage unit 102 with the partial image created by the image cutout unit 105, and determines whether the partial image created by the image cutout unit 105 is a face. Judge whether or not to extract the face.
[0024]
The search area setting unit 107 sets a search area for the image comparison processing unit 106 to determine whether the face is a face for the reduced images hierarchized by the reduced image generation unit 103.
[0025]
The search area storage unit 108 stores the search area setting in the search area setting unit 107.
[0026]
The face position storage unit 109 stores the face position extracted by the image comparison processing unit 106 and the information of the hierarchy from which the face is extracted.
[0027]
The face position adjustment output unit 110 sets the size of the face extracted in each layer based on the layer from which the face is extracted, and outputs the face size setting and the extracted face position To do.
[0028]
FIG. 2 shows a flowchart of image extraction processing performed by the image extraction apparatus shown in FIG.
[0029]
Referring to FIG. 2, when an image is input from image input unit 101 (S1), reduced image generation unit 103 creates a hierarchical reduced image (S2). The original image input in step S1 and the reduced image created in the reduced image generation unit 103 in step S2 are stored in the image memory 104. In the following processing, it is read from the image memory 104 as necessary.
[0030]
In the image extracting apparatus, it is determined whether there is a reduced image of the highest hierarchy that has not been searched for a face among the hierarchical reduced images created in step S2 (S3).
[0031]
In step S3, when there is a reduced image of the highest hierarchy at that time point where no face search has been performed (Yes in S3), it is determined whether or not a search area is included in the reduced image of that hierarchy. (S4).
[0032]
At the start of the extraction process, a face search is started from the reduced image in the highest hierarchy. That is, in the reduced image of the highest hierarchy, which is the first search hierarchy, all areas are set as search areas.
[0033]
In step S <b> 4, when the search region is included in the reduced image of the highest hierarchy that has not been searched, the image cropping unit 105 matches the size of the reference image stored in the reference image storage unit 102. Then, the partial image is cut out from the reduced image (S5).
[0034]
The partial image extracted in step S5 is compared with the reference image stored in the reference image storage unit 102 in the image comparison processing unit 106 (S6), and it is determined whether or not it is a face (S7). .
[0035]
If it is determined in step S7 that the partial image is a face region (Yes in S7), the determined face position and the extracted hierarchy information are stored in the face position storage unit 109 ( S8).
[0036]
It is monitored whether or not the partial image that has been searched is the end of the search area of the reduced image to which it belongs (S9), and when the search area remains in the reduced image of the hierarchy (Yes in S9). Then, the region to be searched is moved (S10), and the processes after step S4 are repeated for the other partial images.
[0037]
When the partial image that has been searched is the last partial image of the search area of the reduced image of the hierarchy to be searched, and no search area remains in the reduced image of the hierarchy (No in S9), the search area The setting unit 107 sets a search area in the next layer based on the search result in the hierarchy (S11). Also, the search area set in step S11 is stored in the search area storage unit 108.
[0038]
In the image extracting apparatus, the hierarchy for searching is moved to the next hierarchy (S12). In the next hierarchy, the image extraction process shown in step S3 and subsequent steps is repeated in the search area set in step S11.
[0039]
The above image extraction processing is performed from the highest layer to the lowest layer of the reduced image. The search is performed up to the lowest hierarchy, and when there are no reduced images in the hierarchy to be searched, the above-described image extraction process is terminated.
[0040]
When the search of all layers is completed (No in S3), the face position adjustment output unit is based on the extracted face position stored in the face position storage unit 109 and the information of the layer from which the face is extracted. At 110, the extraction result is output indicating the position and size of the extracted face (S13).
[0041]
Further specific examples will be given below for further detailed explanation.
FIG. 3 shows a specific example of the image pyramid. The image pyramid shown in FIG. 3 is created by the reduced image generation unit 103 and stored in the image memory 104 in step S2 of FIG.
[0042]
In the reduced image generation unit 103, the original image input from the image input unit 101 is subjected to image reduction processing at an appropriate reduction ratio k, and the original image is hierarchized. The image pyramid shown in FIG. 3 represents the hierarchized original image stepwise.
[0043]
The reduction ratio k represents the degree of reduction of the reduced image with respect to the input image, and the reduced image is reduced to a smaller size as the reduction ratio k increases. That is, as the reduction ratio k increases, the resolution of the reduced image decreases.
[0044]
Note that the reduced image generation unit 103 performs a filtering process in the reduction process in order to remove image aliasing (an aliasing error when sampling an analog signal).
[0045]
In addition, when the minimum value or the maximum value of the ratio of the extracted face area in the entire image is known, the reduction ratio of the highest hierarchy or the lowest hierarchy may be adjusted to the above-described ratio. That is, the reduced image generation unit 103 may perform an input image enlargement process as necessary without being limited by the reduction process. Therefore, although the lowest hierarchy is shown in FIG. 3 as an original image that is an input image, in the above-described case, it may be an enlarged image or a reduced image instead of an input image.
[0046]
In step S6 of FIG. 2, the image comparison processing unit 106 compares the partial image cut out from the reduced image of each layer shown in FIG. 3 with the reference image stored in the reference image storage unit 102. Search the face area.
[0047]
FIG. 4 is a diagram illustrating a specific example of the search process.
In FIG. 4, the input image is shown in the upper stage, and the reduced image obtained by performing the reduction process on the input image is shown in the lower stage. 4 shows that the reduction ratio ka in (a) is larger than the reduction ratio kb in (b). That is, the reduced image shown in (a) has a higher reduction ratio than the reduced image shown in (b).
[0048]
In step S <b> 5 of FIG. 2, the image cutout unit 105 cuts out a partial image having the same size as the reference image from the reduced image reduced by the reduced image generation unit 103. The partial images are cut out at regular intervals by shifting n pixels vertically and horizontally from the input image. As shown in FIG. 4, the n pixels of the cut-out interval are set to be equal to or smaller than the size of the reference image, so that the entire area of the reduced image can be searched without exception.
[0049]
Referring to FIG. 4, in step S6 of FIG. 2, the search is started from the end of the input image, and in steps S9 and S10, the search is performed by moving along the partial image extracted by shifting n pixels vertically and horizontally. Is done. The entire region is searched by moving and searching in steps S9 and S10.
[0050]
As a comparison and determination method between the reference image and the cut out partial image performed in step S6 in FIG. 2, for example, a method using template matching or a neural network, or a method such as SVM (Support Vector Machine) is used. Are known. In the present invention, the face comparison / determination method is not limited to the above-described method, and any method may be used. Therefore, the comparison / determination method is not specifically described here.
[0051]
In the image comparison processing unit 106, the reference image and the partial image are compared to determine the face area. Therefore, in order to determine, the size of the face included in the reduced image is determined based on the reference image. Must be the same size. Therefore, when the area occupied by the face input image is large, the face area is made the same size as the reference image by reducing with a large reduction ratio ka as shown in FIG. And can be compared with a reference image. Conversely, when the area occupied by the face input image is small, the face area is the same as that of the reference image by reducing or enlarging with a small reduction ratio kb as shown in FIG. The image can be reduced or enlarged to a size, and can be compared with a reference image.
[0052]
Next, FIG. 5 is a diagram showing a specific example of the search area setting process. (A), (b), and (c) of FIG. 5 show the reduced images of the hierarchies 1, 2, and 3, respectively. Further, the reduced images of the layers 1, 2 and 3 are assumed to be reduced with respect to the input image at reduction ratios k1, k2 and k3 (k1> k2> k3), respectively.
[0053]
In step S3 of FIG. 2, the search area setting unit 107 determines an unsearched hierarchy and sets the search to start from the highest hierarchy. In other words, the search is started from the layer having the largest ratio of the reference image in the reduced image of the layer. That is, the search is started from the reduced image of the hierarchy that has been reduced the smallest and has the largest reduction ratio k.
[0054]
In FIG. 5, the reduced image of the hierarchy having the largest reduction ratio k is the reduced image of the hierarchy 1 shown in (a).
[0055]
FIG. 5A shows that the region 11 is determined to be a face by comparison with the reference image in step S7 of FIG.
[0056]
In step S8 of FIG. 2, the face position storage unit 109 stores the area 11 of FIG. 5A as the face position and the reduction ratio k1 of the hierarchy 1 as the hierarchy information. As the face layer information, not only the reduction ratio k but other information may be stored as necessary.
[0057]
Subsequently, in step S11 of FIG. 2, the search area setting unit 107 selects a search area in hierarchy 2 as the next search hierarchy based on the face position stored in step S8 and the information of hierarchy 1 in FIG. Set to b). In the search area setting unit 107, the face is no longer included in the area 12 of FIG. 5B corresponding to the area 11 of FIG. 5A that is determined to be a face in the previous search hierarchy 1. It is judged that it is not possible. Therefore, in the hierarchy 2 which is the next search hierarchy, a portion obtained by removing the area 12 indicated by hatching in FIG. 5B as a non-search area is set as the search area. The set search area is stored in the search area storage unit 108.
[0058]
Further, in step S7 of FIG. 2, the image comparison processing unit 106 compares the image with the reference image, and determines that the region 13 of FIG. 5B is a face. Further, the search area setting unit 107 sets the next hierarchy in the same manner as the process in hierarchy 1. That is, the search area setting unit 107 determines that the area 12 ′ corresponding to the area 11 of the hierarchy 1 and the area 14 corresponding to the area 13 of the hierarchy 2 are not shown in the hierarchy 3 as the next hierarchy shown in FIG. The portion removed as the search area is set as the search area.
[0059]
When the image comparison processing unit 106 compares the reference image and the partial image in step S6 in FIG. 2, if all the partial image areas are non-search areas, the partial image and the reference image are compared. I can't.
[0060]
As described above, by performing the search process from the highest hierarchy with the largest reduction ratio k, when the search moves to the next hierarchy, the reduction ratio km of the reduced image of the mth hierarchy and the m + 1st hierarchy The size of the non-search area is enlarged according to the ratio with the reduction ratio k (m + 1) of the reduced image. By repeating the above-described search until the lowest level of the image pyramid shown in FIG. 3 is reached, the size of the non-search area increases and the size of the search area decreases as the level shifts to the lower level. Therefore, by performing a search from the highest hierarchy to the lowest hierarchy, the number of times of performing comparison processing with the reference image is reduced, and faces of unknown sizes can be efficiently extracted.
[0061]
In the present embodiment, an extraction method for extracting a face having an unknown size from an input image has been described. However, the extraction target is not limited to a face, and other unknown It is conceivable to extract a size extraction target.
[0062]
In this embodiment, the input image is reduced or enlarged to create the image pyramid shown in FIG. 3. However, the size of the input image is fixed and the reference image is reduced or enlarged to create the image pyramid. May be. In that case, the above-described efficient face search is realized by performing comparison from the reference image with the smallest reduction ratio (the largest reference image), which is the lowest part of the image pyramid.
[0063]
Furthermore, an image extraction method performed by the above-described image extraction apparatus can be provided as a program. Such a program is a computer-readable program.
[0064]
The program may be recorded on a recording medium such as a flexible disk attached to the computer, a CD-ROM, a ROM, a RAM, and a memory card, and provided as a program product. Alternatively, the program can be provided by being recorded on a recording medium such as a hard disk built in the computer. A program can also be provided by downloading via a network.
[0065]
The provided program product is installed in a program storage unit such as a hard disk and executed.
[0066]
The program product includes the program itself and a recording medium on which the program is recorded.
[0067]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image extraction apparatus in the present embodiment.
FIG. 2 is a flowchart showing image extraction processing performed by the image extraction apparatus shown in FIG.
FIG. 3 is a diagram illustrating a specific example of an image pyramid.
FIG. 4 is a diagram illustrating a specific example of search processing.
FIG. 5 is a diagram illustrating a specific example of search area setting processing;
[Explanation of symbols]
1, 2, 3, m hierarchy, 11, 12, 12 ′, 13, 14 Non-search area, 101 image input unit, 102 reference image storage unit, 103 reduced image generation unit, 104 image memory, 105 image cutout unit, 106 Image comparison processing unit 107 Search region setting unit 108 Search region storage unit 109 Face position storage unit 110 Face position adjustment output unit k, ka, kb, k1, k2, k3, km, k (m + 1) Reduction ratio , N Number of pixels.

Claims

An image extraction device for extracting an extraction target image from an input image,
Storage means for storing the extracted pair Zoga image,
Input means for receiving input of the input image;
Converting means for converting the input image into a plurality of images respectively converted at the different magnifications by converting the input image at a plurality of different magnifications ;
Using two images , one image of the image group converted by the conversion means and the extraction target image , set for the extraction target image and the input image converted by the conversion means by performing a comparison of the search area, and extraction means that to extract the search region into a front Symbol extraction target image,
Setting means for setting the search area in the input image ,
The extraction means performs the comparison in the order according to the magnification for each image in the image group,
The setting means uses the conversion used in the next comparison when the extraction means performs the next comparison using an image of the next magnification according to the magnification of the image group. For the input image converted by the means, a region obtained by removing each region corresponding to the region from which the extraction target image is extracted in each comparison up to immediately before is extracted as a non-search region. to set as a search area, the image extracting apparatus.

The setting means uses the input image used for the next comparison with the magnification of the input image used for each comparison, and the area from which the extraction target image was extracted in each comparison until immediately before the next comparison. Based on the ratio with the magnification of the image, it is converted into the non-search area, and the area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is used as the next comparison. The image extracting apparatus according to claim 1, wherein the image extracting apparatus is set as the search area.

An image extraction device for extracting an extraction target image from an input image,
Storage means for storing the extracted pair Zoga image,
Input means for receiving input of the input image;
By converting the extracted Target images in a plurality of different magnifications, and converting means for converting the image group including a plurality of images of the extracted target image is converted respectively by the different magnifications,
Using two images of the first image and the input image of the transformed images in the converting means, the search set for the converted the extraction target image and the input image by the converting means by performing the comparison between the regions, and the extraction means that to extract the search region into a front Symbol extraction target image,
Setting means for setting the search area in the input image ,
The extraction means performs the comparison in the order according to the magnification for each image in the image group,
The setting unit is configured to immediately before the input image, when the extraction unit performs the next comparison using an image with the next magnification according to the magnification of the image group. until the respective region excluding the respective areas corresponding to the extraction target image is extracted area as a non-search area in comparison, to set as the search area in the next comparison, the image extracting apparatus.

The extraction unit has an area of an image corresponding to the extraction target image of the two images with respect to an area of the image corresponding to the input image of the two images. The image extracting apparatus according to claim 1, wherein the comparison is performed by sequentially selecting images converted at the magnification so that the ratio is in ascending order from an image having the largest ratio.

The position of the extraction target image in the input image extracted by the extraction unit and the image group converted by the conversion unit used for the comparison when the extraction target image is extracted by the extraction unit The image extracting apparatus according to claim 1, further comprising an output unit configured to output a magnification of the first image as a result of the extraction.

A method of extracting the extraction target image from an input image in an image extraction device storing the extraction target image,
An input step for receiving an input of the input image;
Converting the input image at a plurality of different magnifications to convert the input image into a group of images each converted at the different magnifications ; and
A setting step of setting a search area that is an area for extracting the extraction target image in the input image;
Using two images , one image of the image group converted in the conversion step and the extraction target image , set for the extraction target image and the input image converted in the conversion step wherein by performing the comparison of the search area, and a step out extraction you extract the search region into a front Symbol extraction target image,
In the extraction step, for each image in the image group, the comparison is performed in the order according to the magnification.
In the setting step, in the extraction step, when the next comparison is performed using an image of the next magnification according to the magnification of the image group, the conversion used for the next comparison is performed. For the input image converted in the step, a region obtained by removing each region corresponding to the region from which the extraction target image is extracted in each comparison up to immediately before is extracted as a non-search region. to set as a search area, an image extraction method.

In the setting step, an area where the extraction target image is extracted in the respective comparisons up to immediately before the next comparison is used as the magnification of the input image used for the respective comparisons and the input used for the next comparison. Based on the ratio with the magnification of the image, it is converted into the non-search area, and the area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is used as the next comparison. The image extraction method according to claim 6, wherein the image extraction method is set as the search area in the image.

A method of extracting the extraction target image from an input image in an image extraction device storing the extraction target image,
An input step for receiving an input of the input image;
By converting the extracted Target images in a plurality of different magnifications, a conversion step of converting the image group including a plurality of images of the extracted target image is converted respectively by the different magnifications,
A setting step of setting a search area that is an area for extracting the extraction target image in the input image;
Using the two images of the image group converted in the conversion step and the input image , the extraction target image converted in the conversion step and the input image are set. by performing a comparison of the search area, and a extraction step extract the search region into a front Symbol extraction target image,
In the extraction step, for each image in the image group, the comparison is performed in the order according to the magnification.
In the setting step, in the extraction step, when the next comparison is performed using an image of the next magnification according to the magnification of the image group, the conversion used for the next comparison is performed. For the input image converted in the step, a region obtained by removing each region corresponding to the region from which the extraction target image is extracted in each comparison up to immediately before is extracted as a non-search region. to set as a search area, an image extraction method.

In the extraction step, the area of the image corresponding to the extraction target image of the two images is compared with the area of the image corresponding to the input image of the two images. The image extraction method according to any one of claims 6 to 8, wherein the comparison is performed by sequentially selecting images converted at the magnification so that the ratio becomes smaller from an image having the largest ratio.

The position of the extraction target image in the input image extracted in the extraction step and the image group converted in the conversion step used for the comparison when the extraction target image is extracted in the extraction step. The image extraction method according to claim 6, further comprising a step of outputting a magnification of the first image in the image as a result of the extraction.

A program for causing an image extraction apparatus that stores an extraction target image to execute a process of extracting the extraction target image from an input image,
An input step for receiving an input of the input image;
Converting the input image at a plurality of different magnifications to convert the input image into a group of images each converted at the different magnifications ; and
A setting step of setting a search area that is an area for extracting the extraction target image in the input image;
Using two images , one image of the image group converted in the conversion step and the extraction target image , set for the extraction target image and the input image converted in the conversion step wherein by performing the comparison of the search area, and a step out extraction you extract the search region into a front Symbol extraction target image is executed by the image extracting apparatus,
In the extraction step, for each image in the image group, the comparison is performed in the order according to the magnification.
In the setting step, in the extraction step, when the next comparison is performed using an image of the next magnification according to the magnification of the image group, the conversion used for the next comparison is performed. For the input image converted in the step, a region obtained by removing each region corresponding to the region from which the extraction target image is extracted in each comparison up to immediately before is extracted as a non-search region. An image extraction program that is set as a search area .

In the setting step, an area where the extraction target image is extracted in the respective comparisons up to immediately before the next comparison is used as the magnification of the input image used for the respective comparisons and the input used for the next comparison. Based on the ratio with the magnification of the image, it is converted into the non-search area, and the area obtained by removing the non-search area from the input image converted by the conversion means used for the next comparison is used as the next comparison. The image extraction program according to claim 11, wherein the image extraction program is set as the search area.

A program for causing an image extraction apparatus that stores an extraction target image to execute a process of extracting the extraction target image from an input image,
An input step for receiving an input of the input image;
By converting the extracted Target images in a plurality of different magnifications, a conversion step of converting the image group including a plurality of images of the extracted target image is converted respectively by the different magnifications,
A setting step of setting a search area that is an area for extracting the extraction target image in the input image;
Using the two images of the image group converted in the conversion step and the input image , the extraction target image converted in the conversion step and the input image are set. by performing a comparison of the search area, and a step out extraction you extract the search region into a front Symbol extraction target image is executed by the image extracting apparatus,
In the extraction step, for each image in the image group, the comparison is performed in the order according to the magnification.
In the setting step, in the extraction step, when the next comparison is performed using an image of the next magnification according to the magnification of the image group, the conversion used for the next comparison is performed. For the input image converted in the step, a region obtained by removing each region corresponding to the region from which the extraction target image is extracted in each comparison up to immediately before is extracted as a non-search region. An image extraction program that is set as a search area .

In the extraction step, the area of the image corresponding to the extraction target image of the two images is compared with the area of the image corresponding to the input image of the two images. The image extraction program according to any one of claims 11 to 13, wherein the comparison is performed by sequentially selecting images converted at the magnification so that the ratio becomes smaller from an image having the largest ratio.

The position of the extraction target image in the input image extracted in the extraction step and the image group converted in the conversion step used for the comparison when the extraction target image is extracted in the extraction step. The image extraction program according to claim 11, further causing the image extraction apparatus to execute a step of outputting a magnification of the first image as a result of the extraction.

A computer-readable recording medium on which the image extraction program according to any one of claims 11 to 15 is recorded.