JP2008027058A - Image detection apparatus and image detection method - Google Patents
Image detection apparatus and image detection method Download PDFInfo
- Publication number
- JP2008027058A JP2008027058A JP2006197156A JP2006197156A JP2008027058A JP 2008027058 A JP2008027058 A JP 2008027058A JP 2006197156 A JP2006197156 A JP 2006197156A JP 2006197156 A JP2006197156 A JP 2006197156A JP 2008027058 A JP2008027058 A JP 2008027058A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection
- area
- face image
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】顔画像検出装置が顔画像を検出する際の検出精度を向上させる。
【解決手段】顔画像検出領域分類部133は、領域13Aに分類された相対指標を有する基準領域200A,被判別領域200Bについては、同一人物の顔画像検出領域として判別し、領域13Bに分類された相対指標を有する基準領域200A,被判別領域200Bについては、異なる人物の顔画像検出領域として判別し、領域13C及び領域13Dに分類された相対指標を有する基準領域200A,被判別領域200Bについては、被判別領域200Bを誤検出領域として判別する。
【選択図】図12To improve detection accuracy when a face image detection device detects a face image.
A face image detection area classification unit 133 determines a reference area 200A and a determination area 200B having relative indices classified as an area 13A as face image detection areas of the same person, and is classified as an area 13B. The reference area 200A and the identified area 200B having the relative indices are determined as the face image detection areas of different persons, and the reference area 200A and the identified area 200B having the relative indices classified into the areas 13C and 13D are identified. The discriminated area 200B is discriminated as an erroneous detection area.
[Selection] Figure 12
Description
本発明は、画像から所定の画像を検出する画像検出装置及びその方法に関する。 The present invention relates to an image detection apparatus and method for detecting a predetermined image from an image.
入力画像から顔画像等の所定の画像を検出する技術は、例えば、顔の有無の判別、顔の識別、顔のパーツの検出のための前処理等として利用されている。 A technique for detecting a predetermined image such as a face image from an input image is used as, for example, pre-processing for determining the presence or absence of a face, identifying a face, and detecting a face part.
入力画像から顔画像を検出する顔画像検出装置には、例えば、本来の顔画像領域の周辺にある複数の領域を検出するものがある。一般的に、このような顔画像検出装置では、複数の検出結果の内、所定のスコア値が最大である検出結果を選択する方法を用いるが、例えば、顔画像を探索する際の探索幅や画像の縮小倍率が離散的な値であること等に起因して、選択された検出結果が離散的な値になる場合がある。 Some face image detection devices that detect a face image from an input image, for example, detect a plurality of areas around the original face image area. In general, such a face image detection device uses a method of selecting a detection result having a maximum predetermined score value from among a plurality of detection results. For example, a search width when searching for a face image, The selected detection result may be a discrete value due to the fact that the reduction ratio of the image is a discrete value.
そこで、例えば、以下の特許文献1に示すように、解像度が異なる複数の画像において、各スケールの平均値を用いて検出された顔画像領域を安定化する方法がある。
Therefore, for example, as shown in
しかしながら、特許文献1に記載されている技術では、2人以上の人物の顔領域が互いに非常に接近している場合や、誤検出によって本来の顔画像領域の非常に近くに検出結果が得られてしまう場合がある。このような技術では、複数の顔検出領域から顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択しないと、検出精度が大きく低下してしまうことになる。
However, in the technique described in
本発明は、このような従来の実情に鑑みて提案されたものであり、検出された顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択する画像検出装置及びその方法を提供することを目的とする。 The present invention has been proposed in view of such a conventional situation, and an image detection apparatus and method for appropriately selecting a face detection area used for calculation for stabilizing a detected face image area The purpose is to provide.
上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出装置において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段とを備えることを特徴とする。 In order to achieve the above-described object, the present invention provides an image detection apparatus that detects a predetermined image from an input image, from the input image every time the relative size between the detection target area of the predetermined size and the input image is changed. Image discriminating means that scans and cuts out the detection target area so as to move by predetermined pixels, determines whether or not the image in the cut out detection target area is the predetermined image, and outputs a discrimination result And when the image discriminating means discriminates that the image in the detection target area is the predetermined image, the relative relationship between the two detection areas including the reference area and the discrimination area detected for the predetermined image is determined. Index value calculation means for calculating a predetermined index value based on the position and relative size, and classification based on the predetermined index value calculated by the index value calculation means Serial to be discrimination region, characterized in that it comprises a detection area determining means for determining whether or not to adopt the calculation process for generating a detection result of the predetermined image.
また、上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程とを有することを特徴とする。 In order to achieve the above-described object, the present invention provides an image detection method for detecting a predetermined image from an input image every time the relative size between a detection target region of a predetermined size and the input image is changed. An image that scans and cuts out the detection target area from the image so as to move by predetermined pixels, determines whether or not the image in the cut out detection target area is the predetermined image, and outputs a determination result If the image in the detection target region is determined to be the predetermined image in the determination step and the image determination step, two detections including a reference region and a determination target region detected for the predetermined image An index value calculation step for calculating a predetermined index value based on the relative position and relative size of the region, and a classification based on the predetermined index value calculated in the index value calculation step To be discrimination area, and having a detection region determination step of determining whether to employ the calculation process for generating a detection result of the predetermined image.
本発明は、入力画像から所定の画像を検出する画像検出装置及びその方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力し、上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出し、上記算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別することにより、従来の画像検出装置及びその方法に比べて所定の画像の検出領域をより安定化させることができる。 The present invention relates to an image detection apparatus and method for detecting a predetermined image from an input image, and the detection target region is determined from the input image every time the relative size between the detection target region of a predetermined size and the input image is changed. The image is scanned and moved so as to move each pixel, and it is determined whether or not the image in the detected detection area is the predetermined image, and the determination result is output. The image in the detection target area is When it is determined that the image is the predetermined image, a predetermined index value is calculated based on the relative position and the relative size of the two detection regions including the reference region and the determination target region detected for the predetermined image, It is discriminated whether or not the discriminated area classified based on the calculated predetermined index value is adopted in a calculation process for generating a detection result of the predetermined image. And it makes it possible to further stabilize the detection area of a predetermined image as compared with the conventional image sensing apparatus and method.
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.
図1は、本発明を適用した一実施形態における顔画像検出装置1を示す図である。顔画像検出装置1は、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力するものである。
FIG. 1 is a diagram showing a face
顔画像検出装置1は、例えば図2に示す内部構成を備えたパーソナルコンピュータとして構成される。
The face
図2に示すように、顔画像検出装置1は、例えばキーボード、マウス等を介してユーザの操作情報が入力される操作部11と、例えばデジタルカメラ、テレビジョン装置、ストレージ等より画像データが入力される画像入力部12と、入力された画像データに基づく画像中から顔画像を検出する顔画像検出部13と、画像データを記録する記録部14と、所定の画像処理を行ってディスプレイに画像を出力する画像出力部15と、バッファメモリ、RAM(Random Access Memory)、顔画像検出プログラムが記録されているROM(Read Only Memory)、CPU(Central Processing Unit)等を備えて顔画像検出装置1の信号処理全般を制御する制御部16とが内部バス17に接続されることにより構成される。
As shown in FIG. 2, the face
顔画像検出部13は、図3に示すように、顔画像判別部131と、判別指標値算出部132と、顔画像検出領域分類部133と、顔画像領域平均化部134とを備えて構成される。
As shown in FIG. 3, the face
顔画像判別部131は、制御部16の制御動作に基づいて画像入力部12を介して画像データが入力されると、入力された画像データに基づく80×100画素の画像100Aにおいて、顔画像を判別するための20×20画素の矩形領域101を、図4(A)に示す画像100Aの左上端から2画素ずつ右方向又は下方向に移動させ、図4(C)に示す画像100Aの右下端まで到達させる。顔画像判別部131は、矩形領域101を2画素ずつ移動させるごとに矩形領域101の画像をスキャンして切り出し、この矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。
When image data is input via the
すなわち、顔画像判別部131は、例えば、サポート・ベクタ・マシーン(Support Vector Machine:SVM)、アダブースト等のブースティング、局所特徴量等の方法によって、矩形領域101中に存在する画像と予め設定された顔画像との大きさ及び相関度を比較することにより、矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。
That is, the face image
そして、顔画像判別部131は、予め設定された顔画像との相関度を示すスコア値Siを算出し、スコア値Siがある一定の閾値以上である場合には、矩形領域101中に存在する所定の画像が顔画像であると判別する。
Then, the face
顔画像判別部131は、図4(A)に示す画像100Aの左上端から図4(C)に示す画像100Aの右下端まで矩形領域101を移動させながらスキャン及び切り出し処理を行う中で、図4(B)に示すように、矩形領域101中に存在する所定の画像が顔画像であると判別した場合、この矩形領域101の左上端におけるxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiを算出し、このxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiと、判別結果となるスコア値Siとを続く判別指標値算出部132に供給する。
The face image
なお、スコア値Siは、検出された顔画像の形状が予め設定された一般的な人物の顔の形状に近いほど高いスコア値Siが算出されるようにしてもよいし、他の算出方法により算出されるようにしてもよい。 Note that the score value S i, may also be higher score values S i is close to the shape of the face of the face image detected common person shape is preset is calculated, the calculation of the other It may be calculated by a method.
一方、顔画像判別部131は、矩形領域101中に存在する所定の画像が顔画像ではないと判別した場合、上述した算出処理は一切行わずに矩形領域101を2画素移動させて、同様の顔画像判別処理を行う。
On the other hand, when the face
顔画像判別部131は、画像100Aにおいて、矩形領域101を画像100Aの右下端まで移動させた後、図4(D)に示すように、画像100Aを所定の倍率で縮小させ(この画像を画像100Bとする。)、画像100Bにおいて、画像100Aでの処理と同様に20×20画素の矩形領域101を画像100B上の左上端から2画素ずつ右方向又は下方向に移動させる毎に矩形領域101をスキャンして切り出し、矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。
The face image
顔画像判別部131は、図4(E)に示すように、画像100B上の右下端まで矩形領域101を移動させた後、何れの位置においても矩形領域101中に存在する所定の画像が顔画像ではないと判別した場合、図4(F)に示すように、画像100Bを所定の倍率で縮小し(この画像を画像100Cとする。)、この画像100Cにおいて、画像100A,100Bでの処理と同様に、20×20画素の矩形領域101を画像100C上の左上端から右下端まで2画素ずつ右方向又は下方向に移動させるごとに矩形領域101をスキャンして切り出し、矩形領域101中に存在する所定の画像が顔画像であるか否かを、スコア値Siを算出して判別する。
As shown in FIG. 4E, the face image
顔画像判別部131は、矩形領域101を図4(F)に示す画像100Cの左上端から図4(H)に示す画像100Cの右下端まで移動させながらスキャン及び切り出し処理を行う中で、図4(G)に示すように、矩形領域101中に存在する所定の画像が顔画像であると判別した場合、この矩形領域101の左上端におけるxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiを算出し、そして、顔画像判別部131は、xy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiと所定のスコア値Siとを続く判別指標値算出部132に供給する。
The face image
顔画像判別部131は、図4(I)に示すように、画像の一辺の長さが矩形領域101の一辺の長さと同じになるまで縮小した画像100Dにおいて、上述の顔画像判別処理と同様の処理を行い、図4(J)に示すように、矩形領域101を画像100Dの右端まで到達させた後、一連の処理を終了させる。
As shown in FIG. 4I, the face
ここで、顔画像判別部131の処理動作を図5のフローチャートを用いて説明する。
Here, the processing operation of the face
ステップS1において、顔画像判別部131には、制御部16の制御動作に基づいて画像入力部12を介して画像データが入力される。
In step S <b> 1, image data is input to the face
ステップS2において、顔画像判別部131は、画像データに基づく画像の一部である矩形領域101のスキャン及び切り出し処理を行う。
In step S <b> 2, the face
ステップS3において、顔画像判別部131は、画像における矩形領域101中に存在する画像が顔画像であるか否かを、スコア値Siを算出して判別する。このステップS3において、顔画像判別部131は、矩形領域101中に存在する画像が顔画像であると判別した場合、ステップS4に進む。一方、このステップS3において、顔画像判別部131は、矩形領域101中に存在する画像が顔画像でないと判別した場合、ステップS5に進む。
In step S <b> 3, the face
ステップS4において、顔画像判別部131は、矩形領域101左上端におけるxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiを算出し、xy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiとスコア値Siとを判別指標値算出部132に供給する。
In step S4, the face
ステップS5において、顔画像判別部131は、画像上の矩形領域101を右方向又は下方向に2画素移動させる。
In step S5, the face
ステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達したか否か、すなわち、画像全体における矩形領域101のスキャン及び切り出し処理が終了したか否かを判断する。このステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達したと判断した場合、ステップS7に進む。一方、このステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達していないと判断した場合、ステップS2に戻り、ステップS2〜ステップS6の処理動作を繰り返す。
In step S <b> 6, the face
ステップS7において、顔画像判別部131は、画像を所定の縮小率で縮小する。
In step S7, the face
ステップS8において、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短いか否かを判断する。このステップS8において、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短いと判断した場合は、ステップS9に進み、一連の処理動作を終了させる。一方、このステップS8において、顔画像判別部131は、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短くないと判断した場合、ステップS2に戻り、ステップS2〜ステップS8の処理動作を繰り返す。
In step S8, the face
なお、上述の顔画像判別部131は、算出したスコア値Siを顔画像の判別結果として続く判別指標値算出部132に供給するとしたが、スコア値Siに基づいて、顔画像であると判別した場合にはデジタルデータの1を、顔画像でないと判別した場合にはデジタルデータの0を続く判別指標値算出部132に供給するようにしてもよい。
Note that the face
顔画像判別部131は、このような顔画像判別処理によって、例えば図6(A)に示す入力画像から、図6(B)に示すように、検出位置及び検出サイズの異なる顔画像を検出することができる。
The face
上述の顔画像判別処理では、顔画像判別部131は、図7に示すように、本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出し、また、画像の縮小によって本来の顔画像よりも僅かに小さいサイズの顔画像を検出してしまう。
In the face image discrimination processing described above, the face
このように、同一の顔画像に対して複数回検出された顔画像から1つの顔画像を選択する処理として、例えば顔画像の検出精度を示す所定のスコア値が最大である顔画像を選択する処理(以下、スコア値最大領域選択処理という。)が挙げられる。しかしながら、このスコア値最大領域選択処理では、図8(A)に示すように、矩形領域101の画像におけるシフト単位や画像の縮小倍率に基づく離散的な検出結果しか得られないことになる。
As described above, as a process of selecting one face image from face images detected a plurality of times for the same face image, for example, a face image having a maximum predetermined score value indicating the detection accuracy of the face image is selected. Processing (hereinafter referred to as “score value maximum region selection processing”). However, in this score value maximum area selection process, as shown in FIG. 8A, only discrete detection results based on the shift unit and the image reduction magnification in the image of the
そこで、本発明を適用した一実施形態における顔画像検出装置1は、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化されて安定化した顔画像の検出領域(以下、顔画像検出領域という。)を得るための処理(以下、顔画像検出領域安定化処理という。)を適用する。
Therefore, in the face
顔画像検出部13では、後述する判別指標値算出部132及び顔画像検出領域分類部133における処理の後、顔画像領域平均化部134が、例えば以下に示すような計算処理を行うことにより顔画像検出領域を安定化する。
In the face
すなわち、顔画像検出領域平均化部134は、顔画像番号i、顔画像検出領域の左上端におけるxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiを用いて顔画像検出領域Ri(xi,yi,wi,hi)を示す場合、n回検出された顔画像検出領域R1〜Rnにおけるx座標値x1〜xn,y座標値y1〜yn,顔画像検出領域幅w1〜wn,顔画像検出領域高さh1〜hnに対して、顔画像判別部131によって算出された所定のスコア値siで重み付けすることにより平均値Rave(xave,yave,wave,have)を算出する(数式(1)〜数式(4))。
That is, the face image detection
顔画像検出領域平均化部134は、複数の顔画像検出領域について所定のスコア値Siで重み付けした平均値Rave(xave,yave,wave,have)を算出することによって、例えば図8(B)に示すように、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化された顔画像領域を得ることができる。
The face image detection
なお、例えば顔画像判別部131が所定の画像が顔画像であると判別してデジタルデータの1を出力するように設定した場合や計算処理を簡素化する場合においては、単純に複数の検出結果の平均をとることにより、顔画像検出領域を安定化するようにしてもよい。この場合、数式(1)〜数式(4)は、それぞれ数式(5)〜数式(8)に書き換えられる。
For example, when the face
このような顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域平均化の計算に組み込む顔画像検出領域を選択する方法の一例について、図9を示しながら説明する。 An example of a method for selecting a face image detection area to be incorporated in calculation of face image detection area averaging from a plurality of face image detection areas in such face image detection area stabilization processing will be described with reference to FIG.
図9(A)に示すように、例えば、顔画像2Aの顔画像検出領域と顔画像2Bの顔画像検出領域とが接近している場合、顔画像検出領域安定化処理では、顔画像2Aについての顔画像検出領域20Aと顔画像2Bについての顔画像検出領域20Bとが何れの顔画像における顔画像検出領域として平均化の計算に採用されるについて正しく判別されなければならない。
As shown in FIG. 9A, for example, when the face image detection area of the
また、図9(B)に示すように、例えば、顔画像2Aの顔画像検出領域20A内に顔画像2Aとは異なる対象の検出領域20Cが存在する場合や、顔画像2Aの顔画像検出領域20Aと検出領域20Cとがほぼ重なる場合、顔画像検出領域安定化処理では、顔画像2Cとは異なる対象の検出領域20Cが誤検出領域として平均化の計算から除外され、正しく検出された顔画像検出領域20Aのみが安定化処理の計算に組み込まなければならない。
Also, as shown in FIG. 9B, for example, when a target detection area 20C different from the
このような例を踏まえ、顔画像検出装置1における顔画像検出領域安定化処理では、任意の2つの顔画像検出領域について、例えば(1)同一人物の顔画像検出領域として平均化の計算に組み込まれる、(2)異なる人物の顔画像検出領域として各人物における平均化の計算に組み込まれる、(3)誤検出領域として平均化の計算から除外される、といった分類が行われた後、顔画像検出領域平均化の計算が行われる。
Based on such an example, in the face image detection region stabilization processing in the face
判別指標値算出部132は、図10に示すように、例えば、複数の顔画像検出領域の内、判別基準となる基準領域200A及び判別対象となる被判別領域200Bを任意に選択し、基準領域200Aの一辺a及び被判別領域200Bの一辺bを用いて示されて基準領域200Aと被判別領域200Bとの相対サイズの指標値となる検出領域サイズ指標値b/aと、基準領域200Aと被判別領域200Bとの中心間距離c及び基準領域200Aの一辺aを用いて示されて基準領域200Aと被判別領域200Bとの相対距離の指標値となる中心間距離指標値c/aとを算出する。
As shown in FIG. 10, the discrimination index
そして、判別指標値算出部132は、複数の顔画像検出領域と、検出領域サイズ指標値b/a及び中心間距離指標値c/aとを続く顔画像検出領域分類部133に供給する。
Then, the discrimination index
すなわち、判別指標値算出部132は、複数の顔画像検出領域における基準領域200A及び被判別領域200Bの全ての組み合わせについて、検出領域サイズ指標値b/a及び中心間距離指標値c/aを算出し、これら基準領域200A及び被判別領域200Bの全ての組み合わせにおける検出領域サイズ指標値b/a及び中心間距離指標値c/aを算出する毎に、続く顔画像検出領域分類部133に供給する。
That is, the discrimination index
なお、判別指標値算出部132が算出する判別指標値はこれらに限られず、例えば2つの顔画像検出領域の合計面積に対する重なり面積、2つの顔画像検出領域の中心点間のマンハッタン距離等であってもよい。また、判別指標値の算出数は限定されない。
Note that the discrimination index value calculated by the discrimination index
図11は、検出領域サイズ指標値b/a及び中心間距離指標値c/aに応じて定められた基準領域200Aに対する被判別領域200Bの相対的サイズ・相対位置からなる相対指標を示す図である。
FIG. 11 is a diagram showing a relative index composed of a relative size and a relative position of the discrimination area 200B with respect to the
顔画像検出領域分類部133は、この図11に示すような基準領域200Aに対する被判別領域200Bの相対指標を、例えば図12に示すような境界線131,132,133を設定することにより設定された領域13A,13B,13C,13D内にそれぞれ分類する。
The face image detection
なお、顔画像検出領域分類部133が各境界線を設定する方法としては、例えばヒューリスティック法を用いて統計的に学習させることにより設定する方法が挙げられるが、より適当な方法としては、例えば十分量の顔画像データを用いて生成した分類タグを教示データとしてSVMやLDA(Linear Discriminant analysis)に適用して統計的に学習させる方法等が挙げられる。
As a method of setting each boundary line by the face image detection
顔画像検出領域分類部133は、領域13Aに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、同一人物の顔画像検出領域として判別する。
The face image detection
また、顔画像検出領域分類部133は、領域13Bに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、異なる人物の顔画像検出領域として判別する。
Further, the face image detection
また、顔画像検出領域分類部133は、領域13C及び領域13Dに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、被判別領域200Bを誤検出領域として判別する。
Further, the face image detection
顔画像検出領域分類部133は、例えば相対指標31については、基準領域200Aのサイズと被判別領域200Bのサイズとが同一であり(検出領域サイズ指標値b/a=1)、且つ、基準領域200A及び被判別領域200Bの中心間距離が短い(中心間距離指標値c/aが小さい)ので、同一人物の顔画像検出領域と判別する。
For example, for the
また、顔画像検出領域分類部133は、例えば相対指標32については、被判別領域200Bのサイズが基準領域200Aのサイズよりも小さく(検出領域サイズ指標値b/a<1)、且つ、基準領域200A及び被判別領域200Bの中心間距離が長い(中心間距離指標値c/aが大きい)ので、異なる人物の顔画像検出領域と判別する。
Further, the face image detection
また、顔画像検出領域分類部133は、例えば相対指標33については、被判別領域200Bのサイズが基準領域200Aのサイズよりも大きく(検出領域サイズ指標値1<b/a)、且つ、基準領域200A及び被判別領域200Bがほぼ重なる程度に中心間距離が長い(中心間距離指標値c/aが中程度の大きさ)ので、被判別領域200Bを誤検出領域として判別する。
Further, the face image detection
顔画像検出領域分類部133は、分類された基準領域200A及び被判別領域200Bの相対指標を続く顔画像検出領域安定化処理部134に供給する。また、顔画像検出領域分類部133は、顔画像検出領域の左上端におけるxy座標値xi,yi、顔画像検出領域幅wi、及び顔画像検出領域高さhiとスコア値Si又はデジタルデータ(1又は0)とを顔画像検出領域安定化処理部134に供給する。
The face image detection
顔画像検出領域平均化部134は、顔画像検出領域分類部133で分類された相対指標を有する基準領域200A及び被判別領域200Bにおいて、上述したように、数式(1)〜数式(4)又は数式(5)〜数式(8)を用いて顔画像検出領域の平均化の計算を行うことにより、顔画像の検出結果を安定化させることが可能となる。
As described above, the face image detection
すなわち、顔画像検出領域安定化処理部134は、領域13Aに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、同一人物の顔画像検出領域として基準領域200Aのみに対して平均化の計算を行い、領域13Bに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、異なる人物の顔画像検出領域として別々に平均化の計算を行い、領域13C及び領域13Dに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、被判別領域200Bを誤検出として平均化の計算から削除して、基準領域200Aのみに対して平均化の計算を行うようにする。
In other words, the face image detection region
顔画像検出領域平均化部134は、このような領域を平均化する計算を行うことにより顔画像検出領域が安定化された顔画像を生成し、この顔画像を画像出力部15に供給する。
The face image detection
ここで、顔画像検出領域の安定化の精度をスコア値最大領域選択処理と顔画像検出領域安定化処理とで比較した実験結果を示す。 Here, an experimental result in which the accuracy of stabilization of the face image detection area is compared between the score value maximum area selection process and the face image detection area stabilization process is shown.
図13は、アダブーストによって検出された541サンプルの顔画像検出領域における右目の目頭と目尻との中間点(右目位置)、左目の目頭と目尻との中間点(左目位置)、及び前歯の位置(口位置)のばらつきを示す図である。 FIG. 13 shows an intermediate point (right eye position) between the eyes and corners of the right eye in the face image detection area of 541 samples detected by Adaboost, an intermediate point (left eye position) between the eyes and corners of the left eye, and the positions of the front teeth ( It is a figure which shows the dispersion | variation in (mouth position).
図13に示すように、顔画像検出領域安定化処理が施された541サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布は、スコア値最大領域選択処理が行われた場合の541サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布に比べて分布幅が小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。 As shown in FIG. 13, the distribution of the right eye position, the left eye position, and the mouth position of the face image detection area of 541 samples subjected to the face image detection area stabilization process is obtained when the score value maximum area selection process is performed. The distribution width is smaller than the distribution of the right eye position, the left eye position, and the mouth position of the face image detection area of the 541 samples of the face image. It can be seen that the detection area is stabilized.
また、表1は、この541サンプルの右目位置、左目位置、及び口位置における平均位置からの距離(誤差平均)と、この平均位置からの分散(誤差分散値)を算出した結果を示している。 Table 1 shows the results of calculating the distance from the average position (error average) and the variance (error variance value) from the average position at the right eye position, left eye position, and mouth position of the 541 samples. .
表1に示すように、541サンプルの右目位置、左目位置、及び口位置における誤差平均及び誤差分散は、何れも顔画像検出領域安定化処理を施した場合の値がスコア値最大領域選択処理を施した場合の値よりも小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。 As shown in Table 1, the error average and error variance in the right eye position, left eye position, and mouth position of the 541 samples are the values when the face image detection region stabilization processing is performed. The value is smaller than the value when applied, and it can be seen that the face image detection area is more stabilized in the face image detection area stabilization process than in the maximum score value area selection process.
本発明を適用した一実施形態における顔画像検出装置1では、顔画像検出領域が複数検出された場合、これら複数の顔画像検出領域の平均領域を算出することによって、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が安定化された顔画像領域を得ることができる。
In the face
また、顔画像検出装置1では、顔画像判別部131が画素単位で矩形領域101を移動するとともに所定の縮小率で入力画像を縮小させるため、画素シフト量よりも細かい位置解像度、且つ画像縮小率よりも細かい領域サイズシフトの解像度で、安定化した顔画像領域の検出結果を得ることができる。
Further, in the face
また、顔画像検出装置1では、顔画像領域を検出した後に顔のパーツ画像領域を検出して顔画像領域を安定化させる方法と比べて計算量が少なく、顔のパーツ画像を検出する際の誤検出を防止することができ、高精度に顔検出領域を安定化させることができる。
Further, the face
また、顔画像検出装置1では、固有の顔画像におけるベクトル特徴量を用いる場合に生じ得るベクトルの次元ずれの問題を考慮することがないため、顔画像の識別性能を向上させることができる。
Further, the face
また、顔画像検出装置1では、安定した顔画像検出領域を顔のパーツ画像の検出の前処理として用いることにより、顔のパーツ画像の探索範囲を限定することができ、領域安定化処理における計算量の削減、及び誤認識率の低減が可能となる。
In addition, the face
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
例えば、上述した実施の形態では、本発明を、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力する顔画像検出装置に適用したが、入力された画像データに基づく画像から検出する画像は顔画像に限られず、人物の全体像、手等、何れのも画像であってもよい。 For example, in the above-described embodiment, the present invention is applied to a face image detection device that detects a face image from an image based on input image data and outputs a detection result of a face image detection region or the like. The image detected from the image based on the image data is not limited to the face image, and may be any image such as a whole image of a person and a hand.
また、例えば、上述した実施の形態では、顔画像判別部131は、入力された画像データに基づく80×100画素の画像100Aにおいて、顔画像を判別するための20×20画素の矩形領域101を、画像100Aの左上端から2画素ずつ右方向又は下方向に移動させ、画像100Aの右下端まで到達させるようにしたが、入力された画像データに基づく画像の画素サイズ、矩形領域の画像サイズ、矩形領域の移動幅及び移動方向等は、これに限られるものではない。
Further, for example, in the above-described embodiment, the face
1 顔画像検出装置、11 操作部、12 画像入力部、13 顔画像検出部、14 記録部、15 画像出力部、16 制御部、131 顔画像判別部、132 判別指標値算出部、133 顔画像検出領域分類部、134 顔画像領域平均化部134
DESCRIPTION OF
Claims (7)
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、
上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、
上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段と
を備えることを特徴とする画像検出装置。 In an image detection device that detects a predetermined image from an input image,
Each time the relative size between the detection target area of a predetermined size and the input image is changed, the detection target area is scanned and cut out from the input image so as to move by a predetermined pixel, and the detection target area within the cut out detection target area Image discriminating means for discriminating whether an image is the predetermined image and outputting a discrimination result;
When the image determining means determines that the image in the detection target area is the predetermined image, the relative position of the two detection areas including the reference area and the determination target area detected for the predetermined image, and Index value calculating means for calculating a predetermined index value based on the relative size;
Detection for determining whether or not the determination target area classified based on the predetermined index value calculated by the index value calculation means is adopted in a calculation process for generating a detection result of the predetermined image An image detection apparatus comprising: an area determination unit.
をさらに備えることを特徴とする請求項1記載の画像検出装置。 An average value of the positions and sizes of a plurality of the detection regions including the discriminated region determined to be adopted in the calculation process by the detection region determination means, and a detection region in which the positions and sizes are averaged The image detection apparatus according to claim 1, further comprising detection area averaging means for generating
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、
上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、
上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程と
を有することを特徴とする画像検出方法。 In an image detection method for detecting a predetermined image from an input image,
Each time the relative size between the detection target area of a predetermined size and the input image is changed, the detection target area is scanned and cut out from the input image so as to move by a predetermined pixel, and the detection target area within the cut out detection target area An image determination step of determining whether an image is the predetermined image and outputting a determination result;
When it is determined in the image determination step that the image in the detection target area is the predetermined image, the relative positions of the two detection areas including the reference area and the determination target area detected for the predetermined image And an index value calculating step for calculating a predetermined index value based on the relative size;
It is discriminated whether or not the discriminated area classified based on the predetermined index value calculated in the index value calculating step is adopted in a calculation process for generating a detection result of the predetermined image. An image detection method comprising: a detection region discrimination step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197156A JP2008027058A (en) | 2006-07-19 | 2006-07-19 | Image detection apparatus and image detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197156A JP2008027058A (en) | 2006-07-19 | 2006-07-19 | Image detection apparatus and image detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008027058A true JP2008027058A (en) | 2008-02-07 |
Family
ID=39117641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006197156A Pending JP2008027058A (en) | 2006-07-19 | 2006-07-19 | Image detection apparatus and image detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008027058A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009217607A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Calculation for reliability in detecting face region in image |
| JP2009217609A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Processing for correcting image region set based on face region |
| US9189683B2 (en) | 2008-03-14 | 2015-11-17 | Omron Corporation | Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device |
| JP2021064043A (en) * | 2019-10-10 | 2021-04-22 | グローリー株式会社 | Image processing device, image processing system, image processing method and image processing program |
| JP2024050279A (en) * | 2022-09-29 | 2024-04-10 | 株式会社コロプラ | PROGRAM, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING APPARATUS |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005309850A (en) * | 2004-04-22 | 2005-11-04 | Mitsubishi Electric Corp | Face detection device |
| JP2006048328A (en) * | 2004-08-04 | 2006-02-16 | Konica Minolta Holdings Inc | Apparatus and method for detecting face |
-
2006
- 2006-07-19 JP JP2006197156A patent/JP2008027058A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005309850A (en) * | 2004-04-22 | 2005-11-04 | Mitsubishi Electric Corp | Face detection device |
| JP2006048328A (en) * | 2004-08-04 | 2006-02-16 | Konica Minolta Holdings Inc | Apparatus and method for detecting face |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009217607A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Calculation for reliability in detecting face region in image |
| JP2009217609A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Processing for correcting image region set based on face region |
| US9189683B2 (en) | 2008-03-14 | 2015-11-17 | Omron Corporation | Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device |
| JP2021064043A (en) * | 2019-10-10 | 2021-04-22 | グローリー株式会社 | Image processing device, image processing system, image processing method and image processing program |
| JP7385416B2 (en) | 2019-10-10 | 2023-11-22 | グローリー株式会社 | Image processing device, image processing system, image processing method, and image processing program |
| JP2024050279A (en) * | 2022-09-29 | 2024-04-10 | 株式会社コロプラ | PROGRAM, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING APPARATUS |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5745596A (en) | Method and apparatus for performing text/image segmentation | |
| US5892842A (en) | Automatic method of identifying sentence boundaries in a document image | |
| JP4835459B2 (en) | Table recognition program, table recognition method, and table recognition apparatus | |
| KR101015663B1 (en) | Character recognition method in text recognition device and device therefor | |
| JP3943638B2 (en) | Automatic recognition method of drop word in document image without using OCR | |
| JP5517504B2 (en) | Image processing apparatus, image processing method, and program | |
| US8358838B2 (en) | Red eye detecting apparatus, red eye detecting method and red eye detecting program stored on a computer readable medium | |
| JP5616308B2 (en) | Document modification detection method by character comparison using character shape feature | |
| US7580571B2 (en) | Method and apparatus for detecting an orientation of characters in a document image | |
| EP1826720B1 (en) | Image processing apparatus and method, computer program, and storage medium | |
| CN103198468B (en) | Image processing apparatus, image processing method and image processing system | |
| JP2006350704A (en) | Classifier learning method, face discrimination method and apparatus, and program | |
| JP4522468B2 (en) | Image discrimination device, image search device, image search program, and recording medium | |
| JP2012243196A (en) | Image identification device, image identification method, image identification program and recording medium | |
| US20050139782A1 (en) | Face image detecting method, face image detecting system and face image detecting program | |
| US7720261B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| US7146047B2 (en) | Image processing apparatus and method generating binary image from a multilevel image | |
| US8482812B2 (en) | Image processing apparatus for detecting object from image and method thereof | |
| US20050190953A1 (en) | Method, system and program for searching area considered to be face image | |
| US8311331B2 (en) | Resolution adjustment of an image that includes text undergoing an OCR process | |
| JP2008027058A (en) | Image detection apparatus and image detection method | |
| JP2007108990A (en) | Face detection method, apparatus and program | |
| JP2858530B2 (en) | Edge enhancement device | |
| JP5083162B2 (en) | Image data determination apparatus, image data determination system, and program | |
| JP5145862B2 (en) | Image processing program and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |