[go: up one dir, main page]

JP2008027058A - Image detection apparatus and image detection method - Google Patents

Image detection apparatus and image detection method Download PDF

Info

Publication number
JP2008027058A
JP2008027058A JP2006197156A JP2006197156A JP2008027058A JP 2008027058 A JP2008027058 A JP 2008027058A JP 2006197156 A JP2006197156 A JP 2006197156A JP 2006197156 A JP2006197156 A JP 2006197156A JP 2008027058 A JP2008027058 A JP 2008027058A
Authority
JP
Japan
Prior art keywords
image
detection
area
face image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006197156A
Other languages
Japanese (ja)
Inventor
Takeshi Ohashi
武史 大橋
Kotaro Sabe
浩太郎 佐部
Kenichi Hidai
健一 日台
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006197156A priority Critical patent/JP2008027058A/en
Publication of JP2008027058A publication Critical patent/JP2008027058A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔画像検出装置が顔画像を検出する際の検出精度を向上させる。
【解決手段】顔画像検出領域分類部133は、領域13Aに分類された相対指標を有する基準領域200A,被判別領域200Bについては、同一人物の顔画像検出領域として判別し、領域13Bに分類された相対指標を有する基準領域200A,被判別領域200Bについては、異なる人物の顔画像検出領域として判別し、領域13C及び領域13Dに分類された相対指標を有する基準領域200A,被判別領域200Bについては、被判別領域200Bを誤検出領域として判別する。
【選択図】図12
To improve detection accuracy when a face image detection device detects a face image.
A face image detection area classification unit 133 determines a reference area 200A and a determination area 200B having relative indices classified as an area 13A as face image detection areas of the same person, and is classified as an area 13B. The reference area 200A and the identified area 200B having the relative indices are determined as the face image detection areas of different persons, and the reference area 200A and the identified area 200B having the relative indices classified into the areas 13C and 13D are identified. The discriminated area 200B is discriminated as an erroneous detection area.
[Selection] Figure 12

Description

本発明は、画像から所定の画像を検出する画像検出装置及びその方法に関する。   The present invention relates to an image detection apparatus and method for detecting a predetermined image from an image.

入力画像から顔画像等の所定の画像を検出する技術は、例えば、顔の有無の判別、顔の識別、顔のパーツの検出のための前処理等として利用されている。   A technique for detecting a predetermined image such as a face image from an input image is used as, for example, pre-processing for determining the presence or absence of a face, identifying a face, and detecting a face part.

入力画像から顔画像を検出する顔画像検出装置には、例えば、本来の顔画像領域の周辺にある複数の領域を検出するものがある。一般的に、このような顔画像検出装置では、複数の検出結果の内、所定のスコア値が最大である検出結果を選択する方法を用いるが、例えば、顔画像を探索する際の探索幅や画像の縮小倍率が離散的な値であること等に起因して、選択された検出結果が離散的な値になる場合がある。   Some face image detection devices that detect a face image from an input image, for example, detect a plurality of areas around the original face image area. In general, such a face image detection device uses a method of selecting a detection result having a maximum predetermined score value from among a plurality of detection results. For example, a search width when searching for a face image, The selected detection result may be a discrete value due to the fact that the reduction ratio of the image is a discrete value.

そこで、例えば、以下の特許文献1に示すように、解像度が異なる複数の画像において、各スケールの平均値を用いて検出された顔画像領域を安定化する方法がある。   Therefore, for example, as shown in Patent Document 1 below, there is a method of stabilizing a face image area detected using an average value of each scale in a plurality of images having different resolutions.

特開2006−48328号公報JP 2006-48328 A

しかしながら、特許文献1に記載されている技術では、2人以上の人物の顔領域が互いに非常に接近している場合や、誤検出によって本来の顔画像領域の非常に近くに検出結果が得られてしまう場合がある。このような技術では、複数の顔検出領域から顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択しないと、検出精度が大きく低下してしまうことになる。   However, in the technique described in Patent Document 1, the detection result is obtained very close to the original face image area when the face areas of two or more persons are very close to each other or due to erroneous detection. May end up. In such a technique, unless the face detection area used for the calculation for stabilizing the face image area is properly selected from the plurality of face detection areas, the detection accuracy is greatly reduced.

本発明は、このような従来の実情に鑑みて提案されたものであり、検出された顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択する画像検出装置及びその方法を提供することを目的とする。   The present invention has been proposed in view of such a conventional situation, and an image detection apparatus and method for appropriately selecting a face detection area used for calculation for stabilizing a detected face image area The purpose is to provide.

上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出装置において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段とを備えることを特徴とする。   In order to achieve the above-described object, the present invention provides an image detection apparatus that detects a predetermined image from an input image, from the input image every time the relative size between the detection target area of the predetermined size and the input image is changed. Image discriminating means that scans and cuts out the detection target area so as to move by predetermined pixels, determines whether or not the image in the cut out detection target area is the predetermined image, and outputs a discrimination result And when the image discriminating means discriminates that the image in the detection target area is the predetermined image, the relative relationship between the two detection areas including the reference area and the discrimination area detected for the predetermined image is determined. Index value calculation means for calculating a predetermined index value based on the position and relative size, and classification based on the predetermined index value calculated by the index value calculation means Serial to be discrimination region, characterized in that it comprises a detection area determining means for determining whether or not to adopt the calculation process for generating a detection result of the predetermined image.

また、上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程とを有することを特徴とする。   In order to achieve the above-described object, the present invention provides an image detection method for detecting a predetermined image from an input image every time the relative size between a detection target region of a predetermined size and the input image is changed. An image that scans and cuts out the detection target area from the image so as to move by predetermined pixels, determines whether or not the image in the cut out detection target area is the predetermined image, and outputs a determination result If the image in the detection target region is determined to be the predetermined image in the determination step and the image determination step, two detections including a reference region and a determination target region detected for the predetermined image An index value calculation step for calculating a predetermined index value based on the relative position and relative size of the region, and a classification based on the predetermined index value calculated in the index value calculation step To be discrimination area, and having a detection region determination step of determining whether to employ the calculation process for generating a detection result of the predetermined image.

本発明は、入力画像から所定の画像を検出する画像検出装置及びその方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力し、上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出し、上記算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別することにより、従来の画像検出装置及びその方法に比べて所定の画像の検出領域をより安定化させることができる。   The present invention relates to an image detection apparatus and method for detecting a predetermined image from an input image, and the detection target region is determined from the input image every time the relative size between the detection target region of a predetermined size and the input image is changed. The image is scanned and moved so as to move each pixel, and it is determined whether or not the image in the detected detection area is the predetermined image, and the determination result is output. The image in the detection target area is When it is determined that the image is the predetermined image, a predetermined index value is calculated based on the relative position and the relative size of the two detection regions including the reference region and the determination target region detected for the predetermined image, It is discriminated whether or not the discriminated area classified based on the calculated predetermined index value is adopted in a calculation process for generating a detection result of the predetermined image. And it makes it possible to further stabilize the detection area of a predetermined image as compared with the conventional image sensing apparatus and method.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.

図1は、本発明を適用した一実施形態における顔画像検出装置1を示す図である。顔画像検出装置1は、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力するものである。   FIG. 1 is a diagram showing a face image detection apparatus 1 according to an embodiment to which the present invention is applied. The face image detection apparatus 1 detects a face image from an image based on input image data, and outputs a detection result of a face image detection area or the like.

顔画像検出装置1は、例えば図2に示す内部構成を備えたパーソナルコンピュータとして構成される。   The face image detection device 1 is configured as a personal computer having the internal configuration shown in FIG.

図2に示すように、顔画像検出装置1は、例えばキーボード、マウス等を介してユーザの操作情報が入力される操作部11と、例えばデジタルカメラ、テレビジョン装置、ストレージ等より画像データが入力される画像入力部12と、入力された画像データに基づく画像中から顔画像を検出する顔画像検出部13と、画像データを記録する記録部14と、所定の画像処理を行ってディスプレイに画像を出力する画像出力部15と、バッファメモリ、RAM(Random Access Memory)、顔画像検出プログラムが記録されているROM(Read Only Memory)、CPU(Central Processing Unit)等を備えて顔画像検出装置1の信号処理全般を制御する制御部16とが内部バス17に接続されることにより構成される。   As shown in FIG. 2, the face image detection device 1 receives image data from an operation unit 11 to which user operation information is input via, for example, a keyboard and a mouse, and from a digital camera, a television device, a storage, and the like. The image input unit 12, the face image detection unit 13 for detecting a face image from the image based on the input image data, the recording unit 14 for recording the image data, and performing predetermined image processing on the display A face image detection device 1 including a buffer memory, a RAM (Random Access Memory), a ROM (Read Only Memory) in which a face image detection program is recorded, a CPU (Central Processing Unit), and the like. The control unit 16 for controlling the overall signal processing is connected to the internal bus 17.

顔画像検出部13は、図3に示すように、顔画像判別部131と、判別指標値算出部132と、顔画像検出領域分類部133と、顔画像領域平均化部134とを備えて構成される。   As shown in FIG. 3, the face image detection unit 13 includes a face image determination unit 131, a determination index value calculation unit 132, a face image detection region classification unit 133, and a face image region averaging unit 134. Is done.

顔画像判別部131は、制御部16の制御動作に基づいて画像入力部12を介して画像データが入力されると、入力された画像データに基づく80×100画素の画像100Aにおいて、顔画像を判別するための20×20画素の矩形領域101を、図4(A)に示す画像100Aの左上端から2画素ずつ右方向又は下方向に移動させ、図4(C)に示す画像100Aの右下端まで到達させる。顔画像判別部131は、矩形領域101を2画素ずつ移動させるごとに矩形領域101の画像をスキャンして切り出し、この矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。   When image data is input via the image input unit 12 based on the control operation of the control unit 16, the face image determination unit 131 converts a face image in an 80 × 100 pixel image 100 </ b> A based on the input image data. A rectangular area 101 of 20 × 20 pixels for discrimination is moved rightward or downward by two pixels from the upper left end of the image 100A shown in FIG. 4A, and the right side of the image 100A shown in FIG. Let reach the bottom. The face image determination unit 131 scans and cuts out an image of the rectangular area 101 every time the rectangular area 101 is moved by two pixels, and determines whether or not a predetermined image existing in the rectangular area 101 is a face image. To do.

すなわち、顔画像判別部131は、例えば、サポート・ベクタ・マシーン(Support Vector Machine:SVM)、アダブースト等のブースティング、局所特徴量等の方法によって、矩形領域101中に存在する画像と予め設定された顔画像との大きさ及び相関度を比較することにより、矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。   That is, the face image discriminating unit 131 is set in advance as an image existing in the rectangular area 101 by a method such as support vector machine (SVM), boosting such as Adaboost, or local feature amount. By comparing the size and the degree of correlation with the face image, it is determined whether or not the predetermined image existing in the rectangular area 101 is a face image.

そして、顔画像判別部131は、予め設定された顔画像との相関度を示すスコア値Sを算出し、スコア値Sがある一定の閾値以上である場合には、矩形領域101中に存在する所定の画像が顔画像であると判別する。 Then, the face image determination unit 131 calculates a score value S i indicating the degree of correlation with a preset face image. If the score value S i is equal to or greater than a certain threshold value, the face image determination unit 131 stores the score value S i in the rectangular area 101. It is determined that the existing image is a face image.

顔画像判別部131は、図4(A)に示す画像100Aの左上端から図4(C)に示す画像100Aの右下端まで矩形領域101を移動させながらスキャン及び切り出し処理を行う中で、図4(B)に示すように、矩形領域101中に存在する所定の画像が顔画像であると判別した場合、この矩形領域101の左上端におけるxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhを算出し、このxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhと、判別結果となるスコア値Sとを続く判別指標値算出部132に供給する。 The face image discriminating unit 131 performs scanning and clipping processing while moving the rectangular region 101 from the upper left end of the image 100A shown in FIG. 4A to the lower right end of the image 100A shown in FIG. As shown in FIG. 4B, when it is determined that the predetermined image existing in the rectangular area 101 is a face image, the xy coordinate values x i , y i at the upper left end of the rectangular area 101, the face image detection area The width w i and the face image detection area height h i are calculated, and the xy coordinate values x i and y i , the face image detection area width w i , and the face image detection area height h i are obtained as a discrimination result. The score value S i is supplied to the subsequent discrimination index value calculation unit 132.

なお、スコア値Sは、検出された顔画像の形状が予め設定された一般的な人物の顔の形状に近いほど高いスコア値Sが算出されるようにしてもよいし、他の算出方法により算出されるようにしてもよい。 Note that the score value S i, may also be higher score values S i is close to the shape of the face of the face image detected common person shape is preset is calculated, the calculation of the other It may be calculated by a method.

一方、顔画像判別部131は、矩形領域101中に存在する所定の画像が顔画像ではないと判別した場合、上述した算出処理は一切行わずに矩形領域101を2画素移動させて、同様の顔画像判別処理を行う。   On the other hand, when the face image determining unit 131 determines that the predetermined image existing in the rectangular area 101 is not a face image, the face image determining unit 131 moves the rectangular area 101 by two pixels without performing the above-described calculation process. Face image discrimination processing is performed.

顔画像判別部131は、画像100Aにおいて、矩形領域101を画像100Aの右下端まで移動させた後、図4(D)に示すように、画像100Aを所定の倍率で縮小させ(この画像を画像100Bとする。)、画像100Bにおいて、画像100Aでの処理と同様に20×20画素の矩形領域101を画像100B上の左上端から2画素ずつ右方向又は下方向に移動させる毎に矩形領域101をスキャンして切り出し、矩形領域101中に存在する所定の画像が顔画像であるか否かを判別する。   The face image discriminating unit 131 moves the rectangular area 101 to the lower right end of the image 100A in the image 100A, and then reduces the image 100A at a predetermined magnification as shown in FIG. 100B.) In the image 100B, the rectangular region 101 is moved each time the 20 × 20 pixel rectangular region 101 is moved rightward or downward by two pixels from the upper left end of the image 100B, as in the case of the image 100A. Is cut out to determine whether or not the predetermined image existing in the rectangular area 101 is a face image.

顔画像判別部131は、図4(E)に示すように、画像100B上の右下端まで矩形領域101を移動させた後、何れの位置においても矩形領域101中に存在する所定の画像が顔画像ではないと判別した場合、図4(F)に示すように、画像100Bを所定の倍率で縮小し(この画像を画像100Cとする。)、この画像100Cにおいて、画像100A,100Bでの処理と同様に、20×20画素の矩形領域101を画像100C上の左上端から右下端まで2画素ずつ右方向又は下方向に移動させるごとに矩形領域101をスキャンして切り出し、矩形領域101中に存在する所定の画像が顔画像であるか否かを、スコア値Sを算出して判別する。 As shown in FIG. 4E, the face image discriminating unit 131 moves the rectangular area 101 to the lower right end on the image 100B, and then the predetermined image existing in the rectangular area 101 is faced at any position. When it is determined that the image is not an image, as shown in FIG. 4F, the image 100B is reduced by a predetermined magnification (this image is referred to as an image 100C), and the processing in the images 100A and 100B is performed on the image 100C. In the same manner as above, each time the rectangular area 101 of 20 × 20 pixels is moved rightward or downward by two pixels from the upper left end to the lower right end on the image 100C, the rectangular area 101 is scanned and cut out. It is determined by calculating the score value S i whether or not the existing image is a face image.

顔画像判別部131は、矩形領域101を図4(F)に示す画像100Cの左上端から図4(H)に示す画像100Cの右下端まで移動させながらスキャン及び切り出し処理を行う中で、図4(G)に示すように、矩形領域101中に存在する所定の画像が顔画像であると判別した場合、この矩形領域101の左上端におけるxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhを算出し、そして、顔画像判別部131は、xy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhと所定のスコア値Sとを続く判別指標値算出部132に供給する。 The face image discriminating unit 131 performs scanning and clipping processing while moving the rectangular area 101 from the upper left end of the image 100C shown in FIG. 4F to the lower right end of the image 100C shown in FIG. 4 (G), when it is determined that the predetermined image existing in the rectangular area 101 is a face image, the xy coordinate values x i , y i at the upper left end of the rectangular area 101, the face image detection area The width w i and the face image detection area height h i are calculated, and the face image determination unit 131 calculates the xy coordinate values x i and y i , the face image detection area width w i , and the face image detection area height. supplies and h i and a predetermined score value S i in subsequent determination index value calculation section 132.

顔画像判別部131は、図4(I)に示すように、画像の一辺の長さが矩形領域101の一辺の長さと同じになるまで縮小した画像100Dにおいて、上述の顔画像判別処理と同様の処理を行い、図4(J)に示すように、矩形領域101を画像100Dの右端まで到達させた後、一連の処理を終了させる。   As shown in FIG. 4I, the face image determination unit 131 performs the same processing as the above-described face image determination processing on the image 100D that has been reduced until the length of one side of the image becomes the same as the length of one side of the rectangular area 101. As shown in FIG. 4J, the rectangular region 101 is made to reach the right end of the image 100D, and then the series of processes is terminated.

ここで、顔画像判別部131の処理動作を図5のフローチャートを用いて説明する。   Here, the processing operation of the face image determination unit 131 will be described with reference to the flowchart of FIG.

ステップS1において、顔画像判別部131には、制御部16の制御動作に基づいて画像入力部12を介して画像データが入力される。   In step S <b> 1, image data is input to the face image determination unit 131 via the image input unit 12 based on the control operation of the control unit 16.

ステップS2において、顔画像判別部131は、画像データに基づく画像の一部である矩形領域101のスキャン及び切り出し処理を行う。   In step S <b> 2, the face image determination unit 131 performs a scan and cutout process on the rectangular region 101 that is a part of the image based on the image data.

ステップS3において、顔画像判別部131は、画像における矩形領域101中に存在する画像が顔画像であるか否かを、スコア値Sを算出して判別する。このステップS3において、顔画像判別部131は、矩形領域101中に存在する画像が顔画像であると判別した場合、ステップS4に進む。一方、このステップS3において、顔画像判別部131は、矩形領域101中に存在する画像が顔画像でないと判別した場合、ステップS5に進む。 In step S <b> 3, the face image determination unit 131 determines whether an image existing in the rectangular area 101 in the image is a face image by calculating a score value S i . In step S3, when the face image determination unit 131 determines that the image existing in the rectangular area 101 is a face image, the process proceeds to step S4. On the other hand, if the face image determination unit 131 determines in step S3 that the image existing in the rectangular area 101 is not a face image, the process proceeds to step S5.

ステップS4において、顔画像判別部131は、矩形領域101左上端におけるxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhを算出し、xy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhとスコア値Sとを判別指標値算出部132に供給する。 In step S4, the face image determination unit 131, xy coordinate values x i in the rectangular region 101 the upper left corner, it calculates y i, the face image detection area width w i, and the face image detecting area height h i, xy coordinate values x i , y i , face image detection region width w i , face image detection region height h i and score value S i are supplied to the discrimination index value calculation unit 132.

ステップS5において、顔画像判別部131は、画像上の矩形領域101を右方向又は下方向に2画素移動させる。   In step S5, the face image determination unit 131 moves the rectangular area 101 on the image by two pixels in the right direction or the downward direction.

ステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達したか否か、すなわち、画像全体における矩形領域101のスキャン及び切り出し処理が終了したか否かを判断する。このステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達したと判断した場合、ステップS7に進む。一方、このステップS6において、顔画像判別部131は、矩形領域101のスキャン及び切り出し処理が画像の右下端まで到達していないと判断した場合、ステップS2に戻り、ステップS2〜ステップS6の処理動作を繰り返す。   In step S <b> 6, the face image determination unit 131 determines whether the scan and cutout processing of the rectangular area 101 has reached the lower right corner of the image, that is, whether the scan and cutout processing of the rectangular area 101 in the entire image has ended. Judging. In step S6, if the face image determination unit 131 determines that the scanning and clipping process of the rectangular area 101 has reached the lower right end of the image, the process proceeds to step S7. On the other hand, if the face image discriminating unit 131 determines in step S6 that the scan and cut-out processing of the rectangular area 101 has not reached the lower right end of the image, the process returns to step S2, and the processing operations of steps S2 to S6 are performed. repeat.

ステップS7において、顔画像判別部131は、画像を所定の縮小率で縮小する。   In step S7, the face image determination unit 131 reduces the image at a predetermined reduction rate.

ステップS8において、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短いか否かを判断する。このステップS8において、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短いと判断した場合は、ステップS9に進み、一連の処理動作を終了させる。一方、このステップS8において、顔画像判別部131は、顔画像判別部131は、画像の一辺が矩形領域の一辺よりも短くないと判断した場合、ステップS2に戻り、ステップS2〜ステップS8の処理動作を繰り返す。   In step S8, the face image determination unit 131 determines whether one side of the image is shorter than one side of the rectangular area. In step S8, if the face image determination unit 131 determines that one side of the image is shorter than one side of the rectangular area, the process proceeds to step S9 and ends a series of processing operations. On the other hand, in step S8, when the face image determination unit 131 determines that one side of the image is not shorter than one side of the rectangular area, the process returns to step S2 and the processes of steps S2 to S8 are performed. Repeat the operation.

なお、上述の顔画像判別部131は、算出したスコア値Sを顔画像の判別結果として続く判別指標値算出部132に供給するとしたが、スコア値Sに基づいて、顔画像であると判別した場合にはデジタルデータの1を、顔画像でないと判別した場合にはデジタルデータの0を続く判別指標値算出部132に供給するようにしてもよい。 Note that the face image determination unit 131 described above, although the calculated score value S i was supplied to the subsequent determination index value calculation section 132 as a determination result of the face image, based on the score value S i, If it is a face image If it is determined, 1 of the digital data may be supplied to the subsequent determination index value calculation unit 132 if it is determined that the image is not a face image.

顔画像判別部131は、このような顔画像判別処理によって、例えば図6(A)に示す入力画像から、図6(B)に示すように、検出位置及び検出サイズの異なる顔画像を検出することができる。   The face image discriminating unit 131 detects face images having different detection positions and detection sizes, for example, as shown in FIG. 6B from the input image shown in FIG. 6A by such face image discrimination processing. be able to.

上述の顔画像判別処理では、顔画像判別部131は、図7に示すように、本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出し、また、画像の縮小によって本来の顔画像よりも僅かに小さいサイズの顔画像を検出してしまう。   In the face image discrimination processing described above, the face image discrimination unit 131 detects a face image a plurality of times at a position slightly shifted from the original face image area as shown in FIG. A face image having a size slightly smaller than the face image is detected.

このように、同一の顔画像に対して複数回検出された顔画像から1つの顔画像を選択する処理として、例えば顔画像の検出精度を示す所定のスコア値が最大である顔画像を選択する処理(以下、スコア値最大領域選択処理という。)が挙げられる。しかしながら、このスコア値最大領域選択処理では、図8(A)に示すように、矩形領域101の画像におけるシフト単位や画像の縮小倍率に基づく離散的な検出結果しか得られないことになる。   As described above, as a process of selecting one face image from face images detected a plurality of times for the same face image, for example, a face image having a maximum predetermined score value indicating the detection accuracy of the face image is selected. Processing (hereinafter referred to as “score value maximum region selection processing”). However, in this score value maximum area selection process, as shown in FIG. 8A, only discrete detection results based on the shift unit and the image reduction magnification in the image of the rectangular area 101 can be obtained.

そこで、本発明を適用した一実施形態における顔画像検出装置1は、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化されて安定化した顔画像の検出領域(以下、顔画像検出領域という。)を得るための処理(以下、顔画像検出領域安定化処理という。)を適用する。   Therefore, in the face image detection apparatus 1 according to an embodiment to which the present invention is applied, a plurality of face image detection areas are averaged regardless of the discrete value based on the shift unit of the face image detection area or the image reduction magnification. Then, a process (hereinafter referred to as a face image detection area stabilization process) for obtaining a stabilized face image detection area (hereinafter referred to as a face image detection area) is applied.

顔画像検出部13では、後述する判別指標値算出部132及び顔画像検出領域分類部133における処理の後、顔画像領域平均化部134が、例えば以下に示すような計算処理を行うことにより顔画像検出領域を安定化する。   In the face image detection unit 13, the face image region averaging unit 134 performs, for example, the following calculation processing after the processing in the discrimination index value calculation unit 132 and the face image detection region classification unit 133 which will be described later. Stabilize the image detection area.

すなわち、顔画像検出領域平均化部134は、顔画像番号i、顔画像検出領域の左上端におけるxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhを用いて顔画像検出領域R(x,y,w,h)を示す場合、n回検出された顔画像検出領域R〜Rにおけるx座標値x〜x,y座標値y〜y,顔画像検出領域幅w〜w,顔画像検出領域高さh〜hに対して、顔画像判別部131によって算出された所定のスコア値sで重み付けすることにより平均値Rave(xave,yave,wave,have)を算出する(数式(1)〜数式(4))。 That is, the face image detection area averaging unit 134 includes the face image number i, the xy coordinate values x i and y i at the upper left corner of the face image detection area, the face image detection area width w i , and the face image detection area height h. face image detecting area by using the i R i (x i, y i, w i, h i) may exhibit, x coordinate value at n times the detected face image detecting area R 1 ~R n x 1 ~x n , Y coordinate values y 1 to y n , face image detection area widths w 1 to w n , and face image detection area heights h 1 to h n , a predetermined score value s calculated by the face image determination unit 131. The average value R ave (x ave , y ave , w ave , h ave ) is calculated by weighting with i (formula (1) to formula (4)).

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

顔画像検出領域平均化部134は、複数の顔画像検出領域について所定のスコア値Sで重み付けした平均値Rave(xave,yave,wave,have)を算出することによって、例えば図8(B)に示すように、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化された顔画像領域を得ることができる。 The face image detection area averaging unit 134 calculates an average value R ave (x ave , y ave , w ave , h ave ) weighted with a predetermined score value S i for a plurality of face image detection areas, for example, As shown in FIG. 8B, it is possible to obtain a face image area in which a plurality of face image detection areas are averaged regardless of a discrete value based on the shift unit of the face image detection area or the image reduction magnification. it can.

なお、例えば顔画像判別部131が所定の画像が顔画像であると判別してデジタルデータの1を出力するように設定した場合や計算処理を簡素化する場合においては、単純に複数の検出結果の平均をとることにより、顔画像検出領域を安定化するようにしてもよい。この場合、数式(1)〜数式(4)は、それぞれ数式(5)〜数式(8)に書き換えられる。   For example, when the face image determination unit 131 determines that the predetermined image is a face image and outputs 1 of digital data or when the calculation process is simplified, a plurality of detection results are simply obtained. The face image detection area may be stabilized by taking the average of the above. In this case, Equations (1) to (4) are rewritten to Equations (5) to (8), respectively.

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

Figure 2008027058
Figure 2008027058

このような顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域平均化の計算に組み込む顔画像検出領域を選択する方法の一例について、図9を示しながら説明する。   An example of a method for selecting a face image detection area to be incorporated in calculation of face image detection area averaging from a plurality of face image detection areas in such face image detection area stabilization processing will be described with reference to FIG.

図9(A)に示すように、例えば、顔画像2Aの顔画像検出領域と顔画像2Bの顔画像検出領域とが接近している場合、顔画像検出領域安定化処理では、顔画像2Aについての顔画像検出領域20Aと顔画像2Bについての顔画像検出領域20Bとが何れの顔画像における顔画像検出領域として平均化の計算に採用されるについて正しく判別されなければならない。   As shown in FIG. 9A, for example, when the face image detection area of the face image 2A and the face image detection area of the face image 2B are close to each other, the face image detection area stabilization processing is performed on the face image 2A. The face image detection area 20A and the face image detection area 20B for the face image 2B must be correctly determined as to be employed in the averaging calculation as the face image detection area in any face image.

また、図9(B)に示すように、例えば、顔画像2Aの顔画像検出領域20A内に顔画像2Aとは異なる対象の検出領域20Cが存在する場合や、顔画像2Aの顔画像検出領域20Aと検出領域20Cとがほぼ重なる場合、顔画像検出領域安定化処理では、顔画像2Cとは異なる対象の検出領域20Cが誤検出領域として平均化の計算から除外され、正しく検出された顔画像検出領域20Aのみが安定化処理の計算に組み込まなければならない。   Also, as shown in FIG. 9B, for example, when a target detection area 20C different from the face image 2A exists in the face image detection area 20A of the face image 2A, or a face image detection area of the face image 2A When 20A and the detection area 20C substantially overlap, in the face image detection area stabilization process, the detection area 20C that is different from the face image 2C is excluded from the averaging calculation as a false detection area, and the face image is detected correctly. Only the detection area 20A has to be incorporated into the calculation of the stabilization process.

このような例を踏まえ、顔画像検出装置1における顔画像検出領域安定化処理では、任意の2つの顔画像検出領域について、例えば(1)同一人物の顔画像検出領域として平均化の計算に組み込まれる、(2)異なる人物の顔画像検出領域として各人物における平均化の計算に組み込まれる、(3)誤検出領域として平均化の計算から除外される、といった分類が行われた後、顔画像検出領域平均化の計算が行われる。   Based on such an example, in the face image detection region stabilization processing in the face image detection device 1, any two face image detection regions are incorporated in the calculation of averaging as, for example, (1) the same person's face image detection region. (2) the face image detection area of different persons is incorporated in the calculation of averaging in each person, and (3) the face image is excluded from the calculation of averaging as an erroneous detection area. Detection area averaging is calculated.

判別指標値算出部132は、図10に示すように、例えば、複数の顔画像検出領域の内、判別基準となる基準領域200A及び判別対象となる被判別領域200Bを任意に選択し、基準領域200Aの一辺a及び被判別領域200Bの一辺bを用いて示されて基準領域200Aと被判別領域200Bとの相対サイズの指標値となる検出領域サイズ指標値b/aと、基準領域200Aと被判別領域200Bとの中心間距離c及び基準領域200Aの一辺aを用いて示されて基準領域200Aと被判別領域200Bとの相対距離の指標値となる中心間距離指標値c/aとを算出する。   As shown in FIG. 10, the discrimination index value calculation unit 132 arbitrarily selects, for example, a reference area 200 </ b> A serving as a discrimination reference and a discrimination target area 200 </ b> B serving as a discrimination target from among a plurality of face image detection areas. The detected area size index value b / a, which is indicated by using one side a of 200A and one side b of the discriminated area 200B and becomes an index value of the relative size of the reference area 200A and the discriminated area 200B, and the reference area 200A and the discriminated area 200B A center-to-center distance index value c / a, which is indicated by using the center-to-center distance c with the discrimination area 200B and one side a of the reference area 200A and becomes an index value of the relative distance between the reference area 200A and the discrimination area 200B, is calculated. To do.

そして、判別指標値算出部132は、複数の顔画像検出領域と、検出領域サイズ指標値b/a及び中心間距離指標値c/aとを続く顔画像検出領域分類部133に供給する。   Then, the discrimination index value calculation unit 132 supplies the plurality of face image detection areas, the detection area size index value b / a, and the center distance index value c / a to the subsequent face image detection area classification unit 133.

すなわち、判別指標値算出部132は、複数の顔画像検出領域における基準領域200A及び被判別領域200Bの全ての組み合わせについて、検出領域サイズ指標値b/a及び中心間距離指標値c/aを算出し、これら基準領域200A及び被判別領域200Bの全ての組み合わせにおける検出領域サイズ指標値b/a及び中心間距離指標値c/aを算出する毎に、続く顔画像検出領域分類部133に供給する。   That is, the discrimination index value calculation unit 132 calculates the detection area size index value b / a and the center distance index value c / a for all combinations of the reference area 200A and the discrimination area 200B in the plurality of face image detection areas. Each time the detection area size index value b / a and the center distance index value c / a in all combinations of the reference area 200A and the determination area 200B are calculated, the detected area size index value b / a is supplied to the subsequent face image detection area classification unit 133. .

なお、判別指標値算出部132が算出する判別指標値はこれらに限られず、例えば2つの顔画像検出領域の合計面積に対する重なり面積、2つの顔画像検出領域の中心点間のマンハッタン距離等であってもよい。また、判別指標値の算出数は限定されない。   Note that the discrimination index value calculated by the discrimination index value calculation unit 132 is not limited to these, and is, for example, the overlapping area with respect to the total area of the two face image detection regions, the Manhattan distance between the center points of the two face image detection regions, or the like. May be. Further, the number of determination index values calculated is not limited.

図11は、検出領域サイズ指標値b/a及び中心間距離指標値c/aに応じて定められた基準領域200Aに対する被判別領域200Bの相対的サイズ・相対位置からなる相対指標を示す図である。   FIG. 11 is a diagram showing a relative index composed of a relative size and a relative position of the discrimination area 200B with respect to the reference area 200A determined according to the detection area size index value b / a and the center distance index value c / a. is there.

顔画像検出領域分類部133は、この図11に示すような基準領域200Aに対する被判別領域200Bの相対指標を、例えば図12に示すような境界線131,132,133を設定することにより設定された領域13A,13B,13C,13D内にそれぞれ分類する。   The face image detection area classifying unit 133 is set by setting, for example, boundary lines 131, 132, and 133 as shown in FIG. 12 as relative indicators of the discrimination area 200B with respect to the reference area 200A as shown in FIG. The areas 13A, 13B, 13C, and 13D are classified.

なお、顔画像検出領域分類部133が各境界線を設定する方法としては、例えばヒューリスティック法を用いて統計的に学習させることにより設定する方法が挙げられるが、より適当な方法としては、例えば十分量の顔画像データを用いて生成した分類タグを教示データとしてSVMやLDA(Linear Discriminant analysis)に適用して統計的に学習させる方法等が挙げられる。   As a method of setting each boundary line by the face image detection region classification unit 133, for example, a method of setting by statistical learning using a heuristic method may be used. As a more appropriate method, for example, sufficient For example, a classification tag generated using a large amount of face image data may be applied to SVM or LDA (Linear Discriminant analysis) as teaching data and statistically learned.

顔画像検出領域分類部133は、領域13Aに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、同一人物の顔画像検出領域として判別する。   The face image detection area classification unit 133 determines the reference area 200A and the determination area 200B having the relative index classified as the area 13A as the face image detection area of the same person.

また、顔画像検出領域分類部133は、領域13Bに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、異なる人物の顔画像検出領域として判別する。   Further, the face image detection area classification unit 133 determines that the reference area 200A and the determination area 200B having the relative index classified as the area 13B are the face image detection areas of different persons.

また、顔画像検出領域分類部133は、領域13C及び領域13Dに分類された相対指標を有する基準領域200A及び被判別領域200Bについては、被判別領域200Bを誤検出領域として判別する。   Further, the face image detection area classification unit 133 determines the determined area 200B as an erroneously detected area for the reference area 200A and the determined area 200B having the relative indexes classified into the areas 13C and 13D.

顔画像検出領域分類部133は、例えば相対指標31については、基準領域200Aのサイズと被判別領域200Bのサイズとが同一であり(検出領域サイズ指標値b/a=1)、且つ、基準領域200A及び被判別領域200Bの中心間距離が短い(中心間距離指標値c/aが小さい)ので、同一人物の顔画像検出領域と判別する。   For example, for the relative index 31, the face image detection area classification unit 133 has the same size of the reference area 200A and the size of the determination area 200B (detection area size index value b / a = 1), and the reference area Since the center-to-center distance between 200A and the determination area 200B is short (the center-to-center distance index value c / a is small), it is determined as the face image detection area of the same person.

また、顔画像検出領域分類部133は、例えば相対指標32については、被判別領域200Bのサイズが基準領域200Aのサイズよりも小さく(検出領域サイズ指標値b/a<1)、且つ、基準領域200A及び被判別領域200Bの中心間距離が長い(中心間距離指標値c/aが大きい)ので、異なる人物の顔画像検出領域と判別する。   Further, the face image detection area classification unit 133, for example, for the relative index 32, the size of the determination area 200B is smaller than the size of the reference area 200A (detection area size index value b / a <1), and the reference area Since the center-to-center distance between the 200A and the determination area 200B is long (the center-to-center distance index value c / a is large), it is determined as a face image detection area of a different person.

また、顔画像検出領域分類部133は、例えば相対指標33については、被判別領域200Bのサイズが基準領域200Aのサイズよりも大きく(検出領域サイズ指標値1<b/a)、且つ、基準領域200A及び被判別領域200Bがほぼ重なる程度に中心間距離が長い(中心間距離指標値c/aが中程度の大きさ)ので、被判別領域200Bを誤検出領域として判別する。   Further, the face image detection area classification unit 133, for example, for the relative index 33, the size of the determination area 200B is larger than the size of the reference area 200A (detection area size index value 1 <b / a), and the reference area Since the center-to-center distance is so long that 200A and the discrimination target area 200B almost overlap each other (the center-to-center distance index value c / a is medium), the discrimination target area 200B is discriminated as an erroneous detection area.

顔画像検出領域分類部133は、分類された基準領域200A及び被判別領域200Bの相対指標を続く顔画像検出領域安定化処理部134に供給する。また、顔画像検出領域分類部133は、顔画像検出領域の左上端におけるxy座標値x,y、顔画像検出領域幅w、及び顔画像検出領域高さhとスコア値S又はデジタルデータ(1又は0)とを顔画像検出領域安定化処理部134に供給する。 The face image detection area classification unit 133 supplies the relative indices of the classified reference area 200A and the determined area 200B to the subsequent face image detection area stabilization processing unit 134. The face image detection area classification unit 133 also has an xy coordinate value x i , y i , a face image detection area width w i , a face image detection area height h i, and a score value S i at the upper left corner of the face image detection area. Alternatively, digital data (1 or 0) is supplied to the face image detection region stabilization processing unit 134.

顔画像検出領域平均化部134は、顔画像検出領域分類部133で分類された相対指標を有する基準領域200A及び被判別領域200Bにおいて、上述したように、数式(1)〜数式(4)又は数式(5)〜数式(8)を用いて顔画像検出領域の平均化の計算を行うことにより、顔画像の検出結果を安定化させることが可能となる。   As described above, the face image detection area averaging unit 134 uses the formula (1) to the formula (4) or the determination area 200B having the relative indices classified by the face image detection area classification unit 133. It is possible to stabilize the detection result of the face image by calculating the averaging of the face image detection area using Expression (5) to Expression (8).

すなわち、顔画像検出領域安定化処理部134は、領域13Aに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、同一人物の顔画像検出領域として基準領域200Aのみに対して平均化の計算を行い、領域13Bに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、異なる人物の顔画像検出領域として別々に平均化の計算を行い、領域13C及び領域13Dに分類された相対指標を有する基準領域200A及び被判別領域200Bに対しては、被判別領域200Bを誤検出として平均化の計算から削除して、基準領域200Aのみに対して平均化の計算を行うようにする。   In other words, the face image detection region stabilization processing unit 134 applies only the reference region 200A as the face image detection region of the same person to the reference region 200A and the discriminated region 200B having the relative indices classified into the region 13A. For the reference area 200A and the discriminated area 200B having the relative indices classified into the area 13B, the averaging calculation is separately performed as a face image detection area of a different person, and the area 13C is calculated. And for the reference area 200A and the discriminated area 200B having the relative index classified into the area 13D, the discriminated area 200B is deleted from the averaging calculation as an erroneous detection, and only the reference area 200A is averaged To perform the calculation.

顔画像検出領域平均化部134は、このような領域を平均化する計算を行うことにより顔画像検出領域が安定化された顔画像を生成し、この顔画像を画像出力部15に供給する。   The face image detection area averaging unit 134 generates a face image in which the face image detection area is stabilized by performing calculation for averaging such areas, and supplies the face image to the image output unit 15.

ここで、顔画像検出領域の安定化の精度をスコア値最大領域選択処理と顔画像検出領域安定化処理とで比較した実験結果を示す。   Here, an experimental result in which the accuracy of stabilization of the face image detection area is compared between the score value maximum area selection process and the face image detection area stabilization process is shown.

図13は、アダブーストによって検出された541サンプルの顔画像検出領域における右目の目頭と目尻との中間点(右目位置)、左目の目頭と目尻との中間点(左目位置)、及び前歯の位置(口位置)のばらつきを示す図である。   FIG. 13 shows an intermediate point (right eye position) between the eyes and corners of the right eye in the face image detection area of 541 samples detected by Adaboost, an intermediate point (left eye position) between the eyes and corners of the left eye, and the positions of the front teeth ( It is a figure which shows the dispersion | variation in (mouth position).

図13に示すように、顔画像検出領域安定化処理が施された541サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布は、スコア値最大領域選択処理が行われた場合の541サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布に比べて分布幅が小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。   As shown in FIG. 13, the distribution of the right eye position, the left eye position, and the mouth position of the face image detection area of 541 samples subjected to the face image detection area stabilization process is obtained when the score value maximum area selection process is performed. The distribution width is smaller than the distribution of the right eye position, the left eye position, and the mouth position of the face image detection area of the 541 samples of the face image. It can be seen that the detection area is stabilized.

また、表1は、この541サンプルの右目位置、左目位置、及び口位置における平均位置からの距離(誤差平均)と、この平均位置からの分散(誤差分散値)を算出した結果を示している。   Table 1 shows the results of calculating the distance from the average position (error average) and the variance (error variance value) from the average position at the right eye position, left eye position, and mouth position of the 541 samples. .

Figure 2008027058
Figure 2008027058

表1に示すように、541サンプルの右目位置、左目位置、及び口位置における誤差平均及び誤差分散は、何れも顔画像検出領域安定化処理を施した場合の値がスコア値最大領域選択処理を施した場合の値よりも小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。   As shown in Table 1, the error average and error variance in the right eye position, left eye position, and mouth position of the 541 samples are the values when the face image detection region stabilization processing is performed. The value is smaller than the value when applied, and it can be seen that the face image detection area is more stabilized in the face image detection area stabilization process than in the maximum score value area selection process.

本発明を適用した一実施形態における顔画像検出装置1では、顔画像検出領域が複数検出された場合、これら複数の顔画像検出領域の平均領域を算出することによって、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が安定化された顔画像領域を得ることができる。   In the face image detection apparatus 1 according to an embodiment to which the present invention is applied, when a plurality of face image detection regions are detected, the average unit of the plurality of face image detection regions is calculated, thereby shifting the face image detection region shift unit. It is possible to obtain a face image area in which a plurality of face image detection areas are stabilized, regardless of discrete values based on the image reduction magnification.

また、顔画像検出装置1では、顔画像判別部131が画素単位で矩形領域101を移動するとともに所定の縮小率で入力画像を縮小させるため、画素シフト量よりも細かい位置解像度、且つ画像縮小率よりも細かい領域サイズシフトの解像度で、安定化した顔画像領域の検出結果を得ることができる。   Further, in the face image detection device 1, since the face image determination unit 131 moves the rectangular area 101 in units of pixels and reduces the input image at a predetermined reduction rate, the position resolution and image reduction rate that are finer than the pixel shift amount. It is possible to obtain a stable face image area detection result with a resolution of a smaller area size shift.

また、顔画像検出装置1では、顔画像領域を検出した後に顔のパーツ画像領域を検出して顔画像領域を安定化させる方法と比べて計算量が少なく、顔のパーツ画像を検出する際の誤検出を防止することができ、高精度に顔検出領域を安定化させることができる。   Further, the face image detection apparatus 1 has a smaller amount of calculation than the method of stabilizing the face image area by detecting the face image area after detecting the face image area. False detection can be prevented, and the face detection area can be stabilized with high accuracy.

また、顔画像検出装置1では、固有の顔画像におけるベクトル特徴量を用いる場合に生じ得るベクトルの次元ずれの問題を考慮することがないため、顔画像の識別性能を向上させることができる。   Further, the face image detection device 1 can improve the identification performance of the face image because it does not consider the problem of vector dimension shift that may occur when using the vector feature amount in the unique face image.

また、顔画像検出装置1では、安定した顔画像検出領域を顔のパーツ画像の検出の前処理として用いることにより、顔のパーツ画像の探索範囲を限定することができ、領域安定化処理における計算量の削減、及び誤認識率の低減が可能となる。   In addition, the face image detection device 1 can limit the search range of the face part image by using a stable face image detection area as a pre-processing for detecting the face part image, and can calculate the area stabilization process. The amount can be reduced and the recognition error rate can be reduced.

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

例えば、上述した実施の形態では、本発明を、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力する顔画像検出装置に適用したが、入力された画像データに基づく画像から検出する画像は顔画像に限られず、人物の全体像、手等、何れのも画像であってもよい。   For example, in the above-described embodiment, the present invention is applied to a face image detection device that detects a face image from an image based on input image data and outputs a detection result of a face image detection region or the like. The image detected from the image based on the image data is not limited to the face image, and may be any image such as a whole image of a person and a hand.

また、例えば、上述した実施の形態では、顔画像判別部131は、入力された画像データに基づく80×100画素の画像100Aにおいて、顔画像を判別するための20×20画素の矩形領域101を、画像100Aの左上端から2画素ずつ右方向又は下方向に移動させ、画像100Aの右下端まで到達させるようにしたが、入力された画像データに基づく画像の画素サイズ、矩形領域の画像サイズ、矩形領域の移動幅及び移動方向等は、これに限られるものではない。   Further, for example, in the above-described embodiment, the face image discrimination unit 131 uses the 20 × 20 pixel rectangular area 101 for discriminating the face image in the 80 × 100 pixel image 100A based on the input image data. The image 100A is moved rightward or downward by two pixels from the upper left end of the image 100A to reach the lower right end of the image 100A. The pixel size of the image based on the input image data, the image size of the rectangular area, The moving width and moving direction of the rectangular area are not limited to this.

本発明を適用した一実施形態における顔画像検出装置を示す図である。It is a figure which shows the face image detection apparatus in one Embodiment to which this invention is applied. 本発明を適用した一実施形態における顔画像検出装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the face image detection apparatus in one Embodiment to which this invention is applied. 顔画像検出部の構成を示すブロック図である。It is a block diagram which shows the structure of a face image detection part. 顔画像判別部の処理工程を説明するための図である。It is a figure for demonstrating the process of a face image discrimination | determination part. 顔画像判別部の処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation of a face image discrimination | determination part. (A)は、入力画像の一例であり、(B)は、入力画像から顔画像を検出する様子を示す図である。(A) is an example of an input image, (B) is a figure which shows a mode that a face image is detected from an input image. 本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出する様子を示す図である。It is a figure which shows a mode that a face image is detected in multiple times in the position slightly shifted | deviated from the original face image area | region. (A)は、スコア値最大領域選択処理による顔画像検出領域を示す図であり、(B)は、顔画像検出領域安定化処理による顔画像検出領域を示す図である。(A) is a figure which shows the face image detection area | region by a score value maximum area | region selection process, (B) is a figure which shows the face image detection area | region by a face image detection area stabilization process. 顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域安定化処理の計算に組み込む顔画像検出領域を選択する方法例を示す図である。In the face image detection area stabilization process, it is a figure which shows the example of a method of selecting the face image detection area incorporated in calculation of a face image detection area stabilization process from several face image detection areas. 判別指標値の算出例を説明するための図である。It is a figure for demonstrating the calculation example of a discrimination | determination index value. 2つの顔画像検出領域の相対指標を示す図である。It is a figure which shows the relative parameter | index of two face image detection areas. 顔画像検出領域分類部によって設定された各領域内に2つの顔画像検出領域の相対指標を分類する様子を示す図である。It is a figure which shows a mode that the relative parameter | index of two face image detection areas is classified into each area | region set by the face image detection area classification | category part. アダブーストによって検出された541サンプルの顔画像検出領域における顔のパーツのばらつきを示す図である。It is a figure which shows the dispersion | variation in the part of the face in the face image detection area | region of 541 samples detected by Adaboost.

符号の説明Explanation of symbols

1 顔画像検出装置、11 操作部、12 画像入力部、13 顔画像検出部、14 記録部、15 画像出力部、16 制御部、131 顔画像判別部、132 判別指標値算出部、133 顔画像検出領域分類部、134 顔画像領域平均化部134   DESCRIPTION OF SYMBOLS 1 Face image detection apparatus, 11 Operation part, 12 Image input part, 13 Face image detection part, 14 Recording part, 15 Image output part, 16 Control part, 131 Face image discrimination | determination part, 132 Discrimination index value calculation part, 133 Face image Detection region classification unit, 134 Face image region averaging unit 134

Claims (7)

入力画像から所定の画像を検出する画像検出装置において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、
上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、
上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段と
を備えることを特徴とする画像検出装置。
In an image detection device that detects a predetermined image from an input image,
Each time the relative size between the detection target area of a predetermined size and the input image is changed, the detection target area is scanned and cut out from the input image so as to move by a predetermined pixel, and the detection target area within the cut out detection target area Image discriminating means for discriminating whether an image is the predetermined image and outputting a discrimination result;
When the image determining means determines that the image in the detection target area is the predetermined image, the relative position of the two detection areas including the reference area and the determination target area detected for the predetermined image, and Index value calculating means for calculating a predetermined index value based on the relative size;
Detection for determining whether or not the determination target area classified based on the predetermined index value calculated by the index value calculation means is adopted in a calculation process for generating a detection result of the predetermined image An image detection apparatus comprising: an area determination unit.
上記検出領域判別手段は、上記2つの検出領域の相対距離が短く、且つ、上記2つの検出領域のサイズが略同一である場合、上記2つの検出領域を同一の検出領域として上記被判別領域を上記計算処理に採用すると判別することを特徴とする請求項1記載の画像検出装置。   When the relative distance between the two detection areas is short and the sizes of the two detection areas are substantially the same, the detection area determination means determines the determination area as the two detection areas as the same detection area. The image detection apparatus according to claim 1, wherein it is determined that the calculation process is adopted. 上記検出領域判別手段は、上記2つの検出領域の相対距離が短く、且つ、上記2つの検出領域のサイズが大きく異なる場合、上記基準領域のみを上記計算処理に採用すると判別することを特徴とする請求項1記載の画像検出装置。   The detection area determination means determines that only the reference area is adopted for the calculation process when the relative distance between the two detection areas is short and the sizes of the two detection areas are greatly different. The image detection apparatus according to claim 1. 上記検出領域判別手段は、上記2つの検出領域の相対距離が長く、且つ、上記2つの検出領域のサイズが大きく異なる場合、上記基準領域と上記被判別領域とを別々の上記計算処理に採用すると判別することを特徴とする請求項1記載の画像検出装置。   When the relative distance between the two detection areas is long and the sizes of the two detection areas are greatly different, the detection area determination means adopts the reference area and the determination area as separate calculation processes. The image detection apparatus according to claim 1, wherein the determination is performed. 上記検出領域判別手段によって上記計算処理に採用すると判別された上記被判別領域を含む複数の上記検出領域の位置及び大きさの平均値を算出し、当該位置及び大きさが平均化された検出領域を生成する検出領域平均化手段
をさらに備えることを特徴とする請求項1記載の画像検出装置。
An average value of the positions and sizes of a plurality of the detection regions including the discriminated region determined to be adopted in the calculation process by the detection region determination means, and a detection region in which the positions and sizes are averaged The image detection apparatus according to claim 1, further comprising detection area averaging means for generating
上記所定画像は顔画像であることを特徴とする請求項1記載の画像検出装置。   The image detection apparatus according to claim 1, wherein the predetermined image is a face image. 入力画像から所定の画像を検出する画像検出方法において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、
上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる2つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、
上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程と
を有することを特徴とする画像検出方法。
In an image detection method for detecting a predetermined image from an input image,
Each time the relative size between the detection target area of a predetermined size and the input image is changed, the detection target area is scanned and cut out from the input image so as to move by a predetermined pixel, and the detection target area within the cut out detection target area An image determination step of determining whether an image is the predetermined image and outputting a determination result;
When it is determined in the image determination step that the image in the detection target area is the predetermined image, the relative positions of the two detection areas including the reference area and the determination target area detected for the predetermined image And an index value calculating step for calculating a predetermined index value based on the relative size;
It is discriminated whether or not the discriminated area classified based on the predetermined index value calculated in the index value calculating step is adopted in a calculation process for generating a detection result of the predetermined image. An image detection method comprising: a detection region discrimination step.
JP2006197156A 2006-07-19 2006-07-19 Image detection apparatus and image detection method Pending JP2008027058A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006197156A JP2008027058A (en) 2006-07-19 2006-07-19 Image detection apparatus and image detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006197156A JP2008027058A (en) 2006-07-19 2006-07-19 Image detection apparatus and image detection method

Publications (1)

Publication Number Publication Date
JP2008027058A true JP2008027058A (en) 2008-02-07

Family

ID=39117641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006197156A Pending JP2008027058A (en) 2006-07-19 2006-07-19 Image detection apparatus and image detection method

Country Status (1)

Country Link
JP (1) JP2008027058A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217607A (en) * 2008-03-11 2009-09-24 Seiko Epson Corp Calculation for reliability in detecting face region in image
JP2009217609A (en) * 2008-03-11 2009-09-24 Seiko Epson Corp Processing for correcting image region set based on face region
US9189683B2 (en) 2008-03-14 2015-11-17 Omron Corporation Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
JP2021064043A (en) * 2019-10-10 2021-04-22 グローリー株式会社 Image processing device, image processing system, image processing method and image processing program
JP2024050279A (en) * 2022-09-29 2024-04-10 株式会社コロプラ PROGRAM, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING APPARATUS

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309850A (en) * 2004-04-22 2005-11-04 Mitsubishi Electric Corp Face detection device
JP2006048328A (en) * 2004-08-04 2006-02-16 Konica Minolta Holdings Inc Apparatus and method for detecting face

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309850A (en) * 2004-04-22 2005-11-04 Mitsubishi Electric Corp Face detection device
JP2006048328A (en) * 2004-08-04 2006-02-16 Konica Minolta Holdings Inc Apparatus and method for detecting face

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217607A (en) * 2008-03-11 2009-09-24 Seiko Epson Corp Calculation for reliability in detecting face region in image
JP2009217609A (en) * 2008-03-11 2009-09-24 Seiko Epson Corp Processing for correcting image region set based on face region
US9189683B2 (en) 2008-03-14 2015-11-17 Omron Corporation Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
JP2021064043A (en) * 2019-10-10 2021-04-22 グローリー株式会社 Image processing device, image processing system, image processing method and image processing program
JP7385416B2 (en) 2019-10-10 2023-11-22 グローリー株式会社 Image processing device, image processing system, image processing method, and image processing program
JP2024050279A (en) * 2022-09-29 2024-04-10 株式会社コロプラ PROGRAM, INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING APPARATUS

Similar Documents

Publication Publication Date Title
US5745596A (en) Method and apparatus for performing text/image segmentation
US5892842A (en) Automatic method of identifying sentence boundaries in a document image
JP4835459B2 (en) Table recognition program, table recognition method, and table recognition apparatus
KR101015663B1 (en) Character recognition method in text recognition device and device therefor
JP3943638B2 (en) Automatic recognition method of drop word in document image without using OCR
JP5517504B2 (en) Image processing apparatus, image processing method, and program
US8358838B2 (en) Red eye detecting apparatus, red eye detecting method and red eye detecting program stored on a computer readable medium
JP5616308B2 (en) Document modification detection method by character comparison using character shape feature
US7580571B2 (en) Method and apparatus for detecting an orientation of characters in a document image
EP1826720B1 (en) Image processing apparatus and method, computer program, and storage medium
CN103198468B (en) Image processing apparatus, image processing method and image processing system
JP2006350704A (en) Classifier learning method, face discrimination method and apparatus, and program
JP4522468B2 (en) Image discrimination device, image search device, image search program, and recording medium
JP2012243196A (en) Image identification device, image identification method, image identification program and recording medium
US20050139782A1 (en) Face image detecting method, face image detecting system and face image detecting program
US7720261B2 (en) Image processing apparatus, image processing method, program, and recording medium
US7146047B2 (en) Image processing apparatus and method generating binary image from a multilevel image
US8482812B2 (en) Image processing apparatus for detecting object from image and method thereof
US20050190953A1 (en) Method, system and program for searching area considered to be face image
US8311331B2 (en) Resolution adjustment of an image that includes text undergoing an OCR process
JP2008027058A (en) Image detection apparatus and image detection method
JP2007108990A (en) Face detection method, apparatus and program
JP2858530B2 (en) Edge enhancement device
JP5083162B2 (en) Image data determination apparatus, image data determination system, and program
JP5145862B2 (en) Image processing program and image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110726