[go: up one dir, main page]

WO2020095400A1 - 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 - Google Patents

特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2020095400A1
WO2020095400A1 PCT/JP2018/041432 JP2018041432W WO2020095400A1 WO 2020095400 A1 WO2020095400 A1 WO 2020095400A1 JP 2018041432 W JP2018041432 W JP 2018041432W WO 2020095400 A1 WO2020095400 A1 WO 2020095400A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
feature points
feature point
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/041432
Other languages
English (en)
French (fr)
Inventor
巧一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US17/288,635 priority Critical patent/US20210383098A1/en
Priority to JP2020556419A priority patent/JPWO2020095400A1/ja
Priority to PCT/JP2018/041432 priority patent/WO2020095400A1/ja
Publication of WO2020095400A1 publication Critical patent/WO2020095400A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to a technique for extracting feature points of an object from an image.
  • the face of a person in a photographed image used for face recognition is set in a reference state (for example, the center line of the face image that faces the front and passes through the nose muscle is aligned with the reference line extending in the vertical direction defined in the photographed image). State). Therefore, in face recognition, when the face of the person in the captured image is deviated from the set reference state, for example, when the center line of the face image is tilted with respect to the vertical reference line of the captured image. Even in some cases, a method for extracting facial feature points (hereinafter also referred to as facial feature points) is required.
  • Patent Document 1 discloses an example of a method that does not use deep learning.
  • the eye position coordinates are detected in the face detection processing for detecting a face from a captured image.
  • a normalization process for normalizing the inclination of the face is executed, and facial feature points are extracted from the normalized face image.
  • Patent Document 2 discloses a method of detecting each part of a face by utilizing a haar-like feature.
  • the face feature point detection method of the prior art considers the case where the face is tilted greatly in the captured image (when the angle at which the center line of the face image is tilted with respect to the reference line of the captured image is large). If the feature points can be extracted, there is a problem that the amount of calculation increases.
  • the main object of the present invention is to obtain an object from the image even when the inclination of the object included in the image (for example, the inclination of the center line set in the object with respect to the reference line set in the image) is large. It is an object of the present invention to provide a technique capable of extracting the feature points of (1) and suppressing an increase in the amount of calculation related to face authentication.
  • an embodiment of the feature point extraction device is A reduction unit that reduces the amount of image data, A first extraction unit that extracts the feature points of the target object included in the image from the image whose data amount has been reduced by the reduction unit; A correction unit that corrects the inclination of the object in the image before the data amount is reduced using the feature points extracted by the first extraction unit; A second extraction unit that extracts a feature point of the object from the image in which the inclination is corrected.
  • an embodiment of the feature point extraction method is By computer Reduce the amount of image data, From the image in which the data amount is reduced, the feature points of the object included in the image are extracted, Using the extracted feature points, the inclination of the object in the image before the data amount is reduced is corrected, Feature points of the object are extracted from the image in which the inclination is corrected.
  • one embodiment of the program storage medium is Processing to reduce the amount of image data, A process of extracting feature points of an object included in the image from the image in which the data amount is reduced, Using the extracted feature points, a process of correcting the inclination of the object in the image before the data amount is reduced, A computer program is stored that causes a computer to execute a process of extracting a feature point of the object from the image in which the tilt is corrected.
  • the feature points of the object can be extracted from the image and the increase in the amount of calculation can be suppressed.
  • FIG. 1 is a block diagram showing the configuration of the feature point extraction device of the first embodiment together with an image capturing device and a display device.
  • the feature point extraction device 10 of the first embodiment is configured by a computer.
  • the feature point extraction device 10 has a function of extracting feature points (face feature points) of a person's face used for face recognition of a person from a captured image.
  • the object means an object from which the characteristic points are extracted.
  • the object from which the feature points are extracted from the captured image is a human face, and the feature points to be extracted are the face feature points.
  • the facial feature points are detected from the facial features in the image.
  • the features of the face are detected, for example, based on the brightness difference or the brightness gradient within the pixel or the set area, and are determined by the skeleton or organ of the face.
  • the feature point represents the position where the feature is extracted.
  • the feature point extraction device 10 is connected to the photographing device 20.
  • the image capturing apparatus 20 is composed of, for example, a camera that captures moving images and still images, and has a function of outputting image data of captured images.
  • the image capturing device 20 is an authentication target such as a portable terminal device (smartphone, tablet, etc.), a notebook type or a stationary type personal computer, or a gate for which it is necessary to determine whether to permit admission. It is installed so that people's faces can be photographed.
  • the feature point extraction device 10 includes, as a hardware configuration, a communication unit 11, a storage device 12, an input / output IF (Interface) 13, and a control device (processor) 14.
  • the communication unit 11, the storage device 12, the input / output IF 13, and the control device 14 are connected in a communicable state with each other.
  • the communication unit 11 has a function of realizing communication with an external device via an information communication network (not shown), for example.
  • the input / output IF 13 has a function of realizing communication of information (signal) with an external device.
  • Examples of the external device include a display device (display) 30 for displaying images and characters, and an input device (not shown) such as a keyboard and a touch panel for an operator (user) of the device to input information.
  • the imaging device 20 is connected to the feature point extraction device 10 via the communication unit 11 or the input / output IF 13.
  • the storage device 12 is a storage medium that stores data and a computer program (program), and functions as a program storage medium.
  • storage media such as hard disks and SSDs (Solid State Drives), and the types of storage media that make up the storage device 12 are not limited, and description thereof is omitted here.
  • the feature point extraction device 10 may include a plurality of types of storage media, these storage media are collectively referred to as the storage device 12 here.
  • the control device 14 is composed of one or a plurality of processors.
  • An example of the processor is a CPU (Central Processing Unit).
  • the control device 14 reads the program stored in the storage device 12, writes the program in the internal memory of the control device 14, and executes the program to control the operation of the feature point extraction device 10. To achieve.
  • the control device 14 includes, as functional units, an acquisition unit 41 that functions as an acquisition unit, a detection unit 42 that functions as a detection unit, a reduction unit 43 that functions as a reduction unit, a first extraction unit 44 that functions as a first extraction unit, and a correction function that serves as a correction unit.
  • the unit 45 and the second extraction unit 46 that functions as the second extraction unit are realized.
  • the acquisition unit 41 has a function of acquiring a photographed image photographed by the photographing device 20 in the form of image data via the communication unit 11 or the input / output IF 13.
  • an image is composed of image data, and the functional units 41 to 46 process the image data of the image.
  • the image data of the image is simply referred to as the image. It may be abbreviated.
  • the acquisition unit 41 acquires, for example, captured images transmitted from the image capturing device 20 at preset time intervals.
  • the acquisition unit 41 also has a function of storing the acquired captured image in the storage device 12.
  • the detection unit 42 has a function of detecting an area including a human face (hereinafter, also referred to as a face detection area) in the captured image acquired by the acquisition unit 41.
  • the detection unit 42 uses the reference data for face detection registered in the storage device 12 in advance to detect the face detection area in the captured image.
  • There are various methods for detecting a face detection area using reference data for face detection such as statistical processing using a matching result with reference data by machine learning. It may be adopted, and its detailed description is omitted.
  • the face detection area detected by the detection unit 42 is parallel to the vertical and horizontal sides of the outer shape of the rectangular image 22 captured by the image capturing device 20, as shown in FIG.
  • the face detection area Z has a rectangular shape with vertical and horizontal sides.
  • the form of the reference data for face detection is a form determined according to the detection method of the face detection area adopted by the detection unit 42.
  • the reduction unit 43 has a function of reducing the data amount of the image data indicating the image of the face detection area Z detected by the detection unit 42 (in other words, the image including the object).
  • Examples of the process of reducing the data amount include a process of reducing color information included in an image such as converting a color image into a monochrome image, a process of reducing the size of the image, a process of reducing the resolution, and the like. is there.
  • the reduction unit 43 performs a process including at least one of a process of reducing color information included in an image, a process of reducing the image size, and a process of lowering the resolution to detect the face detection area.
  • the data amount of the Z image is reduced. By reducing the amount of data, the number of points at which facial features (eg, brightness difference or brightness gradient) are extracted from the image of the face detection area Z will be reduced. However, the features of the facial organs from which the features are easily extracted do not disappear.
  • the first extraction unit 44 has a function of extracting the feature points of the face included in the image from the image of the face detection area Z whose data amount has been reduced by the reduction unit 43.
  • the facial feature point is a point representing the position of the facial feature determined by the facial organs and skeletons as described above, and in the first embodiment, at least the pupil is extracted by the first extracting unit 44 as the facial feature point. ..
  • the facial feature points extracted by the first extraction unit 44 are data used in the processing executed by the correction unit 45, and are used to calculate the inclination of the face in the image of the face detection area Z.
  • the inclination of the face here means to rotate about the front-back axis of the face along the direction from the front of the face to the back of the head (tilt the face (head) left and right).
  • the face inclination is the virtual line extending along the vertical side of the rectangular face detection area Z as shown in FIG. It is the inclination of the virtual centerline of the passing face (in other words, the centerline of the object).
  • the inclination of the face means the virtual line passing through both eyes with respect to this reference line. It is an inclination.
  • the first extraction unit 44 uses the reference data for face feature point extraction registered in the storage device 12 in advance to extract the face feature points from the image of the face detection area Z in which the data amount is reduced.
  • the method for the first extraction unit 44 to extract the facial feature points from the image of the face detection area Z using the reference data is not particularly limited, and the description of the method is omitted.
  • the reference data for extracting the facial feature points used by the first extraction unit 44 is the image of the face detection area Z in which the data amount is reduced and which includes a face with a large inclination. Is also reference data from which facial feature points can be extracted.
  • a face with a large inclination means the inclination of the face as described above (the inclination of the virtual center line passing through the nose muscle of the face with respect to the reference line along the vertical side of the face detection area Z, or The inclination of an imaginary line passing through both eyes with respect to the reference line along the side is, for example, 45 degrees or more.
  • the first extraction unit 44 may extract not only the pupil but also the top of the nose and the corners of the mouth as the facial feature points as the facial feature points.
  • the face feature points extracted by the first extraction unit 44 are data used for calculating the inclination of the face in the face detection area Z and not data used for face authentication. It may be lower than the extraction accuracy when extracting the facial feature points to be used.
  • FIG. 2 an example of the extraction position of the facial feature points by the first extraction unit 44 is represented by a cross.
  • the extraction position of the pupil extracted by the first extraction unit 44 is out of the center of the pupil, and the extraction position of the mouth corner on the left side of the face is out of the mouth angle, but the deviation is It does not adversely affect the calculation of the slope of.
  • the first extraction unit 44 further has a function of generating position data representing the positions of the extracted facial feature points by using, for example, the two-dimensional orthogonal coordinate system set in the captured image 22.
  • a two-dimensional orthogonal coordinate system defined by the x-axis along the horizontal side and the y-axis along the vertical side is set.
  • the coordinates representing the position of the feature point of the left eye pupil are represented by (xl, yl)
  • the coordinates representing the position of the feature point of the right eye pupil are represented by (xr, yr). ..
  • the position data represented by such coordinates is stored in the storage device 12 in association with, for example, identification information for identifying the captured image 22 from which the characteristic points are extracted.
  • the correction unit 45 uses the facial feature points extracted by the first extraction unit 44 to correct the inclination of the face in the image of the face detection area Z before the data amount detected by the detection unit 42 is reduced. Equipped with. For example, the correction unit 45 firstly generates the virtual line Lv as shown in FIG. 3 that passes through the feature points of the right-eye pupil and the left-eye pupil extracted by the first extraction unit 44 and the face detection area Z. The angle ⁇ formed by the imaginary line Ls along the side next to is calculated as the inclination angle of the face according to the following equation (1).
  • ⁇ arctan ((yl-yr) / (xl-xr)) (1) Note that yl represents the y-coordinate of the feature point of the left-eye pupil, yr represents the y-coordinate of the feature point of the right-eye pupil, xl represents the x-coordinate of the feature point of the left-eye pupil, and xr is The x coordinate of the feature point of the pupil of the right eye is represented.
  • the correction unit 45 calculates the face detection area Z (that is, the face detection area in which the data amount is not reduced) Z detected by the detection unit 42 in the captured image 22.
  • the tilt angle ⁇ is rotated in the direction for correcting the tilt, and the face detection area Zt after the rotation is set.
  • the center of rotation of the face detection area may be, for example, the center of the face (for example, the crown of the nose) or the center of the face detection area (center of gravity).
  • the face in the face detection area Zt is in a state equivalent to the state in which the inclination is corrected. That is, the correction unit 45 can correct the inclination of the face in the face detection area in this way, and can obtain the face detection area Zt including the face whose inclination has been corrected.
  • the second extraction unit 46 has a function of extracting facial feature points from an image of the face detection area Zt that includes a face whose inclination has been corrected (an image whose data amount has not been reduced).
  • the facial feature points extracted by the second extracting unit 46 are feature points used for face authentication, and are, for example, the center of the pupil of the eye, the crown of the nose, and the left and right corners of the mouth.
  • the second extraction unit 46 extracts facial feature points from the image of the face detection area Zt by using reference data for facial feature point extraction registered in the storage device 12 in advance, for example.
  • the method for the second extraction unit 46 to extract the facial feature points from the face detection area Zt using the reference data is not particularly limited, and may be different from the method for the first extraction unit 44 to extract the facial feature points. Yes, and sometimes the same.
  • the reference data used by the second extraction unit 46 is different from the reference data used by the first extraction unit 44. That is, the reference data used by the first extraction unit 44 is the face detection area Z in which the data amount is reduced as described above, and the face detection area Z including the face with a large inclination also includes the face detection area Z. It is reference data from which feature points can be extracted.
  • the second extraction unit 46 extracts face feature points from the image of the face detection area Zt including the face whose inclination has been corrected. From this, it is not necessary to consider that the reference data used by the second extraction unit 46 has a larger inclination of the face than that of the first extraction unit 44, and it is mainly necessary to improve the extraction accuracy of the facial feature points. This is the data generated in consideration.
  • the second extraction unit 46 uses the reference data to extract the facial feature points from the image of the face detection area Zt, so that the extraction accuracy of the facial feature points by the first extraction unit 44 (see FIG. 2) is determined. In comparison, facial feature points can be extracted with high accuracy as shown by the X mark in FIG.
  • the first extraction unit 44 and the second extraction unit 46 use the reference data as described above, the first extraction unit 44 determines the face inclination from which the facial feature points can be extracted in the face detection area. The range is wider than that of the second extraction unit 46.
  • the feature point extraction device 10 of the first embodiment has the above-mentioned configuration. Next, an example of the operation relating to the feature point extraction in the feature point extraction device 10 will be described based on the flowchart of FIG.
  • the flowchart in FIG. 5 also shows a feature point extraction method by the feature point extraction device 10 configured by a computer.
  • the detection unit 42 performs face detection processing (including a human face) on the acquired captured image by face detection processing. It is determined whether or not there is an image (step S102). Then, when there is no face detection area (that is, the detection unit 42 cannot detect the face detection area), the control device 14 prepares for acquisition of the next captured image.
  • the reduction unit 43 executes processing for reducing the data amount of the detected face detection area Z.
  • the first extraction unit 44 extracts face feature points from the face detection area Z in which the data amount is reduced in order to obtain the face feature points used by the correction unit 45 (step S104).
  • the correction unit 45 corrects the inclination of the face in the face detection region Z detected by the detection unit 42, using the face feature points extracted by the first extraction unit 44 (step S105).
  • the second extraction unit 46 extracts face feature points used for face authentication from the face detection area Zt including the image of the face whose inclination has been corrected (step S106). Then, the second extraction unit 46 outputs the extracted facial feature point data to the output destination designated in advance (step S107). For example, as shown in FIG. 6, when the feature point extraction device 10 is incorporated in the authentication device 50, the face feature point information is output to the authentication unit 51 included in the authentication device 50. It The authentication unit 51 has a function of collating the facial feature point data of the registrant registered in advance in the storage device with the facial feature point data output from the feature point extracting apparatus 10, for example.
  • the authentication unit 51 has a function of determining whether or not to authenticate the face photographed by the photographing device 20, based on the matching result.
  • the authentication unit 51 is realized by, for example, a CPU included in the authentication device 50.
  • the CPU that realizes the authentication unit 51 also functions as the control device 14 of the feature point extraction device 10.
  • the face feature point data extracted by the second extraction unit 46 may be output to a display control unit (not shown) that controls the display operation of the display device 30.
  • the display control unit displays the positions of the facial feature points extracted together with the captured image on the display (screen) of the display device 30, for example.
  • the feature point extraction device 10 of the first embodiment can obtain the following effects. That is, the feature point extraction device 10 of the first embodiment includes the reduction unit 43 and the first extraction unit 44. Therefore, in the feature point extraction device 10, the data amount of the face detection area Z detected from the captured image is reduced by the reduction unit 43, and the face extraction area Z from which the data amount is reduced is detected by the first extraction unit 44. The face feature points for tilt correction used for tilt correction of the image are extracted. As a result, the feature point extraction device 10 performs the process of extracting the face feature points for tilt correction from the face detection area Z as compared with the case of extracting the face feature points for tilt correction without reducing the data amount. It is possible to suppress the calculation amount of.
  • the second extraction unit 46 extracts face feature points from the face detection area Zt (that is, an image including a face whose inclination has been corrected by the correction unit 45 and whose data amount has not been reduced). Facial feature points can be extracted without lowering the accuracy of feature point extraction.
  • the feature point extraction device 10 considers the case where the human face (target object) in the captured image is tilted, and suppresses an increase in the amount of calculation, and the face feature point (feature point of the target object is determined from the captured image. ) Can be extracted without lowering the accuracy of extracting).
  • the feature point extraction device 10 includes a detection unit 42, the detection unit 42 detects the face detection area Z from the captured image, and further, the first extraction unit 44 from the image of the face detection area Z in which the data amount is reduced. Is provided to extract facial feature points for tilt correction. That is, the feature point extraction device 10 extracts the face feature point for tilt correction from the image of the face detection region Z detected from the captured image, not from the entire captured image. Therefore, the feature point extraction device 10 can suppress the amount of calculation in the process of extracting the face feature points for tilt correction, as compared with the case of extracting the face feature points for tilt correction from the entire captured image.
  • the first extraction unit 44 extracts face feature points from the image of the face detection area Z before the correction of the face inclination by the correction unit 45. For this reason, in the first embodiment, the first extraction unit 44 has a wider range of the face inclination in which the facial feature points can be extracted than the face inclination range in which the second extraction unit 46 can extract the characteristic points. It is configured. As a result, the feature point extraction device 10 can obtain the effect of extracting face feature points while suppressing an increase in the amount of calculation even if the face tilt is large in the captured image 22.
  • the acquisition unit 41 acquires the captured image from the imaging device 20, but acquires the captured image from a storage device (not shown) that stores the captured image by the imaging device 20, for example. It may be configured to.
  • the feature point extraction device 10 includes the detection unit 42, the detection unit 42 detects the face detection area Z in the captured image, and the data amount of the detected face detection area Z is reduced. It is reduced by the part 43.
  • the process of detecting the face detection area Z in the captured image is performed by a device different from the feature point extraction device 10, and the feature point extraction device 10 detects the detected face detection region Z (target object).
  • the feature point extraction device 10 does not have to perform the process of the detection unit 42, and thus the detection unit 42 may be omitted.
  • the detection unit 42 is omitted and the face detection area Z is removed from the captured image.
  • the process of detecting may be omitted.
  • the reduction unit 43 reduces the data amount of the entire captured image
  • the correction unit 45 performs a process of rotating the captured image according to the inclination of the face.
  • the target object from which the feature points are extracted is a human face.
  • the target object from which the feature points are extracted may be other than the human face, for example, the shoulder or elbow of the human, or other than the human body.
  • the extracted feature points are used, for example, to analyze the movement of the object.
  • the feature point extraction device 10 is incorporated in the analysis device 60, and the feature points extracted by the feature point extraction device 10 are analyzed by the analysis unit 61 included in the analysis device 60. May be used for analysis processing by.
  • the analysis unit 61 is realized by, for example, a CPU included in the analysis device 60.
  • the CPU that realizes the analysis unit 61 also functions as the control device 14 of the feature point extraction device 10.
  • the face detection area Z (in other words, the image including the object (face)) is rectangular, but the face detection area may have a shape other than rectangular.
  • the shape of the face detection area is other than the rectangular shape as described above, for example, based on the orientation of the object photographed in a predetermined reference orientation, the face (object ) Is set in advance as a reference line that represents the inclination.
  • the feature point extraction device 10 may have a configuration in which the display device 30 notifies the face detection area Zt corrected by the correction unit 45.
  • the controller 14 may be composed of different types of processors.
  • the control device 14 may include a CPU and a GPU (Graphics Processing Unit).
  • the CPU may be responsible for the first extraction unit 44
  • the GPU may be responsible for the second extraction unit 46, which has a higher calculation load than the first extraction unit 44. According to this configuration, there is an effect that the processing for extracting the facial feature points can be sped up as compared with the processing according to the first embodiment.
  • FIG. 8 is a block diagram showing a simplified configuration of another embodiment of the feature point extraction device according to the present invention.
  • the feature point extraction device 70 in FIG. 8 includes a reduction unit 71 that serves as a reduction unit, a first extraction unit 72 that serves as a first extraction unit, a correction unit 73 that serves as a correction unit, and a second extraction unit 74 that serves as a second extraction unit. Is equipped with.
  • the reduction unit 71 has a function of reducing the amount of image data.
  • the first extraction unit 72 has a function of extracting the feature points of the target object included in the image from the image whose data amount has been reduced by the reduction unit 71.
  • the correction unit 73 has a function of correcting the inclination of the object in the image before the data amount is reduced, using the feature points extracted by the first extraction unit 72.
  • the second extraction unit 74 has a function of extracting the feature points of the target object from the image in which the tilt is corrected.
  • the feature point extraction device 70 of FIG. 8 has an effect that feature points of the object can be extracted from the image and an increase in the amount of calculation can be suppressed even when the inclination of the object in the image is large.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像に含まれる対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制するために、特徴点抽出装置７０は次の構成を備える。特徴点抽出装置７０は、削減部７１と第一抽出部７２と補正部７３と第二抽出部７４を備える。削減部７１は、画像のデータ量を削減する。第一抽出部７２は、データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する。補正部７３は、第一抽出部７２により抽出された特徴点を用いて、データ量が削減される前の画像における対象物の傾きを補正する。第二抽出部７４は、傾きが補正された画像から対象物の特徴点を抽出する。

Description

特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体
　本発明は、画像から対象物の特徴点を抽出する技術に関する。
　顔認証で利用する撮影画像中の人物の顔は、設定の基準状態（例えば、正面を向き且つ鼻筋を通る顔画像の中心線が、撮影画像に定められている上下方向に伸びる基準線に沿う状態）であるとは限らない。このため、顔認証において、撮影画像中の人物の顔が、設定の基準状態からずれている状態、例えば、顔画像の中心線が撮影画像の上下方向の基準線に対して傾いている状態である場合にも顔の特徴点（以下、顔特徴点とも記す）を抽出する手法が求められる。
　顔の撮影画像から顔特徴点を抽出する手法として、深層学習（ディープラーニング）を利用する手法がある。
　深層学習を利用しない手法の一例が特許文献１に開示されている。特許文献１では、撮影画像から顔を検出する顔検出処理において目の位置座標が検出される。この検出された目の位置座標を利用して、顔の傾きを正規化する正規化処理が実行され、正規化後の顔の画像から顔特徴点が抽出される。
　特許文献２には、ｈａａｒ－ｌｉｋｅ特徴を利用して顔の各部位を検出する手法が開示されている。
特開２００８－３７４９号公報 特開２０１０－１３４８６６号公報
　先行技術の顔特徴点検出手法には、撮影画像における顔の傾きが大きい場合（顔画像の中心線が撮影画像の基準線に対して傾いている角度が大きい場合）を考慮して画像から顔特徴点を抽出できるようにすると、計算量が増加するという課題がある。
　本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、画像に含まれる対象物の傾き（画像に設定された基準線に対する、対象物に設定された例えば中心線の傾き）が大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、顔認証に係る計算量の増加を抑制できる技術を提供することにある。
　上記目的を達成するために、本発明に係る特徴点抽出装置の一実施形態は、
　画像のデータ量を削減する削減部と、
　前記削減部によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する第一抽出部と、
　前記第一抽出部により抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する補正部と、
　前記傾きが補正された画像から前記対象物の特徴点を抽出する第二抽出部と
を備える。
　また、本発明に係る特徴点抽出方法の一実施形態は、
　コンピュータによって、
　画像のデータ量を削減し、
　前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出し、
　抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正し、
　前記傾きが補正された画像から前記対象物の特徴点を抽出する。
　さらに、本発明に係るプログラム記憶媒体の一実施形態は、
　画像のデータ量を削減する処理と、
　前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する処理と、
　抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する処理と、
　前記傾きが補正された画像から前記対象物の特徴点を抽出する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　本発明によれば、画像に含まれる対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制できる。
本発明に係る第１実施形態の特徴点抽出装置の構成を簡略化して表すブロック図である。 顔検出処理の一例を説明する図である。 顔検出領域における顔の傾きを補正する処理の一例を説明する図である。 さらに、顔検出領域における顔の画像の傾きを補正する処理の一例を説明する図である。 第１実施形態の特徴点抽出装置における特徴点抽出に関わる動作の一例を表すフローチャートである。 特徴点抽出装置により抽出される特徴点を利用する装置の一例である認証装置の構成を簡略化して表すブロック図である。 特徴点抽出装置により抽出される特徴点を利用する装置の別の例である分析装置の構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の特徴点抽出装置の構成を簡略化して表すブロック図である。
　以下に、本発明に係る一実施形態を、図面を参照しつつ説明する。
　＜第１実施形態＞
　図１は、第１実施形態の特徴点抽出装置の構成を撮影装置および表示装置と共に表すブロック図である。第１実施形態の特徴点抽出装置１０は、コンピュータにより構成されている。特徴点抽出装置１０は、撮影画像から、人の顔認証で利用される人の顔の特徴点（顔特徴点）を抽出する機能を備えている。対象物とは、特徴点を抽出する対象となるものを意味している。第１実施形態では、撮影画像から特徴点を抽出する対象物は人の顔であり、抽出する特徴点は顔特徴点である。顔特徴点は、画像中の顔の特徴から検出される。顔の特徴は、例えば、画素や設定領域内での輝度差や輝度勾配に基づいて検出され、顔の骨格や器官によって定まる。特徴点は、その特徴を抽出した位置を表す。
　特徴点抽出装置１０は、撮影装置２０に接続されている。撮影装置２０は、例えば、動画や静止画を撮影するカメラにより構成され、撮影画像の画像データを出力する機能を備えている。また、撮影装置２０は、可搬型の端末装置（スマートフォン、タブレットなど）や、ノート型や据置型のパーソナルコンピュータや、入場を許可するか否かの判断が必要とされるゲートなどに、認証対象の人の顔を撮影できるように設置される。
　特徴点抽出装置１０は、ハードウェア構成として、通信ユニット１１と、記憶装置１２と、入出力IF（Interface）１３と、制御装置（プロセッサ）１４とを備えている。これら通信ユニット１１と記憶装置１２と入出力IF１３と制御装置１４は、互いに通信可能な状態で接続されている。
　通信ユニット１１は、例えば、情報通信網（図示せず）を介して外部の装置との通信を実現する機能を備えている。入出力ＩＦ１３は、外部装置との情報（信号）の通信を実現する機能を備えている。外部装置としては、例えば、映像や文字などを表示する表示装置（ディスプレイ）３０や、装置の操作者（ユーザ）が情報を入力するキーボードやタッチパネル等の入力装置（図示せず）がある。撮影装置２０は、通信ユニット１１あるいは入出力ＩＦ１３を介して特徴点抽出装置１０と接続される。
　記憶装置１２は、データやコンピュータプログラム（プログラム）を格納する記憶媒体であり、プログラム記憶媒体として機能する。記憶媒体にはハードディスクやＳＳＤ（Solid State Drive）などの様々な種類が有り、記憶装置１２を構成する記憶媒体の種類は限定されず、ここでは、その説明は省略する。また、特徴点抽出装置１０が複数種の記憶媒体を備える場合があるが、ここでは、それら記憶媒体をまとめて記憶装置１２として表している。
　制御装置１４は、１つあるいは複数のプロセッサにより構成される。プロセッサの一例としては、ＣＰＵ（Central Processing Unit）がある。制御装置１４は、記憶装置１２に格納されているプログラムを読み出し当該プログラムを制御装置１４の内部のメモリに書き込んで実行することにより、特徴点抽出装置１０の動作を制御する次のような機能部を実現する。
　制御装置１４は、機能部として、取得手段を担う取得部４１、検出手段を担う検出部４２、削減手段を担う削減部４３、第一抽出手段を担う第一抽出部４４、補正手段を担う補正部４５および第二抽出手段を担う第二抽出部４６を実現する。
　取得部４１は、撮影装置２０により撮影された撮影画像を画像データの形態でもって通信ユニット１１あるいは入出力ＩＦ１３を介して取得する機能を備えている。なお、第１実施形態では、画像は、画像データにより構成されるものであり、各機能部４１～４６は画像の画像データを処理するが、以下の説明において、画像の画像データを単に画像と略して記す場合もある。
　取得部４１は、例えば、予め設定された時間間隔毎に撮影装置２０から送信されてくる撮影画像を取得する。また、取得部４１は、取得した撮影画像を記憶装置１２に格納する機能を備えている。
　検出部４２は、取得部４１により取得された撮影画像において人の顔を含む領域（以下、顔検出領域とも記す）を検出する機能を備えている。例えば、検出部４２は、記憶装置１２に予め登録されている顔検出用の参考データを利用して、撮影画像における顔検出領域を検出する。顔検出用の参考データを利用して顔検出領域を検出する手法には、例えば、機械学習による参考データとのマッチング結果を利用した統計処理など、様々な手法があり、ここでは何れの手法を採用してもよく、その詳細な説明は省略する。ただ、第１実施形態では、検出部４２により検出される顔検出領域は、図２に表されるように、撮影装置２０による矩形状の撮影画像２２の外形の縦と横の辺にそれぞれ平行な縦と横の辺を持つ矩形状の顔検出領域Ｚとする。また、撮影画像において、顔が横向きや下向きなどのために顔の一部が不明瞭な場合には顔検出領域が検出されないという如く、顔が撮影されていても顔検出領域が検出されない場合がある。さらに、顔検出用の参考データの形態は、検出部４２が採用する顔検出領域の検出手法に応じて定まる形態である。
　削減部４３は、検出部４２により検出された顔検出領域Ｚの画像（換言すれば、対象物が含まれる画像）を示す画像データのデータ量を削減する機能を備えている。このデータ量を削減する処理としては、例えば、カラー画像をモノクロ画像に変換するというように画像に含まれる色情報を削減する処理や、画像のサイズを小さくする処理や、解像度を下げる処理などがある。第１実施形態では、削減部４３は、画像に含まれる色情報を削減する処理と、画像サイズを縮小する処理と、解像度を下げる処理とのうちの少なくとも一つを含む処理によって、顔検出領域Ｚの画像のデータ量を削減する。なお、データ量を削減することにより、顔検出領域Ｚの画像から顔の特徴（例えば、輝度差や輝度勾配）が抽出される点は減ることとなる。しかしながら、特徴を抽出しやすい顔の器官の特徴がなくなることはない。
　第一抽出部４４は、削減部４３によりデータ量が削減された顔検出領域Ｚの画像から当該画像に含まれる顔の特徴点を抽出する機能を備えている。顔特徴点とは、前述したように顔の器官や骨格により定まる顔の特徴の位置を表す点であり、第１実施形態では、少なくとも瞳が顔特徴点として第一抽出部４４により抽出される。第一抽出部４４により抽出される顔特徴点は、補正部４５が実行する処理で利用するデータであり、顔検出領域Ｚの画像における顔の傾きの算出に利用される。ここでいう顔の傾きとは、顔の前から後頭部に向かう方向に沿う顔の前後軸まわりに回転する（顔（頭）を左右に傾ける）ことを意味する。別の言い方をすれば、顔の傾きとは、図２に表されるような矩形状の顔検出領域Ｚの縦の辺に沿う仮想線を基準線とした場合に、この基準線に対する鼻筋を通る顔の仮想中心線（換言すれば対象物の中心線）の傾きである。あるいは、顔の傾きとは、図２に表されるような矩形状の顔検出領域Ｚの横の辺に沿う仮想線を基準線とした場合には、この基準線に対する両目を通る仮想線の傾きである。
　例えば、第一抽出部４４は、予め記憶装置１２に登録される顔特徴点抽出用の参考データを利用して、データ量が削減された顔検出領域Ｚの画像から顔特徴点を抽出する。第一抽出部４４が参考データを利用して顔検出領域Ｚの画像から顔特徴点を抽出する手法は特に限定されるものではなく、その手法の説明は省略する。ただし、第一抽出部４４が利用する顔特徴点抽出用の参考データは、データ量が削減されている顔検出領域Ｚであって傾きの大きな顔が含まれている顔検出領域Ｚの画像からも顔特徴点を抽出できる参考データである。なお、傾きの大きな顔とは、前述したような顔の傾き（顔検出領域Ｚの縦の辺に沿う基準線に対する顔の鼻筋を通る仮想中心線の傾き、あるいは、顔検出領域Ｚの横の辺に沿う基準線に対する両目を通る仮想線の傾き）が例えば４５度以上である顔を表す。また、第一抽出部４４は、顔特徴点として、瞳だけでなく、鼻の頭頂部や口角をも顔特徴点として抽出してもよい。
　第一抽出部４４が抽出する顔特徴点は、顔検出領域Ｚにおける顔の傾きの算出に利用されるデータであり、顔認証に利用されるデータではないから、その抽出精度は、顔認証で利用される顔特徴点を抽出する場合の抽出精度よりも低くてよい。図２には、第一抽出部４４による顔特徴点の抽出位置の例が×印により表されている。図２の例では、第一抽出部４４により抽出された瞳の抽出位置は、瞳の中心から外れ、また、顔の左側の口角の抽出位置は、口角から外れているが、そのずれは顔の傾きの算出に悪影響を及ぼさない程度となっている。
　また、第一抽出部４４は、抽出した顔特徴点の位置を、例えば撮影画像２２に設定された二次元直交座標系を利用して表す位置データを生成する機能をさらに備える。具体例としては、図２に表される撮影画像２２において、横の辺に沿うｘ軸と縦の辺に沿うｙ軸により定まる二次元直交座標系が設定される。この場合に、左目の瞳の特徴点の位置を表す座標は、（ｘｌ，ｙｌ）と表され、右目の瞳の特徴点の位置を表す座標は、（ｘｒ，ｙｒ）と表されるとする。このような座標により表される位置データは、例えば、特徴点が抽出された撮影画像２２を識別する識別情報に関連付けられて記憶装置１２に格納される。
　補正部４５は、第一抽出部４４により抽出された顔特徴点を用いて、検出部４２により検出されたデータ量が削減される前の顔検出領域Ｚの画像における顔の傾きを補正する機能を備える。例えば、補正部４５は、まず、第一抽出部４４により抽出された右目の瞳の特徴点と左目の瞳の特徴点を通る図３に表されるような仮想線Ｌｖと、顔検出領域Ｚの横の辺に沿う仮想線Ｌｓとの成す角度θを下式（１）に従って顔の傾き角度として算出する。
θ＝arctan（（ｙｌ－ｙｒ）／（ｘｌ－ｘｒ））・・・・・・（１）
　なお、ｙｌは、左目の瞳の特徴点のｙ座標を表し、ｙｒは、右目の瞳の特徴点のｙ座標を表し、ｘｌは、左目の瞳の特徴点のｘ座標を表し、ｘｒは、右目の瞳の特徴点のｘ座標を表している。
　さらに、補正部４５は、図４に表されるように、撮影画像２２において、検出部４２により検出された顔検出領域（つまり、データ量が削減されていない顔検出領域）Ｚを、算出された傾き角度θ分、傾きを補正する方向に回転し、回転後の顔検出領域Ｚｔを設定する。顔検出領域の回転の中心は、例えば、顔の中心（例えば、鼻の頭頂部）であってもよいし、顔検出領域の中心（重心）であってもよい。
　補正部４５による顔検出領域の回転により、顔検出領域Ｚｔに対する顔は、傾き補正された状態と等価な状態となる。すなわち、補正部４５は、このようにして、顔検出領域における顔の傾きを補正することができ、傾きが補正された顔を含む顔検出領域Ｚｔを得ることができる。
　第二抽出部４６は、傾きが補正された顔を含む顔検出領域Ｚｔの画像（データ量が削減されていない画像）から顔特徴点を抽出する機能を備えている。第二抽出部４６が抽出する顔特徴点は顔認証に利用される特徴点であり、例えば、目の瞳の中心や、鼻の頭頂部や、左右の口角である。
　第二抽出部４６は、例えば、予め記憶装置１２に登録される顔特徴点抽出用の参考データを利用して、顔検出領域Ｚｔの画像から顔特徴点を抽出する。第二抽出部４６が参考データを利用して顔検出領域Ｚｔから顔特徴点を抽出する手法は特に限定されるものではなく、第一抽出部４４が顔特徴点を抽出する手法と異なる場合もあるし、同じ場合もある。ただし、第二抽出部４６が利用する参考データは、第一抽出部４４が利用する参考データとは異なるデータである。すなわち、第一抽出部４４が利用する参考データは、前述したようにデータ量が削減されている顔検出領域Ｚであって傾きの大きな顔が含まれている顔検出領域Ｚの画像からも顔特徴点を抽出できる参考データである。これに対し、第二抽出部４６は、傾きが補正された顔を含む顔検出領域Ｚｔの画像から顔特徴点を抽出する。このことから、第二抽出部４６が利用する参考データは、第一抽出部４４に比べれば顔の傾きが大きいことは考慮しなくてよく、主に、顔特徴点の抽出精度を高めることを考慮して生成されたデータである。第二抽出部４６は、そのような参考データを利用して顔検出領域Ｚｔの画像から顔特徴点を抽出するために、第一抽出部４４による顔特徴点の抽出精度（図２参照）に比べて、図４の×印に表されているように顔特徴点を精度良く抽出できる。また、第一抽出部４４と第二抽出部４６は、上述したような参考データを利用するために、第一抽出部４４は、顔検出領域において、顔特徴点を抽出可能な顔の傾きの範囲が第二抽出部４６よりも広くなっている。
　第１実施形態の特徴点抽出装置１０は上記のような構成を備えている。次に、特徴点抽出装置１０における特徴点抽出に係る動作の一例を図５のフローチャートに基づいて説明する。なお、図５におけるフローチャートは、コンピュータにより構成された特徴点抽出装置１０による特徴点抽出方法をも示している。
　まず、制御装置１４の取得部４１が撮影装置２０による撮影画像を取得すると（ステップＳ１０１）、検出部４２が、その取得された撮影画像において、顔検出処理により顔検出領域（人の顔を含む画像）があるか否かを判断する（ステップＳ１０２）。そして、顔検出領域が無い（つまり、検出部４２が顔検出領域を検出できない）場合には、制御装置１４は次の撮影画像の取得に備える。
　一方、撮影画像において顔検出領域Ｚがあって検出部４２が顔検出領域Ｚを検出できた場合には、削減部４３が、検出された顔検出領域Ｚのデータ量を削減する処理を実行する（ステップＳ１０３）。そして、第一抽出部４４が、補正部４５で利用する顔特徴点を得るべく、データ量が削減された顔検出領域Ｚから顔特徴点を抽出する（ステップＳ１０４）。然る後に、補正部４５が、第一抽出部４４により抽出された顔特徴点を利用して、検出部４２により検出された顔検出領域Ｚにおける顔の傾きを補正する（ステップＳ１０５）。
　さらに、第二抽出部４６が、傾きを補正された顔の画像を含む顔検出領域Ｚｔから、顔認証で利用する顔特徴点を抽出する（ステップＳ１０６）。そして、第二抽出部４６は、抽出した顔特徴点のデータを予め指定されている出力先に出力する（ステップＳ１０７）。例えば、図６に表されるように、特徴点抽出装置１０が認証装置５０に組み込まれている場合には、顔特徴点の情報は、認証装置５０に備えられている認証部５１に出力される。認証部５１は、例えば、記憶装置に予め登録されている登録者の顔特徴点のデータに、特徴点抽出装置１０から出力された顔特徴点のデータを照合する機能を備える。さらに、認証部５１は、その照合結果に基づいて、撮影装置２０により撮影された顔を認証するか否かを判断する機能を備える。なお、認証部５１は、例えば、認証装置５０を構成するＣＰＵにより実現される。認証装置５０に特徴点抽出装置１０が組み込まれる場合には、その認証部５１を実現するＣＰＵが特徴点抽出装置１０の制御装置１４としても機能する。
　また、第二抽出部４６により抽出された顔特徴点のデータは、表示装置３０の表示動作を制御する表示制御部（図示せず）に出力されてもよい。この場合には、表示制御部によって表示装置３０のディスプレイ（画面）に、例えば、撮影画像と共に抽出された顔特徴点の位置が表示される。
　第１実施形態の特徴点抽出装置１０は、次のような効果を得ることができる。すなわち、第１実施形態の特徴点抽出装置１０は、削減部４３と第一抽出部４４を備えている。このため、特徴点抽出装置１０では、撮影画像から検出された顔検出領域Ｚのデータ量が削減部４３により削減され、当該データ量が削減された顔検出領域Ｚから第一抽出部４４により顔の画像の傾き補正に利用する傾き補正用の顔特徴点が抽出される。これにより、特徴点抽出装置１０は、顔検出領域Ｚから、データ量を削減せずに傾き補正用の顔特徴点を抽出する場合に比べて、傾き補正用の顔特徴点を抽出する処理での計算量を抑制することができる。
　また、第二抽出部４６は、顔検出領域Ｚｔ（つまり、補正部４５により傾き補正され、かつ、データ量を削減していない顔を含む画像）から、顔特徴点を抽出することから、顔特徴点を抽出する精度を低下させることなく、顔特徴点を抽出できる。
　よって、特徴点抽出装置１０は、撮影画像における人の顔（対象物）が傾いている場合をも考慮し、計算量の増加を抑制しつつ、撮影画像から顔特徴点（対象物の特徴点）を抽出する精度を低下させることなく、顔特徴点を抽出できる。
　さらに、特徴点抽出装置１０は、検出部４２を備え、検出部４２によって撮影画像から顔検出領域Ｚを検出し、さらに、データ量が削減された顔検出領域Ｚの画像から第一抽出部４４により傾き補正用の顔特徴点を抽出する構成を備えている。つまり、特徴点抽出装置１０は、撮影画像全体からではなく、撮影画像から検出された顔検出領域Ｚの画像から傾き補正用の顔特徴点を抽出する。このため、特徴点抽出装置１０は、撮影画像全体から傾き補正用の顔特徴点を抽出する場合に比べて、傾き補正用の顔特徴点を抽出する処理での計算量を抑制できる。
　さらに、第一抽出部４４は、補正部４５により顔の傾きが補正される前の顔検出領域Ｚの画像から顔特徴点を抽出する。このため、第１実施形態では、第一抽出部４４は、顔特徴点を抽出可能な顔の傾きの範囲が、第二抽出部４６が特徴点を抽出可能な顔の傾きの範囲よりも広い構成としている。これにより、特徴点抽出装置１０は、撮影画像２２において顔の傾きが大きくとも、計算量の増加を抑制しつつ、顔特徴点を抽出できるという効果が得られる。
　＜その他の実施形態＞
　本発明は第１実施形態に限定されるものでなく、様々な実施の形態を採り得る。例えば、第１実施形態では、取得部４１は、撮影装置２０から撮影画像を取得しているが、例えば、撮影装置２０による撮影画像が記憶される記憶装置（図示せず）から撮影画像を取得する構成としてもよい。
　また、第１実施形態では、特徴点抽出装置１０は、検出部４２を備え、当該検出部４２によって、撮影画像における顔検出領域Ｚを検出し、当該検出した顔検出領域Ｚのデータ量が削減部４３により削減されている。これに代えて、例えば、撮影画像において顔検出領域Ｚを検出する処理が特徴点抽出装置１０とは別の装置によって行われ、特徴点抽出装置１０は、その検出された顔検出領域Ｚ（対象物（顔）を含む画像）を取得するとする。この場合には、特徴点抽出装置１０は、検出部４２の処理を行わなくてよいので、検出部４２は省略されてもよい。
　さらに、例えば、撮影画像に映し出される顔が大きいために撮影画像と顔検出領域Ｚがほぼ同じとなることが多いと想定される場合には、検出部４２が省略され撮影画像から顔検出領域Ｚを検出する処理が省略されてもよい。この場合には、削減部４３は撮影画像全体のデータ量を削減し、補正部４５は撮影画像を顔の傾きに応じて回転する処理を行う。
　さらに、第１実施形態では、特徴点を抽出する対象物は、人の顔である。これに代えて、特徴点を抽出する対象物は人の顔以外であってもよく、例えば、人の肩や肘であってもよいし、人体以外であってもよい。このような場合には、抽出される特徴点は、例えば、対象物の動きの分析に利用される。換言すれば、図７に表されるように、特徴点抽出装置１０は分析装置６０に組み込まれ、特徴点抽出装置１０により抽出された特徴点は、分析装置６０に備えられている分析部６１による分析処理に利用されてもよい。なお、分析部６１は、例えば、分析装置６０を構成するＣＰＵにより実現される。分析装置６０に特徴点抽出装置１０が組み込まれる場合には、その分析部６１を実現するＣＰＵが特徴点抽出装置１０の制御装置１４としても機能する。
　さらに、第１実施形態では、顔検出領域Ｚ（換言すれば、対象物（顔）を含む画像）は矩形状であるが、顔検出領域は矩形状以外の形状であってもよい。また、このように顔検出領域の形状が矩形状以外である場合には、例えば、予め定められた基準の向きで撮影されている対象物の向きに基づいて、顔検出領域に対する顔（対象物）の傾きを表す基準となる基準線が予め設定される。
　さらに、特徴点抽出装置１０は、補正部４５により補正された顔検出領域Ｚｔを表示装置３０により報知する構成を備えていてもよい。さらに、制御装置１４は、異なる種類のプロセッサにより構成されてもよい。例えば、制御装置１４はＣＰＵとＧＰＵ（Graphics Processing Unit）により構成されてもよい。この場合には、例えば、第一抽出部４４をＣＰＵが担い、第一抽出部４４よりも計算負荷が高い第二抽出部４６をＧＰＵが担うようにしてもよい。この構成によれば、顔特徴点を抽出する処理を第一実施形態による処理よりも高速化することができるという効果をもたらす。
　図８は、本発明に係る特徴点抽出装置のその他の実施形態の構成を簡略化して表すブロック図である。図８における特徴点抽出装置７０は、削減手段を担う削減部７１、第一抽出手段を担う第一抽出部７２、補正手段を担う補正部７３、および第二抽出手段を担う第二抽出部７４を備えている。削減部７１は、画像のデータ量を削減する機能を有する。第一抽出部７２は、削減部７１によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する機能を備える。補正部７３は、第一抽出部７２により抽出された特徴点を用いて、データ量を削減される前の画像における対象物の傾きを補正する機能を備える。第二抽出部７４は、傾きが補正された画像から対象物の特徴点を抽出する機能を備える。
　図８の特徴点抽出装置７０は、画像における対象物の傾きが大きい場合にも、画像から対象物の特徴点を抽出でき、かつ、計算量の増加を抑制できるという効果が得られる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　１０　特徴点抽出装置
　１２　記憶装置
　２０　撮影装置
　４１　取得部
　４２　検出部
　４３　削減部
　４４　第一抽出部
　４５　補正部
　４６　第二抽出部

Claims (7)

  1. 　画像のデータ量を削減する削減手段と、
    　前記削減手段によりデータ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する第一抽出手段と、
    　前記第一抽出手段により抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する補正手段と、
    　前記傾きが補正された画像から前記対象物の特徴点を抽出する第二抽出手段と
    を備える特徴点抽出装置。
  2. 　前記特徴点抽出装置は、
    　撮影装置による撮影画像において前記対象物を含む画像の領域を検出する検出手段をさらに備え、
    　前記削減手段は、前記撮影画像において前記検出手段により検出された領域のデータ量を削減する
    請求項１に記載の特徴点抽出装置。
  3. 　前記第一抽出手段は、前記特徴点を抽出可能な前記対象物の傾きの範囲が、前記第二抽出手段が前記特徴点を抽出可能な前記対象物の傾きの範囲よりも広い請求項１又は請求項２に記載の特徴点抽出装置。
  4. 　前記削減手段は、画像に含まれる色情報を削減する処理と、画像サイズを縮小する処理と、解像度を下げる処理とのうちの少なくとも一つを含む処理によって、前記画像のデータ量を削減する請求項１乃至請求項３の何れか一項に記載の特徴点抽出装置。
  5. 　前記対象物は、人の顔である請求項１乃至請求項４の何れか一項に記載の特徴点抽出装置。
  6. 　コンピュータによって、
    　画像のデータ量を削減し、
    　前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出し、
    　抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正し、
    　前記傾きが補正された画像から前記対象物の特徴点を抽出する特徴点抽出方法。
  7. 　画像のデータ量を削減する処理と、
    　前記データ量が削減された画像から当該画像に含まれる対象物の特徴点を抽出する処理と、
    　抽出された前記特徴点を用いて、前記データ量が削減される前の画像における対象物の傾きを補正する処理と、
    　前記傾きが補正された画像から前記対象物の特徴点を抽出する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2018/041432 2018-11-08 2018-11-08 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 Ceased WO2020095400A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/288,635 US20210383098A1 (en) 2018-11-08 2018-11-08 Feature point extraction device, feature point extraction method, and program storage medium
JP2020556419A JPWO2020095400A1 (ja) 2018-11-08 2018-11-08 特徴点抽出装置、特徴点抽出方法およびコンピュータプログラム
PCT/JP2018/041432 WO2020095400A1 (ja) 2018-11-08 2018-11-08 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/041432 WO2020095400A1 (ja) 2018-11-08 2018-11-08 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体

Publications (1)

Publication Number Publication Date
WO2020095400A1 true WO2020095400A1 (ja) 2020-05-14

Family

ID=70610856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041432 Ceased WO2020095400A1 (ja) 2018-11-08 2018-11-08 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体

Country Status (3)

Country Link
US (1) US20210383098A1 (ja)
JP (1) JPWO2020095400A1 (ja)
WO (1) WO2020095400A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12087029B2 (en) 2021-03-15 2024-09-10 Nec Corporation Information processing apparatus, information processing method and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053916A (ja) * 2007-08-27 2009-03-12 Sony Corp 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP2009087209A (ja) * 2007-10-02 2009-04-23 Sony Corp 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP2013015891A (ja) * 2011-06-30 2013-01-24 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305400A (ja) * 2001-05-25 2008-12-18 Toshiba Corp 顔画像記録装置、及び顔画像記録方法
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
JP4799104B2 (ja) * 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2009277027A (ja) * 2008-05-15 2009-11-26 Seiko Epson Corp 画像における顔の器官の画像に対応する器官領域の検出
US20110199499A1 (en) * 2008-10-14 2011-08-18 Hiroto Tomita Face recognition apparatus and face recognition method
JP5631043B2 (ja) * 2010-04-12 2014-11-26 三菱電機株式会社 来店者通知システム
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
JP6417664B2 (ja) * 2013-12-27 2018-11-07 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053916A (ja) * 2007-08-27 2009-03-12 Sony Corp 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP2009087209A (ja) * 2007-10-02 2009-04-23 Sony Corp 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP2013015891A (ja) * 2011-06-30 2013-01-24 Canon Inc 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAYASAKA, AKIHIRO ET. AL.: "A study of a face recognition algorithm using phase-only correlation", IPSJ SIG TECHNICAL REPORTS, vol. 2008, no. 92, 12 September 2008 (2008-09-12), pages 47 - 52 *
INBE, AKITO, ET. AL.: "Face authentification System using 3D feature points", IEICE TECHNICAL REPORT, vol. 104, no. 748, 17 March 2005 (2005-03-17), pages 25 - 30 *
NISHIYAMA, TAKASHI ET. AL.: "Development of humanoid agent system employing the knowledge on transactional analysis and its experimental evaluation", JOURNAL OF HUMAN INTERFACE SOCIETY, vol. 8, no. 2, 25 May 2006 (2006-05-25), pages 233 - 246 *
YAMASHITA, KENSAKU ET. AL.: "Vehicule detection algorithm using three-dimensional information and its VLSI architecture", IEICE TECHNICAL REPORT, vol. 197, no. 289, 18 October 2007 (2007-10-18), pages 5 - 9 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12087029B2 (en) 2021-03-15 2024-09-10 Nec Corporation Information processing apparatus, information processing method and recording medium
JP7563572B2 (ja) 2021-03-15 2024-10-08 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US12198401B2 (en) 2021-03-15 2025-01-14 Nec Corporation Information processing apparatus, information processing method and recording medium
US12230005B2 (en) 2021-03-15 2025-02-18 Nec Corporation Information processing apparatus, information processing method and recording medium

Also Published As

Publication number Publication date
US20210383098A1 (en) 2021-12-09
JPWO2020095400A1 (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
US11586336B2 (en) Private control interfaces for extended reality
US11449131B2 (en) Obfuscated control interfaces for extended reality
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Xu et al. Seeing double: Reconstructing obscured typed input from repeated compromising reflections
EP2842075B1 (en) Three-dimensional face recognition for mobile devices
US20140270374A1 (en) Systems, Methods, and Software for Detecting an Object in an Image
CN103279225B (zh) 投影式人机交互系统及触控识别方法
EP3998576A2 (en) Image stitching method and apparatus, device, and medium
CN104156643B (zh) 一种利用眼睛视线来实现密码输入的方法及其硬件装置
JP2024096981A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
WO2023034251A1 (en) Spoof detection based on challenge response analysis
US20150254809A1 (en) Display control apparatus, display control method, and non-transitory computer readable medium
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
JP2009277027A (ja) 画像における顔の器官の画像に対応する器官領域の検出
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
EP3582068A1 (en) Information processing device, information processing method, and program
JP2017120455A (ja) 情報処理装置、プログラム及び制御方法
WO2020095400A1 (ja) 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
JP2021056899A (ja) 画像処理装置、画像処理方法およびプログラム
CN113807191B (zh) 一种非侵入式可视化测试脚本自动录制方法
JP2020166653A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7318725B2 (ja) 照合支援装置、照合支援方法、及びプログラム
US20150063631A1 (en) Dynamic image analyzing system and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18939372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556419

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18939372

Country of ref document: EP

Kind code of ref document: A1