[go: up one dir, main page]

WO2012175391A1 - Procede d'etablissement d'un score final de similarite entre des images - Google Patents

Procede d'etablissement d'un score final de similarite entre des images Download PDF

Info

Publication number
WO2012175391A1
WO2012175391A1 PCT/EP2012/061227 EP2012061227W WO2012175391A1 WO 2012175391 A1 WO2012175391 A1 WO 2012175391A1 EP 2012061227 W EP2012061227 W EP 2012061227W WO 2012175391 A1 WO2012175391 A1 WO 2012175391A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
map
gradient
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2012/061227
Other languages
English (en)
Inventor
Liming Chen
Di HUANG
Mohsen Ardabilian
Yunhong Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Centre National de la Recherche Scientifique CNRS
Ecole Centrale de Lyon
Institut National des Sciences Appliquees de Lyon
Universite Lumiere Lyon 2
Universite Claude Bernard Lyon 1
Original Assignee
Beihang University
Beijing University of Aeronautics and Astronautics
Centre National de la Recherche Scientifique CNRS
Ecole Centrale de Lyon
Institut National des Sciences Appliquees de Lyon
Universite Lumiere Lyon 2
Universite Claude Bernard Lyon 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing University of Aeronautics and Astronautics, Centre National de la Recherche Scientifique CNRS, Ecole Centrale de Lyon, Institut National des Sciences Appliquees de Lyon, Universite Lumiere Lyon 2, Universite Claude Bernard Lyon 1 filed Critical Beihang University
Publication of WO2012175391A1 publication Critical patent/WO2012175391A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • the invention relates to a method for establishing a final similarity score between a digital image of an object acquired by an electronic sensor and a prerecorded digital image in an image library.
  • the invention also relates to a recording medium for implementing this method as well as to a method and an apparatus for recognizing an object.
  • a digital image is formed of pixels P (x, y) and comprises a matrix which at each position (x, y) of a pixel in the image associates at least one value a (x, y) of a physical quantity acquired or measured by the electronic sensor.
  • a pixel is the smallest homogeneous surface of a 2D or 3D image.
  • a range telemetric image associates at each position of a pixel a value a (x, y) which represents the distance that separates the point from the corresponding object. at this pixel of a reference plane such as that attached to the lens of the electronic sensor.
  • this datum when it is necessary to distinguish a data item relating to a texture image from that relating to a range telemetric image, this datum includes the index "T". Conversely, a datum relative to a telemetric depth image includes the index "R". For example, the value a T (x, y) corresponds to the value a (x, y) in the texture image and the value a R (x, y) corresponds to the value a (x, y) in the telemetric depth image. In the case where the data has neither the index "T” nor the index "R”, it means that it concerns either a texture image or a telemetric image.
  • Known methods for establishing a final similarity score include: a) constructing from the acquired image of H maps J, gradients calculated according to a respective set of directions, where:
  • H is an integer, of a set i of directions, greater than or equal to two
  • i is an identifier of the set of directions in which the gradients are calculated, a set of directions associates with each pixel P (x, y) of the image a direction Oi (x, y), the direction Oi (x , y) being angularly shifted relative to the direction Oi (x, y) by an angle ⁇ , this angle ⁇ , being the same regardless of the pixel considered in the image,
  • a map of gradients calculated according to a set of directions being a matrix which at each pixel P (x, y) of the acquired image associates a value ⁇ , ( ⁇ , ⁇ ) representative of the gradient of the physical quantity in the direction ⁇ , ( ⁇ , ⁇ ) associated with this pixel in the game i.
  • a map of gradients calculated according to a direction i is a matrix which at each pixel P (x, y) of the acquired image associates a value ⁇ , ( ⁇ , ⁇ ) representative of the gradient of the physical quantity in the direction i from this pixel.
  • the methods for establishing a final similarity score between two images are particularly useful for comparing two images and for recognizing an object in an image.
  • the invention therefore aims at providing an improved method for establishing a final similarity score in which the method comprises:
  • each intermediate score S, of similarity being a real number representing the degree of similarity between the compared maps
  • the reference map J iref being a map of gradients calculated according to the same set of directions as the gradient map J, from the prerecorded image
  • this method is robust to changes, for example during the acquisition of the image, which adds a constant to the value a (x, y). For example, such a change may be a more distant shot.
  • the above method is generic. Indeed, it can be applied to any type of image such as an image of a face, a fingerprint, an iris of an eye, veins, a landscape and other .
  • the construction of the map J, of gradients comprises the normalization of the gradient associated with each pixel of this map by dividing it by at least one component or a combination of components of a vector of directional gradients, this component or this combination of components being such that if each component of the vector of directional gradients and this gradient are multiplied by the same constant ⁇ , the normalized gradient remains independent of this constant ⁇ , the vector of directional gradients gathering only gradients values, in different directions, associated at that same pixel;
  • ⁇ the construction of the map J, of gradients comprises the normalization of the gradient associated with each pixel of this map by dividing it by the norm of the vector of directional gradients or the maximum or the minimum or a linear combination of the components of this same vector directional gradients;
  • the method comprises determining the direction Oi (x, y) associated with each pixel P (x, y) in the set of directions, from the gradients, in at least two different directions, of the neighboring pixels included in a predetermined perimeter centered on this pixel P (x, y);
  • each map J, of gradients comprises the smoothing of the gradient associated with each pixel, said central pixel, of this map by realizing a weighted average of the gradient of the central pixel with those of the adjacent pixels situated inside a predetermined perimeter centered on the central pixel;
  • Weighting coefficients are assigned to each gradient of one pixel of the weighted average, the weighting coefficient assigned to a gradient of an adjacent pixel being smaller when the adjacent pixel is remote from the central pixel;
  • step c) the steps a) and b) are carried out on a texture image and on a telemetric depth image of the object and, in step c), the final score S f is established from the intermediate scores S, obtained from the texture image and the depth telemetric image;
  • the establishment of the final score S f comprises the realization of a weighted sum of intermediate scores S ,, a different weight being assigned to each intermediate score of this sum;
  • the weights of the weighted sum are selected by implementing a genetic algorithm
  • ⁇ H is an integer greater than or equal to two if the gradient maps have negative and positive values or four if the gradient maps have only null or positive values.
  • the smoothing of directional gradients removes abrupt changes of directional gradients of a pixel to its neighbors, created, in particular, by the scanning of the image of the object;
  • the use of the Gaussian law to assign a value to these weighting coefficients makes it possible to increase the accuracy of the final score of similarity and thus the exact recognition rate of an object when this method is used for this purpose, the combined use of a texture image and a depth telemetric image of the same object improves the recognition rate of this object when the final similarity score is used for this purpose.
  • the invention also relates to a method for recognizing an object, this method comprising:
  • each digital image being formed of pixels P (x, y) and comprising a matrix which associates at each position (x, y) with a pixel P (x, y) in the image at least one value a (x, y) of a physical quantity measured by the electronic sensor,
  • the invention also relates to an information recording medium comprising instructions for the implementation of the method above, when these instructions are executed by an electronic computer.
  • the object of the invention is a device for recognizing an object, this device comprising:
  • an electronic sensor capable of acquiring a digital image of the object to be recognized, each digital image being formed of pixels P (x, y) and comprising a matrix which associates with each position (x, y) of a pixel in the image of at least one value a (x, y) of a physical quantity measured by the electronic sensor,
  • H maps J, gradients calculated according to a respective set of directions, where:
  • H is an integer, of games i of directions, greater than or equal to two
  • i is an identifier of the set of directions in which the gradients are calculated
  • a set of directions associates with each pixel P (x, y) of the image a direction Oi (x, y), the direction Oi (x, y) being angularly offset with respect to the direction Oi (x, y) ) an angle ⁇ ,, this angle ⁇ , being the same whatever the pixel considered in the image,
  • a map of gradients calculated according to a set of directions being a matrix which at each pixel P (x, y) of the acquired image associates a value ⁇ , ( ⁇ , ⁇ ) representative of the gradient of the physical quantity in the direction ⁇ , ( ⁇ , ⁇ ) associated with this pixel in the set i,
  • each intermediate score S of similarity between this map of gradients J, and a corresponding map J iref , each intermediate score S, of similarity being a real number representing the degree of similarity between the compared maps, the reference map J ire f being a map of gradients calculated according to the same set of directions as the gradient map J, from a prerecorded image of a digital image library, and
  • FIG. 1 is a schematic illustration of a biometric access control system
  • FIG. 1 is an illustration of different directions used in the system of Figure 1;
  • FIG. 3 is a flowchart of an access control method using the system of FIG. 1;
  • FIG. 4 is a schematic illustration of the Gaussian law used in the method of FIG. 3.
  • FIG. 1 represents a biometric system 2 for controlling access to a resource 4.
  • the resource 4 is a building.
  • the system 2 is described in the particular case where, for a given index i, all directions Oi (x, y) are parallel. We denote O, this common direction.
  • Access to this resource is authorized by the system 2 only if the user is an authorized user.
  • An authorized user is a user whose biometric characteristics are associated, by a database, with a right to use this resource 4.
  • the biometric features are the face of the user.
  • the system 2 comprises a device 6 for recognizing an object by comparing a digital image of this object to a library of prerecorded digital images.
  • the object is a face.
  • the device 6 comprises an apparatus 8 for acquiring digital images of the user's face.
  • the apparatus 8 comprises an electronic sensor 10 able to acquire a texture image of the user's face.
  • the sensor 10 is an infrared camera that measures the intensity of the infrared radiation at a multitude of points on the user's face.
  • the apparatus 8 also comprises another electronic sensor 12 for acquiring a range telemetric image of the user's face.
  • This sensor 12 is typically a range finder that measures the distance that separates points of the user's face from a reference plane.
  • the sensor 12 uses laser telemetry technology. Typically, tens of thousands of facial points are taken into account to acquire the telemetric depth image.
  • the sensors 10 and 12 are connected to a central unit 14.
  • the central unit 14 is programmed to allow access to the resource 4 if the image of the user acquired by the sensors 10 and 12 corresponds to that an authorized user. In the opposite case, the central unit 14 prohibits access to the resource 4.
  • the central unit 14 is made from a programmable electronic computer 16 capable of executing instructions recorded on a recording medium.
  • the computer 16 is connected to a memory 18 containing the instructions necessary to execute the method of FIG.
  • the memory 18 also contains the database 20 which associates the biometric characteristics of the users with a right to use the resource 4.
  • the authorization to access the resource 4 is given as soon as the The user's biometric characteristics are recorded in the database 20.
  • this database 20 does not need to encode the right to use the resource 4 in a particular field. But one can imagine applications where the authorization to access a resource varies according to recognized people. It is then necessary to code the corresponding right of use.
  • the biometric characteristics recorded in the database 20 for each authorized user may be digital images of the user's face, vein images, face range (range image) or any combination of those images. -this.
  • a texture image and a telemetric image of depth of his face can be recorded in the base 20.
  • the base 20 contains:
  • H reference maps J ire fT calculated from this texture image
  • H reference maps J ire fR calculated from the range image.
  • H is an integer number of sets of directions greater than or equal to two and, preferably, greater than or equal to four, eight or sixteen. In the rest of this description, H is taken equal to eight.
  • N the number of cards Jire f associated with the same authorized user. Here this number N is equal to 2 ⁇ designating the number of maps calculated on the texture image and the telemetric depth image.
  • Each reference map J ire f is a map of gradients calculated according to a respective direction i.
  • eight different directions are used. These eight directions are represented in Figure 2 by arrows Oi O 8.
  • these directions Oi O 8 are uniformly distributed in the image plane.
  • the angle ⁇ between two successive directions is constant.
  • this angle ⁇ is equal to 45 °.
  • the direction Oi is the horizontal direction.
  • FIG. 2 also represents a square pixel P (x, y) whose geometric center is marked by a point O.
  • this pixel P (x, y) is followed by the pixel P (x + 1).
  • this pixel P (x, y) is followed by the pixel P (x, y + 1) and preceded by the pixel P (x, y-1).
  • the pixel P (x, y) is followed by the pixel P (x + 1, y + 1) and preceded by the pixel P (x-1, y-1).
  • the pixel P (x, y) is followed by the pixel P (x-1, y + 1) and preceded by the pixel P (x + 1, y-1).
  • the user 40 presents his face in front of the sensors 10 and 12.
  • the sensors 10 and 12 acquire a digital texture image and a telemetric digital depth image of this face .
  • these sensors measure the values a (x, y) for each pixel of each image.
  • the acquired images are recorded for processing in the memory 18.
  • T (x, y) is a function of the light intensity received by the sensor.
  • a R (x, y) is a distance measured by the sensor 12.
  • the combination of the texture image and the telemetric image forms a textured 3D image in which the position of each pixel is coded by a triplet (x, y, z) and at each position the value a T (x, y) is associated.
  • the z coordinate is set from the value a R (x, y).
  • the computer 16 builds H cards J iT gradients along the H directions of Figure 2 from the acquired texture image.
  • each card L iT contains for each pixel P (x, y), the gradient or the derivatives ⁇ ⁇ ( ⁇ , ⁇ ) / ⁇ of the value a T (x, y) in the direction i, where i is the identifier from the direction that the gradient map is calculated.
  • each map L iT associates with the position (x, y) of a pixel P (x, y) the value of the gradient ⁇ , ⁇ ( ⁇ , ⁇ ) starting from this pixel to the pixel immediately consecutive in the direction i.
  • pn- (x, y) (a T (x + 1, y ) - T (x-1, y)) / 2.
  • the same relationship is used in all directions.
  • the computer 16 achieves the weighted average of the value pn- (x, y) with the gradients of the pixels contained in a predetermined perimeter centered on the center O of the pixel P (x, y).
  • the predetermined perimeter is a circle of radius R.
  • the weighting coefficient assigned to each gradient is even smaller than the corresponding pixel is away from the pixel P (x, y).
  • the weighting coefficients follow a Gaussian law.
  • This average value of the gradient pn- (x, y) is here denoted p iT R (x, y).
  • the radius R chosen is such that the perimeter encompasses only the pixels represented in FIG. 2.
  • the gradient p iT R (x, y) is calculated according to the relation next :
  • p iT R (x, y) cipi (x, y) + c 2 pi (x + 1, y) + c 3 pi (x, y + 1) + c 4 pi (x-1, y) + c 5 ⁇ l (x, y-1) + c 6 ⁇ l (x + 1, y + 1) + c 7 ⁇ l (x-1, y + 1) + c 8 ⁇ l (x-1, y-1) + c 9 ft (x + 1, y-1)
  • the coefficients c are chosen according to the Gaussian law shown in FIG. 3.
  • d is the distance between the center O of the pixel P (x, y) and the centers of the neighboring pixels.
  • the Gaussian law is symmetrical.
  • the coefficients c have been represented either to the right or to the left of this ordinate axis.
  • the chosen Gaussian law is parameterized by the radius R of the perimeter.
  • a Gaussian core G whose standard deviation is proportional to the radius R is used to calculate the values p iT R (x, y).
  • the gradient map L iT is convolved with this core G to obtain all the values p iT R (x, y) of the map L iT R.
  • R (x, y) the vector of directional gradients [pi T R (x, y),
  • each L iT R card is normalized.
  • Standardized iT R is rated J iT .
  • This J iT card is called the perceived facial image.
  • Normalization consists in dividing the value p iT R (x, y) of a pixel P (x, y) by the norm of the vector p T R (x, y), associated with this same pixel P (x , y).
  • the normalized value of the pixel P (x, y) in the card J is denoted p iT N (x, y).
  • Normalization makes it possible to make the above method robust with respect to any modification of the environment during the acquisition of the image which multiplies the value pn- (x, y) by a constant ⁇ . . Indeed, the value p iT N (x, y) becomes independent of this constant ⁇ . Thus, this method is robust vis-à-vis changes such as a change in light contrast during step 40. Moreover, in this method, ⁇ is not necessarily constant over the entire image and may vary. from one pixel to another. Thus, the method is insensitive to local changes such as a local change of contrast during the acquisition of the image.
  • the step of constructing the gradients map ends when the gradient map J iT has been constructed for each of the H directions.
  • the calculator 16 calculates intermediate scores S iT of similarity between each J iT card and the corresponding Jir fT card.
  • the J f ire cards are constructed as described in step 42 except that they are derived from the texture image and the range image prerecorded depth. Typically the construction of maps J ire f i for each direction is carried out before step 40 and are then stored in the database 20.
  • the intermediate score S iT of similarity is a real number representative of the probability that the gradient maps J iT and Jire fT correspond to the same object.
  • the intermediate score S iT is even larger than the probability that it is an image of the same object is important.
  • J cards highlight a greater number of key points or characteristic points of an object than the image initially acquired in step 40. But these are the key points that are compared to the key points of the map fire f to establish the similarity score between these maps. For example, it has been measured that the SIFT method identifies 41 and 61 key points respectively in telemetry and texture images while the same method identifies 1 16 and 304 key points in the corresponding "JirefR" and "JirefT" maps.
  • steps 42 and 52 are also performed for the telemetric depth image acquired during step 40 so as to obtain intermediate scores S iR of similarity between the cards J iR and J ire fR.
  • the calculator 16 establishes a final score S f of similarity from these intermediate scores S iT and S iR .
  • the score S f is established using a weighted sum of scores S iT and S iR .
  • the score S f is given by the following relation:
  • the computer 16 establishes the correspondence between the acquired face and the face contained in one of the prerecorded images. For example, if the final score S f exceeds a predetermined threshold Bi when compared to one of the pre-recorded images, then the face of the user is considered recognized. In this case, a step 58 is performed in which the computer 16 authorizes access to the resource 4. For example, in the context of access to a building, the computer 16 controls the unlocking of a door. In the case where the final score S f does not cross the threshold Bi, the user is considered not to have been recognized and we return to step 40.
  • FRGC Face Database version 2
  • This database contains 4007 3D faces, each 3D face containing both intensity values and depth telemetry for each pixel. Thus, for each 3D face, one has a texture image and a telemetric depth image.
  • the following table gives the recognition rate ("rank-one rate” in English) and the verification rate with a FAR (False Acceptance Resuit) of 0, 1% obtained by applying different processes, including the method previously described, to the FRGC database.
  • the method described here obtains the best recognition rate among the various processes to which it has been compared.
  • the senor may be a digital camera or a scanner.
  • the electronic sensor may also be a computer on which software for capturing or generating an image is executed in response to commands from a user.
  • the sensor may be a computer on which CAD (Computer Aided Drawing) software is running.
  • CAD Computer Aided Drawing
  • Such a CAD software makes it possible to acquire an image in response to the commands of the user.
  • the values a (x, y) of each pixel are not measured but generated by the software.
  • the number of directions used to construct the different gradient maps may be different from eight.
  • the different directions used can be chosen so that they are not uniformly distributed in the plane of the image.
  • the angle ⁇ between two immediately successive directions is not necessarily the same between all the successive directions.
  • the number of directions taken into account for the texture image is not necessarily the same as that used for the telemetric depth image.
  • the directions used for the texture image are not necessarily the same as those used for the telemetric depth image.
  • the cards it is also possible to keep only the negative values and to replace the positive values with a zero value. If in the gradient maps the negative and positive values are kept, the number H of direction sets can be divided by two.
  • the method may also comprise the determination of the direction Oi to be used for each pixel P (x, y) so as to make these cards independent of the rotation of an image. Since in this embodiment, the direction Oi depends on the pixel concerned, it is denoted Oi (x, y). For this, the direction Oi (x, y) of each pixel is chosen as the main direction of the gradients of the neighboring pixels. The principal direction of the gradients of the neighboring pixels is calculated as the average of the gradients of the set of pixels in the neighborhood of a pixel. These pixels are considered as neighbors if they are contained within a predetermined perimeter centered on the pixel for which its direction Oi is calculated. This perimeter is for example a circle of radius R chosen.
  • the gradients in the horizontal and vertical directions are calculated for each pixel of the image.
  • g (x, y) the gradient vector of each pixel P (x, y) whose components are formed by the horizontal and vertical gradients calculated for this pixel P (x, y).
  • the principal direction of the gradients of the neighboring pixels is, for example, determined by summing the vectors g (x, y) of neighboring pixels and, possibly, dividing this sum by A, where A is the number of neighboring pixels.
  • the direction Oi (x, y) of one pixel may be different from the direction Oi (x ', y') of another pixel of the same image.
  • the method described above is applied for each pixel P (x, y) of the image but using the direction Oi (x, y) determined for this pixel and not a direction Oi common to all pixels of the image.
  • the directions O 2 (x, y), O 3 (x, y) and following associated with the pixel P (x, y) are constructed from the direction Oi (x, y).
  • the direction Oi (x, y) is deduced from the direction Oi (x, y) by applying an angular rotation of a predetermined angle ⁇ .
  • the angle ⁇ which makes it possible to construct the direction ⁇ , ( ⁇ , ⁇ ) from the direction Oi (x, y) is the same regardless of the pixel P (x, y) of the image. Therefore, in this embodiment, the index "i" does not identify a direction Oi common to all the pixels of the image but a set i of directions ⁇ , ( ⁇ , ⁇ ) associated with each pixel P (x, y) of the image.
  • Such a choice of the direction Oi (x, y) makes it possible to make the above method robust with respect to the rotation of the object around an axis perpendicular to the plane of the image.
  • the database 20 contains only the cards J ire f without the texture images and the corresponding telemetric images.
  • the method described above can also be performed only on the texture images or only on depth telemetry images. In the case where only the texture images are used, we will speak of 2D recognition.
  • N is the sum of 0 T and
  • the vector p R (x, y) can be normalized by dividing its components by the smallest value of these or more generally a linear combination of these as for example the sum of its components.
  • this normalization consists in dividing each value Pi T R (x, y) by the maximum or the minimum of the components of the vector p T R (x, y).
  • p iT N (x, y) p iT R (x , y) / Max [pi T R (x, y); ...; p H T R (x, y)], where "Max” denotes the function that returns the maximum of the various components contained in square brackets.
  • the normalization operation is omitted.
  • DAISY method can also be used. This method is for example described in the following article:
  • An object can be considered recognized when a correspondence has been established between the image of this object and the reference image with which it has the highest final similarity score. In this case, it is not necessary that the final score exceeds a predetermined threshold for recognition of the object.
  • the prerecorded image library may contain only one image.
  • the resource 4 is not necessarily a gateway to a building, it can be all types of resources such as a computer or software.
  • the biometric system may also configure parameters of the resource 4 based on the identified person.
  • the process for establishing the final similarity score can be used in other contexts than a method for recognizing an object. For example, it can be used to classify or search by similarity images between them without necessarily trying to identify the object contained in these images.
  • the object may be something other than a face.
  • it may be a fingerprint, the veins of a hand when presenting the fist closed in front of the electronic sensor, the iris with one eye.
  • the object can also be something other than a biometric feature.
  • the object may be the texture of a material such as the texture of a paper, a textile or a bill.
  • the object may also be a landscape or the like when the method for establishing the final similarity score is implemented, for example, in similarity image search software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

Ce procédé d'établissement d'un score final de similarité entre une image numérique acquise et une image numérique préenregistrée, comporte : a) la construction (42) à partir de l'image acquise de H cartes Ji, de gradients calculés selon un jeu i respectif de directions, b) pour chaque carte de gradients Ji, le calcul (52) d'un score intermédiaire Si, de similarité entre cette carte de gradients Ji, et une carte de référence Jiref correspondante, chaque score intermédiaire Si, de similarité étant un nombre réel représentant le degré de similitude entre les cartes comparées, la carte de référence Jiref étant une carte de gradients calculés selon le même jeu i de directions que la carte de gradients Ji, à partir de l'image préenregistrée, et c) l'établissement (54) d'un score final Sf de similarité entre l'image acquise et l'image préenregistrée en fonction des H scores intermédiaires Si, de similarité.

Description

PROCEDE D'ETABLISSEMENT D'UN SCORE FINAL DE SIMILARITE ENTRE
DES IMAGES
[ooi] L'invention concerne un procédé d'établissement d'un score final de similarité entre une image numérique d'un objet acquise par un capteur électronique et une image numérique préenregistrée dans une bibliothèque d'images. L'invention concerne également un support d'enregistrement pour la mise en œuvre de ce procédé ainsi qu'un procédé et un dispositif de reconnaissance d'un objet.
[002] Une image numérique est formée de pixels P(x,y) et comporte une matrice qui à chaque position (x,y) d'un pixel dans l'image associe au moins une valeur a(x,y) d'une grandeur physique acquise ou mesurée par le capteur électronique.
[003] Un pixel est la plus petite surface homogène d'une image 2D ou 3D.
Généralement, dans une image, les pixels sont alignés en lignes et en colonnes. Par la suite, la direction dans laquelle s'étendent les lignes est dite horizontale tandis que la direction dans laquelle s'étendent les colonnes est dite verticale.
[004] Dans une image 2D, la position de chaque pixel est codée par deux coordonnées dans un repère à deux dimensions.
[005] Dans une image 3D, la position de chaque pixel est codée par trois coordonnées dans un repère à trois dimensions. Ceci permet donc de coder en plus la profondeur.
[006] On appelle image de texture, plus connue sous le terme anglais de « texture image », une image où la valeur a(x,y) est une valeur codant une couleur ou la puissance d'un rayonnement dans une plage prédéterminée de rayonnement. Cette valeur a(x,y) peut être acquise par différents types de capteur. Par exemple, le capteur peut être un capteur infrarouge. Il peut aussi s'agir d'une intensité lumineuse ou d'une couleur codée par un triplet d'informations.
[007] Une image télémétrique de profondeur, plus connue sous le terme anglais de « range image », associe à chaque position d'un pixel une valeur a(x,y) qui représente la distance qui sépare le point de l'objet correspondant à ce pixel d'un plan de référence tel que celui attaché à l'objectif du capteur électronique.
[008] Dans la suite de cette description, lorsqu'il est nécessaire de distinguer une donnée relative à une image de texture de celle relative à une image télémétrique de profondeur, cette donnée comporte l'indice « T ». A l'inverse, une donnée relative à une image télémétrique de profondeur comporte l'indice « R ». Par exemple, la valeur aT(x,y) correspond à la valeur a(x,y) dans l'image de texture et la valeur aR(x,y) correspond à la valeur a(x,y) dans l'image télémétrique de profondeur. Dans le cas où la donnée ne comporte ni l'indice « T » ni l'indice « R », cela signifie qu'elle concerne indifféremment une image de texture ou à une image télémétrique.
[009] Des procédés connus d'établissement d'un score final de similarité comportent : a) la construction à partir de l'image acquise de H cartes J, de gradients calculés selon un jeu i respectif de directions, où :
- H est un nombre entier, de jeu i de directions, supérieur ou égale à deux,
- i est un identifiant du jeu de directions dans lesquelles sont calculés les gradients, - un jeu i de directions associe à chaque pixel P(x,y) de l'image une direction Oi(x,y), la direction Oi(x,y) étant décalée angulairement par rapport à la direction Oi(x,y) d'un angle θ,, cet angle Θ, étant le même quel que soit le pixel considéré de l'image,
- une carte de gradients calculés selon un jeu i de directions étant une matrice qui à chaque pixel P(x,y) de l'image acquise associe une valeur ρ,(χ,ν) représentative du gradient de la grandeur physique dans la direction Ο,(χ,ν) associée à ce pixel dans le jeu i.
[ooi o] Une carte de gradients calculés selon une direction i est une matrice qui à chaque pixel P(x,y) de l'image acquise associe une valeur ρ,(χ,ν) représentative du gradient de la grandeur physique dans la direction i à partir de ce pixel.
[001 1 ] Un exemple d'un procédé connu est par exemple divulgué dans la demande de brevet US 2010/0135540.
[0012] Les procédés d'établissement d'un score final de similarité entre deux images sont particulièrement utiles pour comparer deux images et pour reconnaître un objet dans une image.
[0013] Dans les procédés connus, une matrice de gradients entre une image I et des images de références est construite selon la direction horizontale et verticale. Ensuite un score final de similarité est directement calculé à partir de cette matrice de différences.
[0014] De l'état de l'art est également connu de :
- Di HUANG et Al : « A novel géométrie facial représentation based on multi-scale extended local binary patterns », Automatic Face & Gesture récognition and workshops (FG 201 1 ), 201 1 , IEEE, 21 mars 201 1 , pages 1 -7, et
- WAEL BEN SOLTANA et Al : « Adaptive Feature and Score Level Fusion Strategy Using Genetic Algorithms », Pattern Récognition (ICPR), 2010 20th International Conférence on, IEEE, Piscataway, NJ, USA, 23 août 2010, pages 4316-4319.
[0015] Ces procédés connus fonctionnent correctement. Toutefois, il est nécessaire d'améliorer la justesse et la précision de ces procédés d'établissement du score final, par exemple, pour atteindre des taux de reconnaissance d'un objet dans une image encore plus élevé.
[0016] L'invention vise donc à proposer un procédé amélioré d'établissement d'un score final de similarité dans lequel le procédé comprend :
b) pour chaque carte de gradients J,, le calcul d'un score intermédiaire S, de similarité entre cette carte de gradients J, et une carte de référence Jiref correspondante, chaque score intermédiaire S, de similarité étant un nombre réel représentant le degré de similitude entre les cartes comparées, la carte de référence Jiref étant une carte de gradients calculés selon le même jeu i de directions que la carte de gradients J, à partir de l'image préenregistrée, et
c) l'établissement d'un score final Sf de similarité entre l'image acquise et l'image préenregistrée en fonction des H scores intermédiaires S, de similarité.
[0017] Le fait de calculer des scores intermédiaires de similarité entre des cartes de gradients calculés selon des directions différentes permet d'accroître la précision et la justesse du score final de similarité. Par conséquent, un procédé de reconnaissance d'un objet dans une image utilisant les scores finaux établis selon le procédé ci- dessus obtient un taux de reconnaissance exacte plus élevé.
[0018] De plus, puisque des cartes de gradients sont utilisées pour établir le score final de similarité, ce procédé est robuste vis-à-vis des changements, par exemple lors de l'acquisition de l'image, qui ajoute une constante à la valeur a(x,y). Par exemple, un tel changement peut être une prise de vue plus éloignée.
[0019] Enfin, le procédé ci-dessus est générique. En effet, il peut être appliqué à n'importe quel type d'image telle qu'une image d'un visage, d'une empreinte digitale, d'un iris d'un œil, des veines, d'un paysage et autre.
[0020] Les modes de réalisation de ce procédé d'établissement d'un score final de similarité peuvent comporter une ou plusieurs des caractéristiques suivantes :
■ la construction de la carte J, de gradients comprend la normalisation du gradient associé à chaque pixel de cette carte en le divisant par au moins une composante ou une combinaison de composantes d'un vecteur de gradients directionnels, cette composante ou cette combinaison de composantes étant telle que si chaque composante du vecteur de gradients directionnels et ce gradient sont multipliés par une même constante λ, le gradient normalisé reste indépendant de cette constante λ, le vecteur de gradients directionnels regroupant uniquement des valeurs des gradients, dans des directions différentes, associés à ce même pixel ;
■ la construction de la carte J, de gradients comprend la normalisation du gradient associé à chaque pixel de cette carte en le divisant par la norme du vecteur de gradients directionnels ou le maximum ou le minimum ou encore une combinaison linéaire des composantes de ce même vecteur de gradients directionnels ;
■ le procédé comporte la détermination de la direction Oi(x,y) associée à chaque pixel P(x,y) dans le jeu i de directions, à partir des gradients, dans au moins deux directions différentes, des pixels voisins compris dans un périmètre prédéterminé centré sur ce pixel P(x,y) ;
■ la direction Oi(x,y) associée à chaque pixel P(x,y) dans le jeu i de directions est la même quel que soit le pixel de l'image ; ■ la construction de chaque carte J, de gradients comprend le lissage du gradient associé à chaque pixel, dit pixel central, de cette carte en réalisant une moyenne pondérée du gradient du pixel central avec ceux des pixels adjacents situés à l'intérieur d'un périmètre prédéterminé centré sur le pixel central ;
■ des coefficients de pondération sont affectés à chaque gradient d'un pixel de la moyenne pondérée, le coefficient de pondération affecté à un gradient d'un pixel adjacent étant d'autant plus petit que le pixel adjacent est éloigné du pixel central ;
■ les étapes a) et b) sont réalisées sur une image de texture et sur une image télémétrique de profondeur de l'objet et, lors de l'étape c), le score final Sf est établi à partir des scores intermédiaires S, obtenus à partir de l'image de texture et de l'image télémétrique de profondeur ;
■ l'établissement du score final Sf comporte la réalisation d'une somme pondérée des scores intermédiaires S,, un poids différent étant affecté à chaque score intermédiaire de cette somme ;
■ les poids de la somme pondérée sont sélectionnés en mettant en œuvre un algorithme génétique ;
■ H est un entier supérieur ou égal à deux si les cartes de gradients comportent des valeurs négatives et positives ou quatre si les cartes de gradients comportent uniquement des valeurs nulles ou positives.
[0021 ] Les modes de réalisation de ce procédé d'établissement d'un score final de similarité présentent en outre les avantages suivants :
- la normalisation du vecteur de gradients directionnels rend le procédé robuste vis- à-vis des changements qui, par exemple lors de l'acquisition de l'image, introduisent un coefficient multiplicateur sur la valeur a(x,y) de la grandeur physique acquise ;
- l'utilisation de jeux de directions construits à partir des gradients des pixels voisins permet de rendre le procédé robuste vis-à-vis d'une rotation d'un groupe local de pixels de l'image autour d'un axe perpendiculaire au plan de l'image ;
- le lissage de gradients directionnels supprime les variations abruptes de gradients directionnels d'un pixel à ses voisins, créées, notamment, par la numérisation de l'image de l'objet ;
- lors du lissage, utiliser des coefficients de pondération d'autant plus faibles que le pixel adjacent correspondant est éloigné du pixel central permet d'accroître la robustesse du procédé ;
- l'utilisation de la loi gaussienne pour affecter une valeur à ces coefficients de pondération permet d'accroître la justesse du score final de similarité et donc le taux de reconnaissance exacte d'un objet lorsque ce procédé est utilisé à cette fin, - l'utilisation combinée d'une image de texture et d'une image télémétrique de profondeur d'un même objet améliore le taux de reconnaissance de cet objet lorsque le score final de similarité est utilisé à cette fin.
[0022] L'invention a également pour objet un procédé de reconnaissance d'un objet, ce procédé comportant :
- l'acquisition par un capteur électronique d'une image numérique de l'objet à reconnaître, chaque image numérique étant formée de pixels P(x,y) et comportant une matrice qui associe à chaque position (x,y) d'un pixel P(x,y) dans l'image au moins une valeur a(x,y) d'une grandeur physique mesurée par le capteur électronique,
- le calcul d'un score final Sf de similarité entre l'image acquise et chaque image préenregistrée d'une bibliothèque d'images numériques en mettant en œuvre le procédé ci-dessus d'établissement d'un score final de similarité, et
- l'établissement de la correspondance entre l'image acquise et l'une des images préenregistrées de la bibliothèque en fonction du score final Sf de similarité calculé entre ces deux images, l'objet étant reconnu lorsque l'image acquise de cet objet correspond à l'une des images préenregistrées.
[0023] L'invention a également pour objet un support d'enregistrement d'informations comportant des instructions pour la mise en œuvre du procédé ci- dessus, lorsque ces instructions sont exécutées par un calculateur électronique.
[0024] Enfin, l'invention a pour objet un dispositif de reconnaissance d'un objet, ce dispositif comportant :
- un capteur électronique apte à acquérir une image numérique de l'objet à reconnaître, chaque image numérique étant formée de pixels P(x,y) et comportant une matrice qui associe à chaque position (x,y) d'un pixel dans l'image au moins une valeur a(x,y) d'une grandeur physique mesurée par le capteur électronique,
- un calculateur électronique programmé pour :
• construire, à partir de l'image acquise, H cartes J, de gradients calculés selon un jeu i respectif de directions, où :
- H est un nombre entier, de jeux i de directions, supérieur ou égale à deux,
- i est un identifiant du jeu de directions dans lesquelles sont calculés les gradients,
- un jeu i de directions associe à chaque pixel P(x,y) de l'image une direction Oi(x,y), la direction Oi(x,y) étant décalée angulairement par rapport à la direction Oi(x,y) d'un angle θ,, cet angle Θ, étant le même quel que soit le pixel considéré de l'image,
- une carte de gradients calculés selon un jeu i de directions étant une matrice qui à chaque pixel P(x,y) de l'image acquise associe une valeur ρ,(χ,ν) représentative du gradient de la grandeur physique dans la direction Ο,(χ,ν) associée à ce pixel dans le jeu i,
• a) pour chaque carte de gradients J,, calculer un score intermédiaire S, de similarité entre cette carte de gradients J, et une carte de référence Jiref correspondante, chaque score intermédiaire S, de similarité étant un nombre réel représentant le degré de similitude entre les cartes comparées, la carte de référence Jiref étant une carte de gradients calculés selon le même jeu i de directions que la carte de gradients J, à partir d'une image préenregistrée d'une bibliothèque d'images numériques, et
· b) établir un score final Sf de similarité entre l'image acquise et l'image préenregistrée en fonction des H scores intermédiaires S, de similarité,
• réitérer les étapes a) et b) pour chaque image préenregistrée de la bibliothèque et établir la correspondance entre l'image acquise et l'une des images préenregistrées de la bibliothèque en fonction du score final Sf de similarité calculé entre ces deux images, l'objet étant reconnu lorsque l'image acquise de cet objet correspond à l'une des images préenregistrées.
[0025] L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif et faite en se référant aux dessins sur lesquels :
- la figure 1 est une illustration schématique d'un système biométrique de contrôle d'accès ;
- la figure 2 est une illustration de différentes directions utilisées dans le système de la figure 1 ;
- la figure 3 est un organigramme d'un procédé de contrôle d'accès à l'aide du système de la figure 1 ;
- la figure 4 est une illustration schématique de la loi Gaussienne utilisée dans le procédé de la figure 3.
[0026] Dans ces figures, les mêmes références sont utilisées pour désigner les mêmes éléments.
[0027] Dans la suite de cette description, les caractéristiques et fonctions bien connues de l'homme du métier ne sont pas décrites en détail.
[0028] La figure 1 représente un système biométrique 2 de contrôle d'accès à une ressource 4. A titre d'illustration, la ressource 4 est un bâtiment.
[0029] Le système 2 est décrit dans le cas particulier où, pour un indice i donné, toutes les directions Oi(x,y) sont parallèles. On note O, cette direction commune.
[0030] L'accès à cette ressource n'est autorisé par le système 2 que si l'utilisateur est un utilisateur autorisé. Un utilisateur autorisé est un utilisateur dont les caractéristiques biométriques sont associées, par une base de données, à un droit d'utiliser cette ressource 4. Ici, les caractéristiques biométriques sont le visage de l'utilisateur.
[0031 ] A cet effet, le système 2 comprend un dispositif 6 de reconnaissance d'un objet par comparaison d'une image numérique de cet objet à une bibliothèque d'images numériques préenregistrées. Dans ce cas particulier, l'objet est un visage. [0032] Le dispositif 6 comprend un appareil 8 d'acquisition d'images numériques du visage de l'utilisateur. Dans ce cas particulier, l'appareil 8 comprend un capteur électronique 10 apte à acquérir une image de texture du visage de l'utilisateur. Par exemple, le capteur 10 est une caméra infrarouge qui mesure l'intensité du rayonnement infrarouge en une multitude de points sur le visage de l'utilisateur.
[0033] L'appareil 8 comprend également un autre capteur électronique 12 pour acquérir une image télémétrique de profondeur du visage de l'utilisateur. Ce capteur 12 est typiquement un télémètre qui mesure la distance qui sépare des points du visage de l'utilisateur par rapport à un plan de référence. Par exemple, le capteur 12 utilise la technologie de la télémétrie laser. Typiquement, des dizaines de milliers de points du visage sont pris en compte pour acquérir l'image télémétrique de profondeur.
[0034] Les capteurs 10 et 12 sont raccordés à une unité centrale 14. L'unité centrale 14 est programmée pour autoriser l'accès à la ressource 4 si l'image de l'utilisateur acquise par les capteurs 10 et 12 correspond à celle d'un utilisateur autorisé. Dans le cas contraire, l'unité centrale 14 interdit l'accès à la ressource 4.
[0035] L'unité centrale 14 est réalisée à partir d'un calculateur électronique 16 programmable apte à exécuter des instructions enregistrées sur un support d'enregistrement. A cet effet, le calculateur 16 est raccordé à une mémoire 18 contenant les instructions nécessaires pour exécuter le procédé de la figure 3.
[0036] La mémoire 18 contient aussi la base de données 20 qui associe les caractéristiques biométriques des utilisateurs à un droit d'utiliser la ressource 4. Ici, on suppose que l'autorisation d'accéder à la ressource 4 est donnée dès que les caractéristiques biométriques de l'utilisateur sont enregistrées dans la base de données 20. Ainsi, cette base de données 20 n'a pas besoin de coder le droit d'utiliser la ressource 4 dans un champ particulier. Mais on peut imaginer des applications où l'autorisation d'accéder à une ressource varie en fonction de personnes reconnues. Il est alors nécessaire de coder le droit d'utilisation correspondant.
[0037] Les caractéristiques biométriques enregistrées dans la base de données 20 pour chaque utilisateur autorisé peuvent être des images numériques du visage de cet utilisateur, des images de veine, des images télémétrique de profondeur (range image) de visage ou une combinaison quelconque de celles-ci. Par exemple, pour chaque utilisateur autorisé, une image de texture et une image télémétrique de profondeur de son visage peuvent être enregistrés dans la base 20. Dans ce cas, la base 20 contient :
- pour chaque image de texture, H cartes de référence JirefT calculées à partir de cette image de texture, et
- pour chaque image télémétrique, H cartes de référence JirefR calculées à partir de cette image télémétrique.
[0038] H est un nombre entier de jeux de directions supérieur ou égal à deux et, de préférence, supérieur ou égal à quatre, huit ou seize. Dans la suite de cette description, H est pris égal à huit. On note N le nombre de cartes Jiref associées à un même utilisateur autorisé. Ici ce nombre N est égal à 2Ή désignant le nombre de cartes calculées sur l'image de texture et l'image télémétrique de profondeur.
[0039] Chaque carte de référence Jiref est une carte de gradients calculés selon une direction i respective. Ici, huit directions différentes sont utilisées. Ces huit directions sont représentées sur la figure 2 par des flèches Oi à O8. Ici, ces directions Oi à O8 sont uniformément réparties dans le plan de l'image. Autrement dit, l'angle Θ entre deux directions successives est constant. Ici cet angle Θ est égale à 45°. La direction Oi est la direction horizontale.
[0040] La figure 2 représente également un pixel P(x,y) carré dont le centre géométrique est repéré par un point O. Dans la direction horizontale, ce pixel P(x,y) est suivi du pixel P(x+1 ,y) et précédé du pixel P(x-1 ,y). Dans la direction verticale, ce pixel P(x,y) est suivi du pixel P(x, y+1 ) et précédé du pixel P(x,y-1 ). Dans la direction diagonale O2, le pixel P(x,y) est suivi du pixel P(x+1 ,y+1 ) et précédé du pixel P(x-1 , y- 1 ). Dans la direction diagonale O4, le pixel P(x,y) est suivi du pixel P(x-1 ,y+1 ) et précédé du pixel P(x+1 , y-1 ).
[0041 ] Le calcul des cartes de référence Jiref est décrit plus en détail en référence à la figure 3.
[0042] Le fonctionnement du système 2 va maintenant être décrit en référence au procédé de la figure 3.
[0043] Initialement, lors d'une étape 40, l'utilisateur 40 présente son visage devant les capteurs 10 et 12. En réponse, les capteurs 10 et 12 acquièrent une image numérique de texture et une image numérique télémétrique de profondeur de ce visage. Pour cela, ces capteurs mesurent les valeurs a(x,y) pour chaque pixel de chaque image. Les images acquises sont enregistrées, pour traitement, dans la mémoire 18. Dans l'image de texture, aT(x,y) est fonction de l'intensité lumineuse reçue par le capteur. Dans l'image télémétrique de profondeur, aR(x,y) est une distance mesurée par le capteur 12. La combinaison de l'image de texture et de l'image télémétrique forme une image 3D texturée dans laquelle la position de chaque pixel est codée par un triplet (x, y, z) et, à chaque position, la valeur aT(x,y) est associée. La coordonnée z est établie à partir de la valeur aR(x,y). [0044] Lors d'une étape 42, le calculateur 16 construit H cartes JiT de gradients selon les H directions de la figure 2 à partir de l'image de texture acquise.
[0045] Plus précisément, lors d'une opération 44, le calculateur 16 construit pour l'image de texture acquise H cartes de gradients T à LHT. Chaque carte LiT contient pour chaque pixel P(x,y), le gradient ou la dérivées δατ(χ,ν)/δί de la valeur aT(x,y) dans la direction i, où i est l'identifiant de la direction selon laquelle la carte de gradients est calculée. Par exemple, chaque carte LiT associe à la position (x,y) d'un pixel P(x,y) la valeur du gradient ρ,τ(χ,γ) en partant de ce pixel vers le pixel immédiatement consécutif dans la direction i.
[0046] Ici, l'ensemble des directions prises en comptes, comprend pour chaque direction i sa direction opposée. Dans ces conditions dans chaque carte LiT, seules les valeurs positives de chaque gradient sont conservées. Lorsque le gradient associé à un pixel P(x,y) est négatif, il est remplacé par une valeur nulle.
[0047] Par exemple, dans le cas de la direction horizontale positive Οι, Ριτ(χ,γ) est calculé à l'aide de la relation suivante : pn-(x,y) = (aT(x+1 ,y) - aT(x-1 ,y))/2. De préférence, la même relation est utilisée dans toutes les directions.
[0048] Ensuite, lors d'une opération 46, à partir de chaque carte LiT, une nouvelle carte de gradients LiT R est construite. Dans la carte LiT R les variations abruptes de gradients ρ,τ(χ,γ) entre deux pixels voisins sont lissées.
[0049] Par exemple, pour cela, le calculateur 16 réalise la moyenne pondérée de la valeur pn-(x,y) avec les gradients des pixels contenus dans un périmètre prédéterminé centré sur le centre O du pixel P(x,y).
[0050] Par exemple, le périmètre prédéterminé est un cercle de rayon R. De plus, le coefficient de pondération affecté à chaque gradient est d'autant plus petit que le pixel correspondant est éloigné du pixel P(x,y). De préférence, les coefficients de pondération suivent une loi Gaussienne.
[0051 ] Cette valeur moyenne du gradient pn-(x,y) est ici notée piT R(x,y).
[0052] A titre d'illustration, on suppose que le rayon R choisi est tel que le périmètre englobe uniquement les pixels représentés sur la figure 2. Dans ce cas, le gradient piT R(x,y) est calculée selon la relation suivante :
piT R(x,y) = cipi(x,y) + c2pi(x+1 ,y) + c3pi(x,y+1 ) + c4pi(x-1 ,y) + c5pi(x,y-1 ) +c6pi(x+1 , y+1 ) + c7pi(x-1 , y+1 ) + c8pi(x-1 , y-1 ) + c9pi(x+1 , y-1 )
[0053] Les coefficients c, sont choisis en fonction de la loi gaussienne représentée sur la figure 3. Sur cette figure d est la distance entre le centre O du pixel P(x,y) et les centres des pixels voisins. La loi gaussienne est symétrique. Pour des raisons de clarté, les coefficients c, ont été représentés soit à droite soit à gauche de cet axe des ordonnées. La loi gaussienne choisie est paramétrée par le rayon R du périmètre.
[0054] D'un point de vue pratique, un noyau gaussien G dont la déviation standard est proportionnelle au rayon R est utilisé pour calculer les valeurs piT R(x,y). Par exemple, la carte de gradients LiT est convoluée avec ce noyau G pour obtenir toutes les valeurs piT R(x,y) de la carte LiT R.
[0055] Par exemple, les valeurs du noyau G sont données par la relation suivante : ,
Figure imgf000012_0001
[0056] où :
- « exp » est la fonction exponentielle,
- x-Xc II est la distance entre le centre O et le pixel adjacent,
- « sigma » est l'écart type choisi en fonction de la distance R.
[0057] Par la suite on note p-rR(x,y) le vecteur de gradients directionnels [piT R(x,y),
PHTR(x,y)]T, où l'exposant « T » est le symbole transposé.
[0058] Ensuite, lors d'une opération 48, chaque carte LiT R est normalisée. La carte
LiT R normalisée est notée JiT. Cette carte JiT est appelée image faciale perçue.
[0059] La normalisation consiste à diviser la valeur piT R(x,y) d'un pixel P(x,y) par la norme du vecteur pT R(x,y), associé à ce même pixel P(x,y). La valeur normalisée du pixel P(x,y) dans la carte J, est notée piT N(x,y).
[0060] Ici, la norme |pT R(x,y)| du vecteur p-rR(x,y) est donnée par la définition classique, c'est-à-dire la racine carrée de la somme de ses composantes au carré :|pT R(x,y)|=sqrt(∑piT R(x,y)2) pour i variant de 1 à H, où « sqrt » est la fonction racine carré.
[0061 ] La normalisation permet de rendre le procédé ci-dessus robuste vis-à-vis de toute modification de l'environnement lors de l'acquisition de l'image qui multiplie la valeur pn-(x,y) par une constante λ. En effet, la valeur piT N(x,y) devient indépendante de cette constante λ. Ainsi, ce procédé est robuste vis-à-vis des changements tels qu'un changement de contraste lumineux lors de l'étape 40. De plus, dans ce procédé, λ n'est pas nécessairement constante sur toute l'image et peut varier d'un pixel à l'autre. Ainsi le procédé est insensible aux changements locaux tels qu'un changement local de contraste lors de l'acquisition de l'image.
[0062] L'étape de construction de la carte de gradients se termine lorsque la carte de gradients JiT a été construite pour chacune des H directions.
[0063] Après l'étape 42, lors d'une étape 52, le calculateur 16 procède au calcul de scores intermédiaires SiT de similarité entre chaque carte JiT et la carte JirefT correspondante.
[0064] Les cartes Jiref sont construites comme décrit à l'étape 42 sauf qu'elles sont obtenues à partir de l'image de texture et de l'image télémétrique de profondeur préenregistrées. Typiquement la construction des cartes Jiref pour chaque direction i est réalisée avant l'étape 40 puis elles sont enregistrées dans la base de données 20.
[0065] Le score intermédiaire SiT de similarité est un nombre réel représentatif de la probabilité que les cartes de gradients JiT et JirefT correspondent au même objet. Par exemple, ici, le score intermédiaire SiT est d'autant plus grand que la probabilité qu'il s'agisse d'une image du même objet est importante.
[0066] Ici, chaque score SiT est calculé selon la méthode de transformation de caractéristiques visuelles invariante à l'échelle, plus connue sous l'acronyme SIFT (Scale Invariant Feature Transform).
[0067] La méthode SIFT est bien connue et ne sera donc pas décrite plus en détail. Pour plus d'informations sur cette méthode, le lecteur peut se reporter à la demande de brevet US 671 1293 ainsi qu'à l'article suivant :
D. G. Lowe, « Distinctive Image Features from Scale-invariant Keypoints »,
International Journal of Computer Vision, 60(4) : 91 -1 10, 2004.
[0068] Les cartes J, font ressortir un plus grand nombre de points clés ou points caractéristiques d'un objet que l'image initialement acquise lors de l'étape 40. Or ce sont ces points clés qui sont comparés aux points clés de la carte Jiref pour établir le score de similarité entre ces cartes. Par exemple, il a été mesuré que la méthode SIFT identifie 41 et 61 points clés respectivement, dans les images télémétrique et de texture alors que la même méthode identifie 1 16 et 304 points clés dans les cartes «JirefR et JirefT correspondantes.
[0069] Ici, les étapes 42 et 52 sont également réalisée pour l'image télémétrique de profondeur acquise lors de l'étape 40 de manière à obtenir des scores intermédiaires SiR de similarité entre les cartes JiR et JirefR.
[0070] Une fois les scores intermédiaires SiT et SiR calculés, lors d'une étape 54, le calculateur 16 établit un score final Sf de similarité à partir de ces scores intermédiaires SiT et SiR. Ici, le score Sf est établi à l'aide d'une somme pondérée des scores SiT et SiR. Ainsi, le score Sf est donné par la relation suivante :
i=N
S f = / . w S où w, est un poids prédéterminé.
[0071 ] Différentes méthodes peuvent être utilisées pour déterminer la valeur des poids w,. Par exemple, un algorithme génétique tel que celui décrit dans le document suivant est avantageusement mis en œuvre :
Y.H. Said, « On Genetic Algorithms and their Applications » Handbook of statistics,
2005.
[0072] Ensuite, lors d'une étape 56, le calculateur 16 établit la correspondance entre le visage acquis et le visage contenu dans l'une des images préenregistrées. Par exemple, si le score final Sf dépasse un seuil prédéterminé Bi lorsqu'il est comparé à l'une des images préenregistrées, alors on considère que le visage de l'utilisateur est reconnu. Dans ce cas, on procède à une étape 58 lors de laquelle le calculateur 16 autorise l'accès à la ressource 4. Par exemple, dans le cadre d'un accès à un bâtiment, le calculateur 16 commande le déverrouillage d'une porte. [0073] Dans le cas où le score final Sf ne franchit pas le seuil Bi, l'utilisateur est considéré comme n'ayant pas été reconnu et l'on retourne à l'étape 40.
[0074] Le procédé précédemment décrit a été testé en utilisant une base de données standard connue sous l'acronyme FRGC, version 2, de manière à permettre une comparaison des résultats obtenus avec d'autres procédés connus. La base de données de visage FRGC, version 2, est bien connue. Par exemple, elle est présentée dans l'article suivant :
P. J. Phillips, P.J. Flynn, T. Scruggs, K. W. Bowyers, K. I Chang, K. Hoffman, J. Marques, J. Min et W. Worek, « Overview of the face récognition grand challenge » International Conférence on Computer Vision and Pattern Récognition, 2005.
[0075] Cette base de données contient 4007 visages 3D, chaque visage 3D contenant aussi bien les valeurs d'intensité que télémétriques de profondeur pour chaque pixel. Ainsi, pour chaque visage 3D, on dispose d'une image de texture et d'une image télémétrique de profondeur.
[0076] Un prétraitement a été appliqué aux images de cette base de données pour :
- éliminer les variations anormalement élevées de la valeur a(x,y) dans l'image en utilisant un filtre médian, et
- remplir les trous en utilisant une interpolation des moindres carrés à partir des valeurs des pixels adjacents.
[0077] Parmi les 4007 visages 3D, 466 ont été retenus pour former les cartes Jiref mémorisées dans la base de données 20. Les 3541 visages 3D restants ont été utilisés pour le test.
[0078] Le tableau qui suit donne le taux de reconnaissance, (« rank-one rate » en anglais) et le taux de vérification avec un FAR (False Acceptance Resuit) de 0, 1 % obtenus en appliquant différents procédés, dont le procédé précédemment décrit, à la base de données FRGC.
Procédé utilisé Taux de Taux de
reconnaissance vérification avec
(rank-one rate) un FAR de 0, 1 %
Mian et al [24] 0,961 0,986
Mian et al [23] 0,974 0,993
Gokberk et al [25] 0,955 NA
Xu et al [26] NA 0,975
Maurer et al [13] NA 0,958
Husken et al [1 1 ] NA 0,973
Ben Soltana et al [28] 0,955 0,970
Le procédé décrit ci-dessus 0,980 0,989 [0079] Le symbole NA dans le tableau signifie que les données ne sont pas disponibles.
[0080] Les références indiquées entre crochets dans le tableau ci-dessus correspondent aux procédés décrits dans les articles suivants :
- [24] A.S. Mian, M. Bennamoun et R. Owens, « Keypoint Détection and Local Feature Matching for Textured 3D Face Récognition », International Journal of Computer Vision, 79(1 ) : 1 -12, 2008,
- [23] A.S. Mian, M. Bennamoun et R. Owens, « An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Récognition », IEEE Transactions in Pattern Analysis and Machine Intelligence, 29(1 1 ) : 1927-1943, 2007,
- [25] B. Gokberk, H. Dutagaci, A. Ulas, L. Akarun et B. Sankur, « Représentation Plurality and Fusion for 3D Face Récognition », IEEE Transactions on Systems, Man and Cybernetics - B : Cybernetics, 38(1 ) : 155-173, 2008,
- [26] C. Xu, F. Li, T. Tan et L. Quan, « Automatic 3D Face Récognition from Depth and Intensity Gabor Features », Pattern Récognition, 42(9) : 1895-1905, 2009,
- [13] T. Maurer et al, « Performance of Geometrix ActivelD™ 3D Face Récognition Engine on FRGC Data », IEEE Workshop on FRGC Experiments, 2005,
- [1 1 ] M. Husken, M. Brauckmann, S. Gehlen et C. v.d. Malsburg, « Stratégies and Benefits of Fusion of 2D and 3D Face Récognition », IEEE Workshop on Face Récognition Grand Challenge Experiments, 2005,
- [28] W. Ben Soltana, D. Huang, M. Ardabilian, L. Chen et C. Ben Amar, « Comparison of 2D/3D Features and their Adaptative Score Level Fusion for 3D Face Récognition », 3D Data Processing, Visualisation and Transmission, 2010.
[0081 ] Comme le montre le tableau ci-dessus, le procédé décrit ici obtient le meilleur taux de reconnaissance parmi les différents procédés auxquels il a été comparé.
[0082] De nombreux autres modes de réalisation sont possibles. Par exemple, d'autres capteurs que ceux décrits peuvent être utilisés pour acquérir une image. Par exemple, le capteur peut être un appareil photo numérique ou un scanner. Le capteur électronique peut aussi être un ordinateur sur lequel s'exécute un logiciel de capture ou de génération d'une image en réponse aux commandes d'un utilisateur. Par exemple, le capteur peut être un ordinateur sur lequel s'exécute un logiciel de DAO (Dessin Assisté par Ordinateur). En effet, un tel logiciel de DAO permet d'acquérir une image en réponse aux commandes de l'utilisateur. Dans ce dernier cas, les valeurs a(x,y) de chaque pixel ne sont pas mesurées mais générées par le logiciel. [0083] Le nombre de directions utilisées pour construire les différentes cartes de gradients peut être différent de huit. De plus, les différentes directions utilisées peuvent être choisies de manière à ce qu'elles ne soient pas uniformément réparties dans le plan de l'image. Dans ce cas, l'angle Θ entre deux directions immédiatement successives n'est pas forcément le même entre toutes les directions successives. Enfin, le nombre de directions prises en compte pour l'image de texture n'est pas nécessairement le même que celui utilisé pour l'image télémétrique de profondeur. Les directions utilisées pour l'image de texture ne sont d'ailleurs pas nécessairement les mêmes que celles utilisées pour l'image télémétrique de profondeur.
[0084] Dans les cartes, il est aussi possible de ne conserver que les valeurs négatives et de remplacer les valeurs positives par une valeur nulle. Si dans les cartes de gradients, les valeurs négatives et positives sont conservées, le nombre H de jeux de directions peut être divisé par deux.
[0085] Le procédé peut aussi comporter la détermination de la direction Oi à utiliser pour chaque pixel P(x,y) de manière à rendre ces cartes indépendantes à la rotation d'une image. Puisque dans ce mode de réalisation, la direction Oi dépend du pixel concerné, celle-ci est notée Oi(x,y). Pour cela, la direction Oi(x,y) de chaque pixel est choisie comme étant la direction principale des gradients des pixels voisins. La direction principale des gradients des pixels voisins est calculée comme étant la moyenne des gradients de l'ensemble des pixels dans le voisinage d'un pixel. Ces pixels sont considérés comme voisin s'ils sont contenus à l'intérieur d'un périmètre prédéterminé centré sur le pixel pour lequel on calcule sa direction Oi . Ce périmètre est par exemple un cercle de rayon R choisi. Par exemple, initialement, les gradients dans les directions horizontale et verticale sont calculés pour chaque pixel de l'image. On note g(x,y) le vecteur gradient de chaque pixel P(x,y) dont les composantes sont formées par les gradients horizontal et vertical calculés pour ce pixel P(x,y). La direction principale des gradients des pixels voisins est, par exemple, déterminée en sommant les vecteurs g(x,y) des pixels voisins et, éventuellement, en divisant cette somme par A, où A est le nombre de pixels voisins. Ainsi, dans ce mode de réalisation, la direction Oi(x,y) d'un pixel peut être différente de la direction Oi(x',y') d'un autre pixel de la même image. Ensuite, le procédé décrit ci-dessus est appliqué pour chaque pixel P(x,y) de l'image mais en utilisant la direction Oi(x,y) déterminée pour ce pixel et non pas une direction Oi commune à l'ensemble des pixels de l'image. Les directions O2(x,y), O3(x,y) et suivantes associées au pixel P(x,y) sont construites à partir de la direction Oi(x,y). Par exemple, la direction Oi(x,y) est déduite de la direction Oi(x,y) en y appliquant une rotation angulaire d'un angle Θ, prédéterminé. L'angle Θ, qui permet de construire la direction Ο,(χ,ν) à partir de la direction Oi(x,y) est le même quel que soit le pixel P(x,y) de l'image. Dès lors, dans ce mode de réalisation, l'indice « i » identifie non pas une direction Oi commune à l'ensemble des pixels de l'image mais un jeu i de directions Ο,(χ,ν) associées à chaque pixel P(x,y) de l'image. Un tel choix de la direction Oi(x,y) permet de rendre le procédé ci-dessus robuste vis-à-vis de rotation de l'objet autour d'un axe perpendiculaire au plan de l'image. Les différentes variantes décrites dans le cas particulier où toutes les directions Ο,(χ,ν) du jeu i sont parallèles, s'appliquent également au cas où les directions Ο,(χ,ν) varient d'un pixel à un autre de la même image. [0086] Dans un autre mode de réalisation, la base de données 20 contient uniquement les cartes Jiref sans les images de texture et les images télémétriques correspondantes.
[0087] Le procédé décrit ci-dessus peut être aussi exécuté uniquement sur les images de texture ou uniquement sur les images télémétriques de profondeur. Dans le cas où seul les images de texture sont utilisées, on parlera alors de reconnaissance 2D.
[0088] Il est aussi possible que le nombre 0T de cartes de gradients que l'on calcule sur une image de texture soit différente du nombre 0R de cartes de gradients que l'on calcule sur l'image télémétrique de profondeur. Dans ce cas, N est la somme de 0T et
[0089] D'autres formules pour calculer le gradient d'un pixel sont possibles. Par exemple, la formule suivante, donnée pour la direction Oi, peut aussi être utilisée : Pi(x,y) = a(x,y) - a(x+1 ,y). D'autres exemples de formules sont également donnés dans la demande de brevet US 2010 0135540, paragraphes 46 et suivants.
[0090] D'autres méthodes de lissage de la carte de gradients peuvent être mise en œuvre. Il est aussi possible de ne pas réaliser de lissage.
[0091 ] D'autres méthodes de normalisation du vecteur de gradients directionnels sont possibles. Par exemple, le vecteur pR(x,y) peut être normalisé en divisant ses composantes par la plus petite valeur de celles-ci ou plus généralement une combinaison linéaire de celles-ci comme par exemple la somme de ses composantes. Ainsi, en variante, cette normalisation consiste à diviser chaque valeur PiT R(x,y) par le maximum ou le minimum des composantes du vecteur pT R(x,y). Au cas où le vecteur p-rR(x,y) est normalisé par le maximum de ses composantes, piT N(x,y) est donnée par la relation suivante : piT N(x,y) = piT R(x,y) / Max[piT R(x,y) ; ... ; pHTR(x,y)], où « Max » désigne la fonction qui retourne le maximum des différentes composantes contenues entre crochets.
[0092] Dans une autre variante, l'opération de normalisation est omise.
[0093] D'autres méthodes d'extraction de caractéristiques que la méthode SIFT peuvent être utilisées. Par exemple, la méthode DAISY peut aussi être utilisée. Cette méthode est par exemple décrite dans l'article suivant :
E. Tola, V. Lepetit et P. Fua, « A Fast Local Descriptor for Dense Matching », IEEE International Conférence on Computer Vision and Pattern Récognition, 2008.
[0094] Dans la somme pondérée utilisée pour établir le score final Sf de similarité, tous les poids w, peuvent avoir la même valeur.
[0095] Un objet peut être considéré comme reconnu lorsqu'une correspondance a été établie entre l'image de cet objet et l'image de référence avec laquelle il présente le score final de similarité le plus élevé. Dans ce cas, il n'est pas nécessaire que le score final dépasse un seuil prédéterminé pour qu'il y ait reconnaissance de l'objet. [0096] En variante, la bibliothèque d'images préenregistrées peut ne contenir qu'une seule image.
[0097] La ressource 4 n'est pas nécessairement une porte d'accès à un bâtiment, il peut s'agir de tous types de ressource tels qu'un ordinateur ou un logiciel. Le système biométrique peut aussi configurer des paramètres de la ressource 4 en fonction de la personne identifiée.
[0098] Le procédé d'établissement du score final de similarité est utilisable dans d'autres contextes qu'un procédé de reconnaissance d'un objet. Par exemple, il peut être utilisé pour classer ou rechercher par similitude des images entre elles sans que l'on recherche nécessairement à identifier l'objet contenu dans ces images.
[0099] L'objet peut être autre chose qu'un visage. Par exemple, dans le cadre d'un procédé de reconnaissance d'un être humain, il peut s'agir d'une empreinte digitale, des veines d'une main lorsque l'on présente le poing fermé devant le capteur électronique, de l'iris d'un l'œil. L'objet peut aussi être autre chose qu'une caractéristique biométrique. Par exemple, l'objet peut être la texture d'un matériau tel que la texture d'un papier, d'un textile ou d'un billet de banque. L'objet peut aussi être un paysage ou autre lorsque le procédé pour établir le score final de similarité est mis en œuvre, par exemple, dans un logiciel de recherche d'images par similarité.

Claims

REVENDICATIONS
1 . Procédé d'établissement d'un score final de similarité entre une image numérique d'un objet, acquise par un capteur électronique, et une image numérique préenregistrée dans une bibliothèque d'images, chaque image numérique étant formée de pixels P(x,y) et comportant une matrice qui à chaque position (x,y) d'un pixel dans l'image associe au moins une valeur a(x,y) d'une grandeur physique acquise par le capteur électronique, ce procédé comportant :
a) la construction (42) à partir de l'image acquise de H cartes J, de gradients calculés selon un jeu i respectif de directions, où :
- H est un nombre entier, de jeux i de directions, supérieur ou égale à deux,
- i est un identifiant du jeu de directions dans lesquelles sont calculés les gradients,
- un jeu i de directions associe à chaque pixel P(x,y) de l'image une direction Ο,(χ,ν), la direction Ο,(χ,ν) étant décalée angulairement par rapport à la direction Oi(x,y) d'un angle θ,, cet angle Θ, étant le même quel que soit le pixel considéré de l'image,
- une carte de gradients calculés selon un jeu i de directions étant une matrice qui à chaque pixel P(x,y) de l'image acquise associe une valeur ρ,(χ,ν) représentative du gradient de la grandeur physique dans la direction Ο,(χ,ν) associée à ce pixel dans le jeu i,
caractérisé en ce que le procédé comprend :
b) pour chaque carte de gradients J,, le calcul (52) d'un score intermédiaire S, de similarité entre cette carte de gradients J, et une carte de référence Jiref correspondante, chaque score intermédiaire S, de similarité étant un nombre réel représentant le degré de similitude entre les cartes comparées, la carte de référence Jiref étant une carte de gradients calculés selon le même jeu i de directions que la carte de gradients J, à partir de l'image préenregistrée, et
c) l'établissement (54) d'un score final Sf de similarité entre l'image acquise et l'image préenregistrée en fonction des H scores intermédiaires S, de similarité.
2. Procédé selon la revendication 1 , dans lequel la construction de la carte J, de gradients comprend la normalisation (48) du gradient associé à chaque pixel de cette carte en le divisant par au moins une composante ou une combinaison de composantes d'un vecteur de gradients directionnels, cette composante ou cette combinaison de composantes étant telle que si chaque composante du vecteur de gradients directionnels et ce gradient sont multipliés par une même constante λ, le gradient normalisé reste indépendant de cette constante λ, le vecteur de gradients directionnels regroupant uniquement des valeurs des gradients, dans des directions différentes, associés à ce même pixel.
3. Procédé selon la revendication 2, dans lequel la construction de la carte J, de gradients comprend la normalisation (48) du gradient associé à chaque pixel de cette carte en le divisant par la norme du vecteur de gradients directionnels ou le maximum ou le minimum ou encore une combinaison linéaire des composantes de ce même vecteur de gradients directionnels.
4. Procédé selon l'une quelconque des revendications précédentes, dans lequel le procédé comporte la détermination de la direction Oi(x,y) associée à chaque pixel P(x,y) dans le jeu i de directions, à partir des gradients, dans au moins deux directions différentes, des pixels voisins compris dans un périmètre prédéterminé centré sur ce pixel P(x,y).
5. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel la direction Oi(x,y) associée à chaque pixel P(x,y) dans le jeu i de directions est la même quel que soit le pixel de l'image.
6. Procédé selon l'une quelconque des revendications précédentes, dans lequel la construction de chaque carte J, de gradients comprend le lissage (46) du gradient associé à chaque pixel, dit pixel central, de cette carte en réalisant une moyenne pondérée du gradient du pixel central avec ceux des pixels adjacents situés à l'intérieur d'un périmètre prédéterminé centré sur le pixel central.
7. Procédé selon la revendication 6, dans lequel des coefficients de pondération sont affectés à chaque gradient d'un pixel de la moyenne pondérée, le coefficient de pondération affecté à un gradient d'un pixel adjacent étant d'autant plus petit que le pixel adjacent est éloigné du pixel central.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel les étapes a) et b) sont réalisées sur une image de texture et sur une image télémétrique de profondeur de l'objet et, lors de l'étape c), le score final Sf est établi à partir des scores intermédiaires S, obtenus à partir de l'image de texture et de l'image télémétrique de profondeur.
9. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'établissement du score final Sf comporte la réalisation d'une somme pondérée des scores intermédiaires S,, un poids différent étant affecté à chaque score intermédiaire de cette somme.
10. Procédé selon la revendication 9, dans lequel les poids de la somme pondérée sont sélectionnés en mettant en œuvre un algorithme génétique.
1 1 . Procédé selon l'une quelconque des revendications précédentes, dans lequel H est un entier supérieur ou égal à deux si les cartes de gradients comportent des valeurs négatives et positives ou quatre si les cartes de gradients comportent uniquement des valeurs nulles ou positives.
12. Procédé de reconnaissance d'un objet, ce procédé comportant :
- l'acquisition (40) par un capteur électronique d'une image numérique de l'objet à reconnaître, chaque image numérique étant formée de pixels P(x,y) et comportant une matrice qui associe à chaque position (x,y) d'un pixel P(x,y) dans l'image au moins une valeur a(x,y) d'une grandeur physique mesurée par le capteur électronique,
caractérisé en ce que le procédé comporte :
- le calcul d'un score final Sf de similarité entre l'image acquise et chaque image préenregistrée d'une bibliothèque d'images numériques en mettant en œuvre un procédé conforme à l'une quelconque des revendications précédentes, et
- l'établissement (56) de la correspondance entre l'image acquise et l'une des images préenregistrées de la bibliothèque en fonction du score final Sf de similarité calculé entre ces deux images, l'objet étant reconnu lorsque l'image acquise de cet objet correspond à l'une des images préenregistrées.
13. Support d'enregistrement d'informations, caractérisé en ce qu'il comporte des instructions pour la mise en œuvre d'un procédé conforme à l'une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un calculateur électronique.
14. Dispositif de reconnaissance d'un objet, ce dispositif comportant :
- un capteur électronique (10, 12) apte à acquérir une image numérique de l'objet à reconnaître, chaque image numérique étant formée de pixels P(x,y) et comportant une matrice qui associe à chaque position (x,y) d'un pixel dans l'image au moins une valeur a(x,y) d'une grandeur physique mesurée par le capteur électronique,
- un calculateur électronique (16) programmé pour construire, à partir de l'image acquise, H cartes J, de gradients calculés selon un jeu i respectif de directions, où :
- H est un nombre entier, de jeux i de directions, supérieur ou égale à deux,
- i est un identifiant du jeu de directions dans lesquelles sont calculés les gradients, - un jeu i de directions associe à chaque pixel P(x,y) de l'image une direction Oi(x,y), la direction Ο,(χ,ν) étant décalée angulairement par rapport à la direction Oi(x,y) d'un angle θ,, cet angle Θ, étant le même quel que soit le pixel considéré de l'image,
- une carte de gradients calculés selon un jeu i de directions étant une matrice qui à chaque pixel P(x,y) de l'image acquise associe une valeur ρ,(χ,γ) représentative du gradient de la grandeur physique dans la direction Oi(x,y) associée à ce pixel dans le jeu i,
caractérisé en ce que le calculateur électronique (16) est également programmé pour :
a) pour chaque carte de gradients J,, calculer un score intermédiaire S, de similarité entre cette carte de gradients J, et une carte de référence Jiref correspondante, chaque score intermédiaire S, de similarité étant un nombre réel représentant le degré de similitude entre les cartes comparées, la carte de référence Jiref étant une carte de gradients calculés selon le même jeu i de directions que la carte de gradients J, à partir d'une image préenregistrée d'une bibliothèque d'images numériques, et
b) établir un score final Sf de similarité entre l'image acquise et l'image préenregistrée en fonction des H scores intermédiaires S, de similarité,
c) réitérer les étapes a) et b) pour chaque image préenregistrée de la bibliothèque et établir la correspondance entre l'image acquise et l'une des images préenregistrées de la bibliothèque en fonction du score final Sf de similarité calculé entre ces deux images, l'objet étant reconnu lorsque l'image acquise de cet objet correspond à l'une des images préenregistrées.
PCT/EP2012/061227 2011-06-22 2012-06-13 Procede d'etablissement d'un score final de similarite entre des images Ceased WO2012175391A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1155518 2011-06-22
FR1155518A FR2977056B1 (fr) 2011-06-22 2011-06-22 Procede d'etablissement d'un score final de similarite entre des images

Publications (1)

Publication Number Publication Date
WO2012175391A1 true WO2012175391A1 (fr) 2012-12-27

Family

ID=46420087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/061227 Ceased WO2012175391A1 (fr) 2011-06-22 2012-06-13 Procede d'etablissement d'un score final de similarite entre des images

Country Status (2)

Country Link
FR (1) FR2977056B1 (fr)
WO (1) WO2012175391A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12223697B1 (en) * 2019-09-26 2025-02-11 Hrl Laboratories, Llc System and method for unsupervised concept extraction from reinforcement learning agents

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20100135540A1 (en) 2006-09-18 2010-06-03 Miguel Angel Cervantes Biometric authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20100135540A1 (en) 2006-09-18 2010-06-03 Miguel Angel Cervantes Biometric authentication

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
"Overview of the face recognition grand challenge", INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2005
A.S. MIAN; M. BENNAMOUN; R. OWENS: "An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Recognition", IEEE TRANSACTIONS IN PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 29, no. 11, 2007, pages 1927 - 1943, XP011191988, DOI: doi:10.1109/TPAMI.2007.1105
A.S. MIAN; M. BENNAMOUN; R. OWENS: "Keypoint Détection and Local Feature Matching for Textured 3D Face Recognition", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 79, no. 1, 2008, pages 1 - 12, XP019616635
B. GOKBERK; H. DUTAGACI; A. ULAS; L. AKARUN; B. SANKUR: "Représentation Plurality and Fusion for 3D Face Recognition", IEEE TRANSACTIONS ON SYSTEMS, MAN AND CYBERNETICS - B : CYBERNETICS, vol. 38, no. 1, 2008, pages 155 - 173, XP011344900, DOI: doi:10.1109/TSMCB.2007.908865
C. XU; F. LI; T. TAN; L. QUAN: "Automatic 3D Face Recognition from Depth and Intensity Gabor Features", PATTERN RECOGNITION, vol. 42, no. 9, 2009, pages 1895 - 1905, XP026129862, DOI: doi:10.1016/j.patcog.2009.01.001
DI HUANG ET AL: "A novel geometric facial representation based on multi-scale extended local binary patterns", AUTOMATIC FACE&GESTURE RECOGNITION AND WORKSHOPS (FG 2011), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 21 March 2011 (2011-03-21), pages 1 - 7, XP031869326, ISBN: 978-1-4244-9140-7, DOI: 10.1109/FG.2011.5771323 *
DI HUANG ET AL: "Local Binary Patterns and Its Application to Facial Image Analysis: A Survey", IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS: PART C:APPLICATIONS AND REVIEWS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 41, no. 6, 1 November 2011 (2011-11-01), pages 765 - 781, XP011363204, ISSN: 1094-6977, DOI: 10.1109/TSMCC.2011.2118750 *
DI HUANG: "A novel geometric facial representation based on multi-scale extended local binary patterns", AUTOMATIC FACE & GESTURE RECOGNITION AND WORKSHOPS (FG 2011, 21 March 2011 (2011-03-21), pages 1 - 7, XP031869326, DOI: doi:10.1109/FG.2011.5771323
INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 60, no. 4, 2004, pages 91 - 110
M. HUSKEN; M. BRAUCKMANN; S. GEHLEN; C. V.D. MALSBURG: "Stratégies and Benefits of Fusion of 2D and 3D Face Recognition", IEEE WORKSHOP ON FACE RECOGNITION GRAND CHALLENGE EXPERIMENTS, 2005
T. MAURER ET AL.: "Performance of Geometrix ActivelDTM 3D Face Recognition Engine on FRGC Data", IEEE WORKSHOP ON FRGC EXPERIMENTS, 2005
W. BEN SOLTANA; D. HUANG; M. ARDABILIAN; L. CHEN; C. BEN AMAR: "Comparison of 2D/3D Features and their Adaptative Score Level Fusion for 3D Face Recognition", 3D DATA PROCESSING, VISUALISATION AND TRANSMISSION, 2010
WAEL BEN SOLTANA ET AL: "Adaptive Feature and Score Level Fusion Strategy Using Genetic Algorithms", PATTERN RECOGNITION (ICPR), 2010 20TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 23 August 2010 (2010-08-23), pages 4316 - 4319, XP031772710, ISBN: 978-1-4244-7542-1 *
WAEL BEN SOLTANA: "Adaptive Feature and Score Level Fusion Strategy Using Genetic Algorithms", PATTERN RECOGNITION (ICPR), 2010 20TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 23 August 2010 (2010-08-23), pages 4316 - 4319, XP031772710
Y.H. SAID: "Handbook of statistics", 2005, article "On Genetic Algorithms and their Applications"

Also Published As

Publication number Publication date
FR2977056B1 (fr) 2014-02-07
FR2977056A1 (fr) 2012-12-28

Similar Documents

Publication Publication Date Title
EP3707676B1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
EP3640843B1 (fr) Procédé d'extraction de caractéristiques d'une empreinte digitale représentée par une image d'entrée
EP4320606A1 (fr) Protection biométrique personnalisée anti-usurpation utilisant l'apprentissage automatique et des données d'inscription
CN110163899A (zh) 图像匹配方法和图像匹配装置
CN113614731B (zh) 使用软生物特征的认证验证
CN111382666B (zh) 具有用户验证的设备和方法
CN110852160A (zh) 以图像为基准的生物识别系统及计算机实施方法
FR3088467A1 (fr) Procede de classification d'une image d'entree representative d'un trait biometrique au moyen d'un reseau de neurones a convolution
FR2931006A1 (fr) Systeme et procede pour la reconnaissance visuelle
EP2751739B1 (fr) Detection de fraude pour systeme de controle d'acces de type biometrique
EP3958170B1 (fr) Procédé et appareil comportant une détection de la vivacité
Benlamoudi et al. Face antispoofing based on frame difference and multilevel representation
Bianco et al. Robust smile detection using convolutional neural networks
EP3582141A1 (fr) Procédé d'apprentissage de paramètres d'un réseau de neurones à convolution
Menon et al. Iris biometrics using deep convolutional networks
Yeh et al. Face liveness detection based on perceptual image quality assessment features with multi-scale analysis
Donida Labati et al. A scheme for fingerphoto recognition in smartphones
CN107918773B (zh) 一种人脸活体检测方法、装置及电子设备
Kumar et al. Non-overlapped blockwise interpolated local binary pattern as periocular feature
US20240355088A1 (en) Method for matching a candidate image with a reference image
EP3929809A1 (fr) Procédé de détection d'au moins un trait biométrique visible sur une image d entrée au moyen d'un réseau de neurones à convolution
EP4099200A1 (fr) Procede et dispositif d'identification et/ou d'authentification biometrique
EP3210166B1 (fr) Procede de comparaison d'images numeriques
WO2012175391A1 (fr) Procede d'etablissement d'un score final de similarite entre des images
WO2011089517A1 (fr) Procede et dispositif de reconnaissance de visages en conditions de poses variables

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12730843

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12730843

Country of ref document: EP

Kind code of ref document: A1