[go: up one dir, main page]

WO2006003270A1 - Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle - Google Patents

Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle Download PDF

Info

Publication number
WO2006003270A1
WO2006003270A1 PCT/FR2004/001395 FR2004001395W WO2006003270A1 WO 2006003270 A1 WO2006003270 A1 WO 2006003270A1 FR 2004001395 W FR2004001395 W FR 2004001395W WO 2006003270 A1 WO2006003270 A1 WO 2006003270A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
base
face
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2004/001395
Other languages
English (en)
Inventor
Muriel Visani
Christophe Garcia
Christophe Laurent
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to PCT/FR2004/001395 priority Critical patent/WO2006003270A1/fr
Priority to US11/628,321 priority patent/US7856123B2/en
Priority to EP04767263A priority patent/EP1751689A1/fr
Publication of WO2006003270A1 publication Critical patent/WO2006003270A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Definitions

  • the present invention relates to the field of face recognition in digital images.
  • Statistical dimension reduction models are constructed using a set of face images hereinafter referred to as "learning base” (or, in abbreviated notation, BA). The same person is preferentially represented several times in the learning base. We then call "class" the different representations of the face of the same person.
  • learning base or, in abbreviated notation, BA.
  • the face to be recognized is compared to the faces of the learning base to assign an identity to it.
  • Biometrics or CCTV for example, are authentication-based applications.
  • I 1 ACP A commonly used definition of I 1 ACP is that which associates, with a set of input vectors, a set of orthogonal main axes (so-called "principal components") on which the projection of the variance of the input vectors is Max.
  • vector refers to a column vector. Moreover, it is 1 rating X the vector to be projected, large 1-m. Its orthogonal projection is denoted X. This projection is performed on the dimension space k whose orthogonal basis is stored in the form of columns in the matrix P. The matrix P is therefore of size (1-m) x k.
  • the projection of the vector X is expressed by:
  • the matrix P is called "projection matrix of the initial space in f space of the main components.”
  • n denotes the number of images present in the learning base.
  • S is the covariance matrix of the learning base BA, of size (1-m) x (1- ⁇ a), given by the following relation:
  • I / ACP is commonly used to represent or recognize faces.
  • the most well-known method of face recognition based on PCA has been proposed in the above document:
  • the method requires a learning base consisting of a set of images presented as input - in the form of a vector per image.
  • Each image X 1 consisting of 2 rows and m columns of pixels in gray levels, is thus reduced to a vector of size 1-m by concatenation of its lines of pixels.
  • a PCR is performed directly on these vectors, giving a set of k principal components of the same size 1-m as the initial image vectors and are designated by the term "Eigenfaces" (or, in French, "faces owns”) .
  • the number k of principal components to be retained can be fixed or determined from the eigenvalues.
  • the comparison between two images of faces is made following a projection in the base of the eigenvectors according to relation (1) above.
  • the two projected vectors are compared according to a measurement based on a predetermined criterion of similarity.
  • the principal components constitute the subspace of dimension k minimizing the mean squared error of reconstruction, defined as the distance denoted L 2 between the learning base and its orthogonal projection in the base composed of the principal components. .
  • this database does not necessarily offer an optimal classification of the data. Indeed, the principal components maximize the total variance of the learning base, without distinguishing the internal variations in each class of the variations between classes.
  • the ADL differs from the ACP in that ADL is a supervised method, that is to say that the construction of the model requires, for each image of the learning base, the data of a vector and than the data of his class of membership.
  • - n c is the number of images of the person corresponding to the class c and contained in the learning base
  • X 1 P 7 X 1 is a vector of size k corresponding to the image X 1 projected in the base P according to equation (1) above.
  • S b is the inter-class covariance matrix of the base
  • the columns of P contain the k eigenvectors of the matrix S w -1S b associated with the k largest eigenvectors, where S w -1 is the inverse of S w .
  • the size of input vectors is much larger than the number of examples acquired in the learning base ⁇ 1-m »n).
  • the matrix S w is then singular and non-invertible.
  • ACP + ADL ACP + ADL
  • the number of components to retain can then be determined in the same way as for the ACP described above.
  • the classification is performed after orthogonal projection in the Fisher faces space, in the same way as for the PCA.
  • the ADL gives better results than the ACP and especially allows to better manage the differences of illumination in the shots of the faces, the differences of facial expressions and pose.
  • a model is constructed from all the images of the learning database stored as pixel matrices with 1 rows and m columns.
  • m orthonormal length
  • m such as the projection of the learning base on this vector basis ensures maximum variance of the learning base.
  • the projection of an image X of size 2 xm on the matrix P of size mxk is given by the following linear relation, where X is a matrix of size 1 xk:
  • the criterion to be maximized is the following:
  • S p designates the covariance matrix (called "two-dimensional” as opposed to a unicolon vector) of the n vectors of the projected images of the learning base on the vector base P. If we consider:
  • S is the covariance matrix of the image columns and is calculated as follows:
  • X -Y 1 X, is an average matrix, of size 1 xm, wn images of the learning base.
  • the criterion to be maximized according to relation (14) is called "generalized total dispersion criterion".
  • the k vectors [P 1 ,..., P *] to be retained are the eigenvectors of the matrix 5 corresponding to the largest eigenvalues.
  • the projection matrix in the sense of relation (11) The projection of the image X 1 by P is noted is the vector of length 2 (projection of the image X 1 on the vector P J ).
  • the number k of components to retain can be determined in the same way as for the ACP, seen above. As before, the comparison between two faces takes place in the projected space. Here, the projection of an image on P no longer gives a vector, but a matrix. Here we use a measure of similarity between matrices X 1 of size lxk. The distance between the matrices X 1 and X t can be as follows:
  • the two-dimensional APA even if it does not have this disadvantage and if it guarantees an optimal conservation of the overall variance of the projected learning base, does not make it possible to distinguish variations between classes and variations within the classes .
  • this technique is very suitable for reconstructing face images after compression by dimension reduction.
  • the CPA it does not necessarily ensure good 'discrimination between classes.
  • the present invention improves the situation.
  • An object of the invention is to ensure better discrimination between the classes of the learning base.
  • Another object of the invention is to provide a reduction of the calculations and the memory space required for the storage of the model built to be able to classify the images, compared to conventional discriminant methods such as ADL.
  • the images are represented by matrices whose coefficients are pixel values.
  • the method then comprises a pretreatment of the learning base in which:
  • a matrix system representative of a variance between different classes and of the inverse of a variance in each of the classes is formed from these matrices, and a vector base is determined from this matrix system; with discriminant components of the learning base, aiming jointly at minimizing the variance in each of the classes and maximizing the variance between different classes.
  • the method is more robust to changes in facial expressions than the prior art technique of 1 ⁇ CP2D and its implementation requires much less memory size and computing capacity. than the classical ADL technique.
  • the pretreatment of the learning base comprises the following steps: - we estimate an average face of all the faces of the learning base;
  • a second matrix, of interclass covariance corresponding to the mean of the matrices of the squared difference between the average face of each class and the average face of the learning base 1 ;
  • the eigenvectors associated with a limited, chosen number of larger eigenvalues are advantageously selected.
  • the method which is the subject of the invention comprises a step prior to the formation of the abovementioned matrix system and of applying a transposition of the matrices representing the images of the learning base. It is indicated that this variant leads to discriminant components denoted "2D-lines", whereas the succession of the steps above, without the the the
  • the method may comprise a subsequent classification processing of a face image to be recognized, comprising the following steps:
  • an identification matrix is constituted comprising vectors obtained by projecting the image of the face to be recognized on said vector base,
  • a reference matrix comprising vectors obtained by the projection of a reference image on said vector base is constituted, and the identification matrix is compared with the reference matrix, according to a chosen distance criterion.
  • this projection is performed by multiplying the matrix associated with the face to be recognized and / or the matrix associated with a reference face, by each of the selected eigenvectors.
  • the distance criterion comprises the evaluation of a sum of the distances between the corresponding columns of the identification and reference matrices. This distance can be given by the relation (16) above but applied in the context of the invention.
  • the distance criterion is set between the identification matrix and the projected average of each class of the learning base, as a reference matrix. This distance is estimated preferentially by the relation (24), given and commented on later.
  • a reference image as the average image of a class.
  • the reference image can instead be a real image directly drawn from the learning base.
  • a possible application is the triggering of an alarm of a surveillance system if the comparison between a face to be recognized and one or more reference faces belonging to the learning base has a distance greater than a threshold.
  • the reference image does not belong to the learning base but is taken from a previous shot.
  • a possible application may be to know how many times a person appears on a video sequence, a previous image of that person then being the reference image.
  • the method according to the invention may advantageously comprise an additional step of reconstructing the face images, after compression of the image data by dimension reduction, since the choice of a limited number of discriminant components (or eigenvectors) as indicated above) allows this size reduction.
  • the present invention may be implemented by a computer workstation driven by the course of a suitable software (or "computer program product").
  • a suitable software or "computer program product”
  • the present invention is directed to such a computer program product, intended to be stored in a memory of a processing unit, or to a removable memory medium and intended to cooperate with a reader of said processing unit.
  • This program then comprises instructions for the implementation of all or part of the steps of the above method.
  • FIG. 2 represents extracts from a general face database distributed online by Intelligent Multimedia Laboratory
  • FIG. 3 represents extracts from the learning base (a) and extracts from the test base (b), these bases being used to test the robustness to the laying,
  • FIG. 4 represents extracts from the training base (a) and from the test base (b) for testing the robustness to facial expressions, the non-neutral facial expressions being randomly distributed in the test base (two images per class) and in the learning base (two images per class), while a class-neutral facial expression has been introduced into the learning base, the
  • FIG. 5 represents the face recognition rates of the base of the poses described below, for the conventional ADL, with two distance criteria, the usual distance L 2 (squares) between the vectors of the projected images and another distance L 2 -moyCl (triangles) given by the relation L 2 between the vector of the projected image to be identified and the average vector of the projected images of a class of images;
  • FIG. 6 represents the face recognition rates of the base of the poses, with use of the method in the sense of the invention, for:
  • FIG. 7 represents comparative CMC ("Cumulative Match Characteristic") variations of the classical ADL (dashed) for a criterion of distance L 2 between the vectors of the projected images and of 1 ⁇ DL2D within the meaning of the invention ( solid lines) for a distance criterion L 2 given by relation (16) above and for the base of the poses,
  • FIG. 8 represents the face recognition rates of the base of the poses, for the prior art PCMA 2 (diamonds) and for 1 ⁇ DL2D in the sense of FIG. the
  • FIG. 9 represents the face recognition rates of the base of the poses, for 1 ⁇ CP2D. of the prior art (diamonds) and for 1 ⁇ DL2D within the meaning of the invention (squares), with the same distance criterion L 2 -moyCl given by the relation (24) below,
  • FIG. 10 represents comparative CMC variations of 1CP2D of the prior art (dashed lines) and of 1 ⁇ DL2D within the meaning of the invention (solid lines) for a distance criterion L 2 given by equation (16) above, for the base of the poses,
  • FIG. 11 illustrates the reconstructions within the meaning of the invention of images of the base of the poses, with two 2D-column discriminant components (a), with three 2D-column discriminant components (b) and with twenty 2D-discriminant components. columns (c),
  • FIG. 12 represents the face recognition rates of the base of the expressions described below, for conventional ADL with the distance criterion L 2 between vectors of the projected images (squares), and with the given distance criterion L 2 -HiOyCl by the distance L 2 between the vector of the projected image to be recognized and the mean vector of the images of the same class (triangles),
  • FIG. 13 represents the face recognition rates of the expression base, with use of the method in the sense of the invention, for:
  • FIG. 15 represents the face recognition rates of the base of the expressions, for the ADL2D-Lig ' nes (squares) and 1 ⁇ CP2D (diamonds) of the prior art, with distance criterion L 2 given by the relation (16) above,
  • FIG. 16 represents the face recognition rates of the base of the expressions, for ADL2D-lines (squares) and 1 ⁇ CP2D (diamonds) of the prior art, with the distance criterion as the distance L 2 -HiOyCl given by the relation (24) below,
  • FIG. 17 represents comparative CMC variations of 1CP2D of the prior art (dashed lines) and of 1 ⁇ DL2D-lines according to the invention (solid lines) for a distance criterion L 2 given by the relation (16) below. before and for the base of expressions,
  • FIG. 18 represents an example of classification of a face image (a):
  • FIG. 19 represents a reconstruction within the meaning of the invention of the images of the base of the expressions of FIG. 4 (a), with:
  • Figure 20 schematically shows a device such as a computer workstation for the implementation of the method within the meaning of the present invention.
  • a preferred embodiment of the present invention is a method based on a supervised statistical method, hereinafter referred to as "Bidimensional Linear Discriminant Analysis” (or “ADL2D”).
  • I / ADL2D can come in two forms: the ADL2D-columns and the ADL2D-lines. One can possibly combine these two methods to cross the information and / or to compare the results that they give each one.
  • the ADL2D-columns consists of a method preferably comprising the main steps below.
  • a learning base BA containing face images in the form of two-dimensional matrices, with values of matrix coefficients preferably corresponding to gray levels in the images.
  • the learning base BA contains several views of each of the persons (as indicated above, all the images representing the same person constitute a class);
  • the average face of all the faces of the learning base is calculated (step 12);
  • a mean face is calculated (step 13) for each CLi class
  • intra-class covariance 2D-columns denoted VOC (intra-CL)
  • the square matrix of inter-class covariance 2D-columns (denoted COV (inter-CL)) corresponding to the mean of the matrices of the squared difference between the average face of each class and the average face is calculated (step 15) the learning base;
  • the eigenvectors EIGEN (V) preferentially associated with the largest eigenvalues are determined (step 17) as 2D-column discriminant components.
  • vectors constitute a vector base that will be used during the classification described below.
  • a variant of the matrix multiplication step consists in calculating instead the product of the inverse of the intra-class 2D-column covariance matrix by the inter-class 2D-column matrix. The proper system of this matrix product is then calculated as before.
  • a projection of the image of the face to be recognized on this basis (typically by multiplication of the face matrix to be recognized by each of the eigenvectors) is carried out (step 18), the vectors thus obtained being grouped together to constitute a matrix associated with this face image; this matrix is compared (step 19) to the matrix of an image representing a reference face, calculated in the same way. It is indicated that the reference face may typically belong to the learning base.
  • the comparison between the two matrices is performed using a sum of distances L ⁇ between the corresponding columns of these two matrices.
  • the ADL2D-lines consists of an equivalent process, but performed from transposed matrices of 2D images of faces.
  • a matrix product involving intra-class and inter-class covariance matrices is evaluated to form a system of discriminant components denoted "2D-lines”.
  • the general process of treatment may, advantageously but not necessarily, be concluded by a step 20 of reconstruction of the faces after reduction of dimension
  • . - S ⁇ is the intra-class covariance matrix of the learning base projected on P according to relation (11),
  • - n c is the number of images of the class c
  • X 1 , X e and X are matrices of size IXk.
  • matrix S w (respectively the matrix S 6 ), of size mx in, "matrix of covariance intra-classes 2D-columns” (respectively “matrix of covariance inter ⁇ classes 2D-columns”).
  • the matrix S w is invertible. Therefore, the use of a first size reduction, as implemented in the ACP + ADL method described above, is unnecessary here.
  • Linear two-dimensional within the meaning of the invention, can also be made from the transposed image matrices of the learning base.
  • X are now matrices of size mxk.
  • S w and S h are henceforth calculated as follows: -X) (T -Jf (23)
  • the process continues as described above. It can be considered that the number m of columns of the images of the learning base is assumed to be smaller than the number n of examples present in the learning base.
  • the general method (using an ADL2D-Lines or a
  • ADL2D-Columns continues with a classification of the faces of the learning base (frame B in Figure 1).
  • each image X 1 of the learning base is projected in the base in the sense of the relation (11) to obtain a matrix X 1 per image, of size 1 ⁇ k, corresponding intuitively to the position of the image X 1 in the base P of the discriminant components 2D-columns.
  • X CJ - ⁇ X
  • J is a vector of size m.
  • the face image to be recognized X 1 will subsequently be considered as belonging to the nearest class in the sense of distance according to formula (24), or to the same class of membership as the nearest image , following the distance L 2 columns.
  • the reconstruction of the faces (frame C of FIG. 1), performed optionally after the size reduction, can be carried out as follows.
  • the projection X 1 of the image X 1 and the corresponding 2D discriminant components [P 1 , .., / **] (rows or columns) can be combined to reconstruct a face image in the the the the
  • a learning base and a test database are created, containing faces to be recognized.
  • the Intelligent Multimedia Laboratory (IML) database downloadable from http://nova.postech.ac.kr/ was chosen.
  • Figure 2 There is shown in Figure 2 a sample of this base of faces.
  • the base contains color images of one hundred and seven people, including fifty-six men and fifty-one women. Each person is represented by seventeen views:
  • the base has variations of scale. Occultations such as wearing glasses, wearing a hat, or other, are also represented.
  • the tests conducted use two subsets of this IML database.
  • the first subset illustrates the robustness of the methods evaluated at the pose (later called the “base of the poses”).
  • the second subset illustrates the robustness of the methods evaluated for facial expression (hereinafter referred to as the "basis of expressions").
  • a training database consisting of three hundred and twenty-one images of faces (three frontal views per person) was used.
  • a view represents an expression Neutral facial, the other two are chosen at random from the four facial expressions proposed in the base.
  • the test base on the other hand, consists of two hundred and fourteen images (two views per person), representing the remaining facial expressions.
  • All the images of the learning base like those of the test database, have been preprocessed so that the images are preferably of size 150x130 pixels, with a distance of 70 pixels between two centers of pupils.
  • the right eye and the top left corner of the image are located at a distance of 30 pixels along the abscissa axis and 45 pixels along the ordinate axis.
  • the images, initially in color, are simply transformed into luminance images, grayscale, without any other pretreatment.
  • the considered variables are digital images, thus presenting themselves as discrete two-dimensional variables.
  • the processed images are for example sampled on a discrete grid of 150 lines and 130 columns and values in the real luminance space between 0 and 255.
  • the construction of the ADL2D-column model is now described. From the images of the learning database stored in the form of matrices of 150 x 130 pixels, the covariance matrices S w and S b given by the relation (23) are calculated. In particular, we calculate the proper system of S ⁇ 1 S 1 , using a singular value decomposition. This yields the matrix P ⁇ JPV- J P j components discriminant 2D-columns. We can deduce by projection by applying the relation (11) the projections
  • test image will simply be assigned to the nearest class c according to the chosen distance criterion.
  • similarity measures are given by the distance L 2 columns of the relation (16) and by the other distance estimate given by the relation (24).
  • Class assignment and face reconstruction are as described above.
  • the results of 1 ⁇ DL2D within the meaning of the invention are compared with the results of the conventional ADL, calculated according to the combination of ACP + ADL method.
  • the PCA method was first conducted in the pose database. With more than 200 main components, the rates of recognition decline substantially. It was therefore chosen to retain 200 main components to build the classic ADL.
  • L 2 L 2 vector-to-vector distance
  • Z 2 moyCl arithmetic mean L 2 vector distance of the projected vectors of each class
  • Figure 5 shows the recognition rates obtained by the ADL, compared for these two distances.
  • the model is constructed using ACP + ADL combination processing from 200 main components.
  • the best recognition rate (93.7%) is achieved for the L 2 distance with 40 discriminating components of 19500 pixels each.
  • Figure 6 shows the recognition rates of 1 ⁇ DL2D, both 1 ⁇ DL2D columns and 1 ⁇ DL2D rows.
  • the distances compared are the distances L 2 of the relation (16) (denoted by “L 2 ”) and the distances according to the relation (24) (denoted by "L 2 moyCl”).
  • L 2 the distances of the relation (16)
  • L 2 moyCl the distances according to the relation (24)
  • the best recognition rate of 1 ⁇ DL2D for distance L 2 is 94.4% and is reached with only 8 components.
  • the best recognition rate is 95.8% and is reached with only 13 components.
  • the ADL L 2 achieves its best recognition rate, which is 93.7%, 2.1% less than
  • the ADL2D-columns gives significantly better results than the conventional ADL, and especially with a storage space necessary for the storage of much less model.
  • FIG. 7 gives the variations called "Cumulative Match Characteristic" (CMC) of 1 ⁇ DL2D L 2 to 8 discriminating components 2D-columns and ADL L 2 to 40 components, discriminating.
  • CMC Cumulative Match Characteristic
  • a variation CMC makes it possible to give the recognition rates at different ranks, in the sense that a face has been recognized at rank n if an image belonging to the right class is the nth closest to the sense of distance L 2 , after projection.
  • the x-axis therefore indicates the rank n, while the y-axis indicates the cumulative recognition rates of ranks less than or equal to the rank n.
  • FIG. 8 gives the comparative recognition rates of 1 ⁇ DL2D and 1 ⁇ CP2D as a function of the number of components selected, with an L 2 distance classification. For any number of components k fixed between 1 and 15, 1 ⁇ DL2D gives better results than 1 ⁇ CP2D.
  • the components of 1 ⁇ CP2D and 1 ⁇ DL2D both have 130 pixels. The best recognition rate for 1 ⁇ CP2D (92.3%) is achieved with 8 parts of 130 pixels each, and is lower than "2.1% at the best 1 ⁇ DL2D recognition rate, also obtained with 8 components.
  • FIG. 9 gives the comparative recognition rates of 1 ⁇ DL2D and 1 ⁇ CP2D as a function of the number of components selected, with an L 2 moyCl distance classification. At any number of components k fixed between 1 and 15, 1 ⁇ DL2D gives better results than 1 ⁇ CP2D.
  • the components of 1 ⁇ CP2D and 1 ⁇ DL2D have 130 pixels. The best recognition rate for 1 ⁇ CP2D (94.4%) is reached with 9 components of 130 pixels each, and is 1.4% lower than the best recognition rate of 1 ⁇ DL2D, obtained with 13 components.
  • Figure 10 gives the comparative CMC variations of 1 ⁇ DL2D and 1 ⁇ CP2D with a distance L 2 . Both variations
  • Figures 8, 9 and 10 show that 1 ⁇ DL2D gives better recognition rates than 1 ⁇ CP2D, both at rank 1 for the same number of selected components ranging from 1 to 15 ( Figures 8 and 9) than at higher ranks ( Figure 10). I / ADL2D is therefore more robust to laying changes than 1 ⁇ CP2D.
  • FIG. 11 the reconstructions of the images shown in FIG. 3 are shown. It can be seen that from only three components the facial characteristics (eyes, nose, mouth) already appear, but without being able to distinguish the poses. It will also be noted that a satisfactory reconstruction of the initial image with 20 components is already obtained.
  • Figure 12 gives the recognition rates of conventional ADL.
  • the distances tested are the distance L 2 and the distance L 2 moyCl.
  • the model is constructed by ACP + ADL treatment with 200 main components. The number of main components to be retained was determined in the same way as previously. The best recognition rate (60.7%) is achieved for the the
  • distance L 2 moyCl with 60 discriminating components of 19500 pixels each.
  • the best recognition rate for the distance L 2 (57.5%) is reached with 30 discriminating components of 19500 pixels each.
  • Figure 13 gives the recognition rates of 1 ⁇ DL2D rows and columns with distances L 2 and L 2 moyCl. It can be seen that, unlike the results obtained on the basis intended to test the robustness to the changes of laying, 1 ⁇ DL2D lines give here better results than 1 ⁇ DL2D columns.
  • FIGS. 12 and 13 shows, as previously, that 1 ⁇ DL2D makes it possible to obtain better results than the conventional ADL with a much smaller number of components.
  • the best recognition rates are obtained for 30 components the
  • Figure 14 gives comparative CMC variations of the classical ADL and 1 ⁇ DL2D.
  • the CMC variations are constructed with 5 components of 150 pixels each for 1 ⁇ DL2D lines and 30 discriminating components of 19500 pixels each for the ADL.
  • the recognition rates obtained by ADL2D lines is better not only at rank 1 but also at higher ranks. At low ranks, we see that 1 ⁇ DL2D is much more efficient than the conventional ADL. The recognition rate is indeed 11.95% higher on average in the first seven rows.
  • Figures 12, 13 and 14 show that 1 ⁇ DL2D gives better results on the basis of expressions than the conventional ADL, both in the first rank (comparison of Figures 12 and 13), and higher ranks (Figure 14). L ⁇ DL2D is more robust to changes in facial expressions than conventional ADL.
  • FIG. 15 gives the comparative recognition rates of 1 ⁇ DL2D and 1 ⁇ CP2D as a function of the number of components selected, with an L 2 distance classification. For any fixed number of k components ranging from 1 to 11, ADL2D-lines gives better results than 1 ⁇ CP2D. The best recognition rate of 1 ⁇ CP2D (61.2%) is achieved for 18 the
  • the ADL2D-lines gives much better results with fewer components.
  • the improvement in performance (up to 19.7% of 6-component deviation) as well as the smaller number of components required largely offsets the fact that the 2D-line discriminant components comprise 150 pixels while the 1 ⁇ CP2D components do not only 130 pixels.
  • FIG. 16 gives the comparative recognition rates of 1 ⁇ DL2D and 1 ⁇ CP2D as a function of the number of components selected, with an L 2 moyCl distance classification. For a fixed number of k components ranging from 1 to 15, 1 ⁇ DL2D lines gives much better results than 1 ⁇ CP2D. The best recognition rate of 1 ⁇ CP2D
  • Figure 17 gives the compared CMC variations of 1 ⁇ DL2D lines L 2 and 1 ⁇ CP2D L 2 .
  • the CMC variation of 1 ⁇ DL2D-line-s is constructed with 5 discriminant components 2D-lines.
  • the CMC variation of 1 ⁇ CP2D is constructed with 18 components.
  • ADL2D-lines provides a big improvement over the results 1 ⁇ CP2D (average 11.4% improvement in the first two rows).
  • Figures 15, 16 and 17 show that 1 ⁇ DL2D. gives better recognition rates than 1 ⁇ CP2D, both at rank 1 for the same number of selected components ranging from 1 to 15 ( Figures 15 and 16) to higher ranks ( Figure 17).
  • FIGS. 18 (b1), 18 (b.2) and 18 (b.3) The three images of the learning base corresponding to this same person are represented in FIGS. 18 (b1), 18 (b.2) and 18 (b.3). Instead of one of these three faces, 1 ⁇ CP2D gives the face shown in Figure 18 (c) as being closest to the image of the face to be recognized.
  • the ADL2D-5-component line assigns to the test face image given in Figure 18 (a) the face image given in Figure 18 (b.l).
  • the face is well recognized by L'ADL2D.
  • L ⁇ CP2D therefore seems too influenced by intra-class variations, compared to 1 ⁇ DL2D within the meaning of the invention.
  • 1CP2D which maximizes the total covariance without distinguishing the inter-class covariance of the intra-class covariance, the sub-space image groupings would occur not in terms of the identity, but of the facial expression, this which leads to a bad separation of classes.
  • L ⁇ DL2D jointly minimizing intra-class variance and maximizing variance inter-classes, is therefore more robust to changes in facial expressions than 1 ⁇ CP2D.
  • FIG. 19 shows the reconstructions of the images shown in FIG. 4.
  • the facial features eyes, nose, mouth
  • more components typically 20 components or more
  • visually satisfactory reconstruction of the initial faces can be achieved.
  • the two-dimensional ADL offering a satisfactory classification by size reduction, combines the discriminating power of the conventional ADL and the calculation gain of 1 ⁇ CP2D.
  • 1 ⁇ DL2D is more robust to pose changes and facial expressions which are two major issues of face recognition.
  • FIG. 20 shows a computing device for implementing the present invention, equipped for example with display means such as an ECR screen, input devices (keyboard CLA, mouse SOU, or others). , a central unit UC equipped with a processor PROC, a random access memory RAM, a memory ROM MEM, a graphics card CG connected to the display means ECR, and communication means COM (such as a modem), for example with a SER server, via a communication network (for example the Internet), to receive, if necessary, images of faces to be recognized and / or to transmit reconstructed images.
  • the memory MEM of the device is arranged to store at least:
  • the processor PROC is able to cooperate with this memory MEM to process the images of the learning base and / or reference images, as well as images to be recognized and subsequently compared to the images of the learning base and / or the reference images.
  • the device comprises an LEC reader of a removable memory medium (CD-ROM, ZIP, USB key, or other) suitable for storing the program product and / or the learning base.
  • a removable memory medium CD-ROM, ZIP, USB key, or other

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un procédé de reconnaissance de visages dans des images numériques. On prévoit une base d'apprentissage contenant des images de visages et hiérarchisée en plusieurs classes comportant chacune des prises de vue différentes d'une même personne. L'invention porte sur un prétraitement de la base d'apprentissage visant conjointement une minimisation de variance dans chacune des classes et une maximisation de variance entre classes différentes, pour former une base vectorielle comportant des composantes discriminantes de la base d'apprentissage. L' invention propose aussi une comparaison d'un visage à reconnaître avec un visage de référence prétraité comme la base d'apprentissage, et une reconstruction éventuelle du visage reconnu.

Description

l'l'l'l'
Procédé pour la reconnaissance de visages, à analyse discriminante linéaire bidimensionnelle
La présente invention concerne le domaine de la reconnaissance de visages dans des images numériques.
Dans le domaine de la reconnaissance de visages, on utilise aujourd'hui des méthodes statistiques de classification par réduction de dimensions. Des modèles statistiques de réduction de dimension sont construits grâce à un ensemble d' images de visages nommé ci-après "base d'apprentissage" (ou, en notation abrégée, BA) . Une même personne est préférentiellement représentée plusieurs fois dans la base d'apprentissage. On nomme alors "classe" les différentes représentations du visage d'une même personne.
Les deux applications majeures de la reconnaissance de visages sont "authentification" et "identifica±ion" .
Dans le cadre de authentification, on compare le visage à reconnaître aux visages de la base d'apprentissage pour lui assigner une identité. La biométrie ou la vidéosurveillance, par exemple, sont des applications basées sur authentification.
Dans le cadre de l'identification, une fois le modèle construit, la base d'apprentissage n'est plus utilisée. On dispose d'un premier visage inconnu et d'un second visage inconnu et l'on cherche à comparer ces deux visages pour déterminer s'il s'agit ou non de la même personne. L'indexation de séquences animées, par exemple vidéo, peut utiliser ce type d'applications. L'intérêt pourrait être par exemple de détecter dans une vidéo toutes les séquences où l'on retrouve une même personne.
La reconnaissance de visages dans des images numériques propose actuellement divers procédés que l'on peut classer de la manière suivante :
- les méthodes structurelles basées sur l'analyse des composantes géométriques du visage ;
- les méthodes dites "à base de réseaux de neurones" (ou "Support Vector Machines") ; et
- les méthodes statistiques qui jouent actuellement un rôle fondamental dans la réduction de dimension et montrent d' excellentes performances .
Des outils d'analyse statistique de données de grande dimension n permettent de réduire un système complexe de corrélations par projection des données initiales dans un espace de moindre dimension k«n. Selon l'objectif visé, l'espace de projection ainsi obtenu peut donner :
- la reconstruction optimale de la base d'apprentissage pour une dimension k fixée ; c'est l'objet de la méthode statistique dite d' "Analyse en Composantes Principales" (ou "ACP" ci-après),
- ou une meilleure discrimination entre personnes différentes (ou "classes" comme indiqué ci-avant) de la base d'apprentissage ; c'est l'objet de la méthode statistique dite d' "Analyse Discriminante Linéaire" (ou "ADL" ci-après) . On décrit ci-après la méthode dite de 1"Analyse en Composantes Principales" de l'art antérieur et exposée notamment dans :
"Eigenfaces for récognition", M. Turk et A.' Pentland, Journal of Cognitive Neuroscience, vol. 3, Mars 1991, pages 71-86.
Une définition communément utilisée de I1ACP est celle qui associe, à un ensemble de vecteurs d'entrée, un ensemble d'axes principaux orthogonaux (dits "composantes principales") et sur lesquels la projection de la variance des vecteurs d'entrée est maximale.
Ici, on indique que le terme "vecteur" se réfère à un vecteur colonne. Par ailleurs, on1 note X le vecteur à projeter, de grande taille 1-m. Sa projection orthogonale est notée X . Cette projection est effectuée sur l'espace de dimension k dont une base orthogonale est stockée sous forme de colonnes dans la matrice P. La matrice P est donc de taille (1-m) x k. La projection du vecteur X s'exprime alors par :
X=P7X (1)
La matrice P est appelée "matrice de projection de l'espace initial dans lfespace des composantes principales" .
On choisit comme critère à maximiser :
J(P)=trαce(Sp) (2) où Sp désigne la matrice de covariance de la base d'apprentissage projetée dans la base de P, soit :
S'=-∑(X,-X)(X,-X)r (3)
«^ où n désigne le nombre d'images présentes dans la base d'apprentissage.
Si l'on note X1 le vecteur d'entrée correspondant au f'm vecteur de la base d'apprentissage BA, on a : ,
X=P7X1 et X=-YXι
On indique que maximiser le critère selon la relation (2) revient à maximiser le critère :
Figure imgf000006_0001
(/ m) k où 5R x 9Î est l'ensemble des matrices à coefficients réels de taille (l.m) x k.
S est la matrice de covariance de la base d'apprentissage BA, de taille (1-m) x (1-τa) , donnée par la relation suivante :
Figure imgf000006_0002
1 n où, avec les notations données précédemment : I=-^!, .
On montre que, sous l'hypothèse que les vecteurs X1 de la base d'apprentissage sont des vecteurs gaussiens, indépendants deux à deux et identiquement distribués (propriété notée "Hd" ci-après), P est composée des k vecteurs propres de S associés aux k plus grandes valeurs propres (k fixé) .
I/ACP est communément utilisée pour représenter ou reconnaître des visages. La méthode de reconnaissance de visages la plus connue et basée sur l'ACP a été proposée dans le document précité :
"Eigenfaces for récognition", M. Turk et A. Pentland, Journal of Cognitive Neuroscience, vol. 3, Mars 1991, pages 71-86.
La méthode nécessite une base d' apprentissage constituée d'un ensemble d'images présentées en entrée- sous la forme d'un vecteur par image. Chaque image X1 , constituée de 2 lignes et m colonnes de pixels en niveaux de gris, est ainsi ramenée à un vecteur de taille 1-m par concaténation de ses lignes de pixels . Une ACP est effectuée directement sur ces vecteurs, donnant un ensemble de k composantes principales de même taille 1-m que les vecteurs-images initiaux et sont désignées par le terme d' "Eigenfaces" (ou, en français, "visages propres") . Le nombre k de composantes principales à retenir peut être fixé ou encore déterminé à partir des valeurs propres.
La comparaison entre deux images de visages se fait à la suite d'une projection dans la base des composantes propres selon la relation (1) ci-avant. On compare les deux vecteurs projetés selon une mesure basée sur un critère prédéterminé de similarité. On montre en particulier que les composantes principales constituent le sous-espace de dimension k minimisant l'erreur quadratique moyenne de reconstruction, définie comme étant la distance notée L2 entre la base d'apprentissage et sa projection orthogonale dans la base constituée des composantes principales.
Toutefois, un inconvénient de la méthode réside en ce que cette base n'offre pas nécessairement une classification optimale des données. En effet, les composantes principales maximisent la variance totale de la base d'apprentissage, sans distinguer les variations internes à chaque classe des variations entre classes.
On décrit ci-après une méthode issue de l'Analyse Discriminante Linéaire (ou ADL), de l'art antérieur, couramment utilisée en reconnaissance des formes et décrite notamment dans : "Eigenfaces vs. Fisherfaces: Récognition Using Class Spécifie Linear Projection", P. Belhumeur, J. Hespanha et D. Kriegman, Spécial Thème Issue on Face and Gesture Récognition of the IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(7), pages 711-720, Juillet 1997.
Elle permet de trouver le sous-espace réalisant conjointement la maximisation des variations entre classes et la minimisation de la variation moyenne à l'intérieur des classes, pour donner un sous-espace appelé "sous- espace discriminant" de l'espace initial et assurant une meilleure discrimination entre classes. l'
L'ADL se distingue de l'ACP notamment en ce que ADL est une méthode supervisée, c'est-à-dire que la construction du modèle nécessite, pour chaque image de la base d'apprentissage, la donnée d'un vecteur ainsi que la donnée de sa classe d'appartenance.
On fait ici l'hypothèse que les images d'une même classe, représentées sous la forme de vecteurs, sont des vecteurs gaussiens ayant la propriété iid décrite ci-avant. On note P la matrice de projection orthogonale de l'espace initial dans le sous-espace discriminant au sens de l'équation (1) ci-avant. Si l'on choisit comme critère à maximiser 1'expression:
Figure imgf000009_0001
où Sζ (respectivement Sζ ) est la matrice de covariance intra-classes (respectivement inter-classes) de la base d'apprentissage projetée par la projection orthogonale P. P est une matrice de taille (Lia) x k. On rappelle qu'une classe est un ensemble de représentations d'un même visage dans la base d'apprentissage. On indique aussi que les termes "intra-classe" visent des propriétés au sein d'une même classe, tandis que les termes "inter-classes" visent des propriétés d'une classe à l'autre.
Si l'on note C le nombre total de classes de la base d'apprentissage, on définit :
Figure imgf000009_0002
où :
- nc est le nombre d'images de la personne correspondant à la classe c et contenues dans la base d'apprentissage,
A 1 - — Λ
- Xc=-∑Xιr et
- X1=P7X1 est un vecteur de taille k correspondant' à l'image X1 projetée dans la base P selon l'équation (1) ci-avant.
On indique alors que maximiser le critère selon la relation (5) revient à choisir la matrice P de la manière suivante :
P= (8)
Figure imgf000010_0001
ou :
- Sb est la matrice de covariance inter-classes de 'la base
1 C d ' apprentissage telle que Sb = -Y nc(Xc - X)(XC -Xf ( 9 ) ,
et
- et Sw est la matrice de covariance intra-classes telle
que : Sw =-∑∑ [(X1 -F)(JtT1 ~Ycf ] ( 10) . n 7 c-Z\ lec
Les colonnes de P contiennent les k vecteurs propres de la matrice Sw -1Sb associés aux k plus grandes vecteurs propres, où Sw -1 est l'inverse de Sw .
En règle générale, la dimension des vecteurs d'entrée est beaucoup plus importante que le nombre d'exemples acquis dans la base d'apprentissage {1-m » n) . La matrice Sw est alors singulière et non-inversible.
On peut alors effectuer l'ADL dans une base, déterminée préalablement par application de la méthode ACP, la dimension de cette base étant inférieure au nombre d'exemples de la base d'apprentissage. Cette approche est désignée ci-après par le sigle "ACP+ADL" .
Le nombre de composantes à retenir, appelées "visages de Fisher" (pour "Fisherfaces" dans l'art antérieur), peut être déterminé ensuite de la même manière que pour l'ACP décrite ci-avant. La classification est effectuée après projection orthogonale dans l'espace des visages de Fisher, de la même manière que pour l'ACP.
Suite aux nombreuses études comparatives entre l'ACP et l'ADL de l'art antérieur, il est de principe que si l'on considère une base d'apprentissage de taille suffisante et suffisamment représentative, l'ADL donne de meilleurs résultats que l'ACP et permet surtout de mieux gérer les différences d' illumination dans les prises de vue des visages, les différences d'expressions faciales et de pose.
Très récemment, on a proposé une autre méthode basée sur une ACP "bidimensionnelle", dans :
"Two-dimensions PCA : A New Approach to Appearance-Based Face Représentation and Récognition",• J. Yang, D. Zhang, A.F. Frangi et J.Y. Yang, dans IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, n°l, Janvier 2004.
On décrit ci-après cette méthode.
On construit un modèle à partir de l'ensemble des images de la base d'apprentissage stockées sous la forme de matrices de pixels comptant 1 lignes et m colonnes. Plus particulièrement, on cherche k vecteurs
Figure imgf000012_0001
orthonormés de longueur m, tels que la projection de la base d'apprentissage sur cette base de vecteurs assure un maximum de variance de la base d'apprentissage. La projection d'une image X de taille 2 x m sur la matrice P de taille m x k est donnée par la relation linéaire suivante, où X est une matrice de taille 1 x k :
X=XP '(11)
Le critère à maximiser est le suivant :
J{P)=trace(Sp) (12)
Sp désigne la matrice de covariance (dite "bidimensionnelle" par opposition à un vecteur unicolonne) des n vecteurs des images projetées de la base d'apprentissage sur la base vectorielle P. Si l'on considère :
- que Xj est la matrice de taille 1 x m de la fme image de la base d'apprentissage,
- que X7 = JST1-P eSt la matrice de taille 1 x k proj etée de X1 par P selon l' équation ( 11 ) ci-avant , et ~ 1-Λ - - que X=-y X- est la matrice moyenne projetée (de taille
"M
1 x k) de la base d'apprentissage sur P,
on obtient (13)
Figure imgf000013_0001
On montre que le critère selon la relation (12) est équivalent à :
J(P)=P1SP (14)
Dans cette expression, S est la matrice de covariance des colonnes des images et elle est calculée comme suit :
Figure imgf000013_0002
1 II où X=-Y1X, est une matrice moyenne, de taille 1 x m, des » w n images de la base d'apprentissage.
Le critère à maximiser selon la relation (14) est appelé "critère de dispersion totale généralisé" . Comme pour l'ACP, les k vecteurs [P1,..,P*] à retenir sont les vecteurs propres de la matrice 5 correspondant aux plus grandes valeurs propres. On note
Figure imgf000013_0003
la matrice de projection au sens de la relation (11) . La projection de l'image X1 par P est notée
Figure imgf000013_0004
est le vecteur de longueur 2 (projection de l'image X1 sur le vecteur PJ ) .
Le nombre k de composantes à retenir peut être déterminé de la même manière que pour l'ACP, vue ci-avant. Comme précédemment, la comparaison entre deux visages s'effectue dans l'espace projeté. Ici, la projection d'une image sur P ne donne plus un vecteur, mais une matrice. On utilise donc ici une mesure de similarité entre matrices X1 de taille lxk. La distance entre les matrices X1 et Xt peut être la suivante :
Figure imgf000014_0001
L'ACP bidimensionnelle, menée avec un nombre de composantes k très faible, donne de meilleurs résultats que l'ACP classique, sur les mêmes bases "YaIe Face DataBase B", "ORL" et "AR", qui sont parmi les bases de visages les plus connues.
Comme indiqué ci-avant, de nombreuses méthodes de réduction de dimensions ayant pourtant été proposées dans l'art antérieur, le désavantage majeur des méthodes ACP et ADL réside dans le fait que la taille m-1 des vecteurs de la base d'apprentissage est généralement très grande, ce qui conduit à :
- un nombre excessif de calculs lors de la classification ;
- des difficultés lors de l'évaluation des matrices de covariance S, Sb et Sw ; - la non-inversibilité de la matrice Sw .
Dans le cadre de L'ADL, pour contourner ce problème, on effectue généralement deux projections au lieu d'une seule, en combinant les méthodes ACP et ADL (traitement dit "ACP+ADL") . Toutefois, cette approche augmente considérablement la complexité de l'ADL. De plus; le choix de combinaisons linéaires des composantes principales en tant que composantes discriminantes, d'une part,' n'est pas justifié et, d'autre part, il manque de rigueur.
L'ACP bidimensionnelle, même si elle ne présente pas cet inconvénient et si elle garantit une conservation optimale de la variance globale de la base d'apprentissage projetée, ne permet pas de distinguer des variations entre classes et des variations à l'intérieur des classes. Comme la méthode de l'ACP, cette technique est très adaptée à la reconstruction d'images de visages après compression par réduction de dimension. Cependant, comme pour l'ACP, elle n'assure pas forcément une bonne' discrimination entre classes .
La présente invention vient améliorer la situation.
Un but de l'invention est de garantir une meilleure discrimination entre les classes de la base d'apprentissage.
Un autre but de l'invention est d'apporter une réduction des calculs et de l'espace mémoire nécessaire au stockage du modèle construit pour pouvoir classifier les images, par rapport aux méthodes discriminantes usuelles telles que l'ADL.
Elle propose à cet effet un procédé de reconnaissance de visages dans des images numériques, par traitements statistiques, dans lequel on prévoit une base d'apprentissage contenant des images de visages, cette base d'apprentissage étant hiérarchisée en une pluralité de classes comportant chacune des prises de vue différentes d'une même personne.
Dans le procédé au sens de l'invention, les images sont représentées par des matrices dont les coefficients sont des valeurs de pixels. Le procédé comporte alors un prétraitement de la base d'apprentissage dans lequel :
- on forme, à partir de ces matrices, un système matriciel représentatif d'une variance entre classes différentes et de l'inverse d'une variance dans chacune des classes, et - on détermine, à partir de ce système matriciel, une base vectorielle comportant des composantes discriminantes de la base d'apprentissage, en visant conjointement une minimisation de la variance dans chacune des classes et une maximisation de la variance entre classes différentes.
Selon l'un des avantages que procure la présente invention, le procédé est plus robuste aux changements d'expressions faciales que la technique basée sur 1ΑCP2D de l'art antérieur et sa mise en œuvre nécessite beaucoup moins de taille mémoire et de capacité de calculs que la technique ADL classique.
Dans une réalisation préférée, le prétraitement de la base d'apprentissage comporte les étapes suivantes : - on estime un visage moyen de tous les visages de la base d'apprentissage ;
- on estime un visage moyen pour chacune des classes ;
- on calcule : * une première matrice, de covariance intra-classes, correspondant à la moyenne des matrices de l'écart au carré entre chaque image de la base d'apprentissage et le visage moyen de sa classe, et
* une seconde matrice, de covariance inter-classes, correspondant à la moyenne des matrices de l'écart au carré entre le visage moyen de chaque classe et le visage moyen de la base1 d'apprentissage ;
- on détermine le système propre d'un produit de matrices formé par la multiplication de la seconde matrice par l'inverse de la première matrice ;
- et on sélectionne des vecteurs propres du système propre précité en tant que composantes discriminantes de la base d'apprentissage.
Pour réduire la dimension de la base vectorielle, on sélectionne avantageusement les vecteurs propres associés à un nombre limité, choisi, de plus grandes valeurs propres.
Dans une autre forme de réalisation, le procédé objet de l'invention comporte une étape préalable à la formation du système matriciel précité et consistant à appliquer une transposition des matrices représentant les images de la base d'apprentissage. On indique que cette variante mène à des composantes discriminantes notées "2D-lignes", tandis que la succession des étapes plus haut, sans la l'
transposition des matrices, mène à des composantes discriminantes notées ci-après "2D-colonnes" . Cette distinction sera explicitée de façon plus détaillée plus loin.
Avantageusement, le procédé peut comporter un traitement ultérieur de classification d'une image de visage à reconnaître, comportant les étapes suivantes :
- on constitue une matrice d'identification comportant des vecteurs obtenus par la projection de l'image du visage à reconnaître sur ladite base vectorielle,
- on constitue une matrice de référence comportant des vecteurs obtenus par la projection d'une image de référence sur ladite base vectorielle, et - on compare la matrice d'identification à la matrice de référence, selon un critère de distance choisi.
Typiquement, cette projection s'effectue par multiplication de la matrice associée au visage à reconnaître et/ou de la matrice associée à un visage de référence, par chacun des vecteurs propres sélectionnés.
Dans une première réalisation, le critère de distance comporte l'évaluation d'une somme des distances entre les colonnes correspondantes des matrices d'identification et de référence. Cette distance peut être donnée par la relation (16) ci-avant mais appliquée dans le cadre de invention.
En variante, le critère de distance est fixé entre la matrice d'indentification et la moyenne projetée de chaque classe de la base d'apprentissage, en tant que matrice de référence. Cette distance est estimée préférentiellement par la relation (24), donnée et commentée plus loin. Ici, on peut donc définir une image de référence comme étant l'image moyenne d'une classe.
L'image de référence peut au contraire être une image réelle directement tirée de la base d'apprentissage. Dans ce cas, une application possible est le déclenchement d'une alarme d'un système de surveillance si la comparaison entre un visage à reconnaître et un ou plusieurs visages de référence appartenant à la base d'apprentissage présente une distance supérieure à un seuil.
Dans une autre variante, l'image de référence n'appartient pas à la base d'apprentissage mais elle est tirée d'une prise de vue précédente. Dans ce cas, une application possible peut consister à savoir combien de fois apparaît une personne sur une séquence vidéo, une image précédente de cette personne étant alors l'image de référence.
Le procédé au sens de l'invention peut comporter avantageusement une étape supplémentaire de reconstruction des images de visages, après une compression des données d'image par réduction de dimension, puisque le choix d'un nombre limité de composantes discriminantes (ou de vecteurs propres comme indiqué ci-avant) permet cette réduction de dimension. l'
La présente invention peut être mise en œuvre par une station de travail informatique pilotée par le déroulement d'un logiciel (ou "produit programme d'ordinateur") approprié. A ce titre, la présente invention vise un tel produit programme d'ordinateur, destiné à être stocké dans une mémoire d'une unité de traitement, ou sur un support mémoire amovible et destiné à coopérer avec un lecteur de ladite unité de traitement. Ce programme comporte alors des instructions pour la mise en œuvre de tout ou partie des étapes du procédé ci-avant.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci- après, et des dessins annexés sur lesquels : - la figure 1 illustre schématiquement les principales étapes du procédé au sens de l'invention,
- la figure 2 représente des extraits d'une base générale de visages distribuée en ligne par Intelligent Multimedia Laboratory, - la figure 3 représente des extraits de la base d'apprentissage (a) et des extraits de la base de test (b) , ces bases étant utilisées pour tester la robustesse à la pose,
- la figure 4 représente des extraits de la base d'apprentissage (a) et de la base de test (b) pour tester la robustesse aux expressions faciales, les expressions faciales non-neutres étant aléatoirement réparties dans la base de test (deux images par classe) et dans la base d'apprentissage (deux images par classe), tandis qu'une expression faciale neutre par classe a été introduite dans la base d'apprentissage, l'
- la figure 5 représente les taux de reconnaissance de visages de la base des poses décrite ci-après, pour l'ADL classique, avec deux critères de distance, la distance L2 (carrés) usuelle entre les vecteurs des images projetées et une autre distance L2-moyCl (triangles) donnée par la relation L2 entre le vecteur de l'image projetée à identifier et le vecteur moyen des images projetées d'une classe d'images;
- la figure 6 représente les taux de reconnaissance de visages de la base des poses, avec utilisation du procédé au sens de l'invention, pour :
* l'ADL2D-Colonnes, avec comme critère de distance, la distance L2 (carrés) donnée par la relation (16) ci- avant, * ADL2D-Colonnes, avec comme critère de distance, la distance L2-moyCl (triangles) donnée par la' relation (24) ci-après,
* 1 'ADL2D-Lignes, avec comme critère de distance, la distance L2-ITiOyCl (disques) donnée par la relation (24) ci-après,
- la figure 7 représente des variations CMC (pour "Cumulative Match Characteristic") , comparées, de l'ADL classique (pointillés) pour un critère de distance L2 entre les vecteurs des images projetées et de 1ΑDL2D au sens de l'invention (traits pleins) pour un critère de distance L2 donné par la relation (16) ci-avant et pour la base des poses,
- la figure 8 représente les taux de reconnaissance de visages de la base des poses, pour 1ΑCP2D de l'art antérieur (losanges) et pour 1ΑDL2D au sens de l'
l'invention (carrés), avec le même critère de distance L2 donné par la relation (16) ci-avant,
- la figure 9 représente les taux de reconnaissance de visages de la base des poses, pour 1ΑCP2D . de l'art antérieur (losanges) et pour 1ΑDL2D au sens de l'invention (carrés), avec le même critère de distance L2-moyCl donné par la relation (24) ci-après,
- la figure 10 représente des variations CMC comparées de 1ΑCP2D de l'art antérieur (pointillés) et de 1ΑDL2D au sens de l'invention (traits pleins) pour un critère de distance L2 donné par la relation (16) ci-avant, pour la base des poses,
- la figure 11 illustre les reconstructions au sens de l'invention d'images de la base des poses, avec deux composantes discriminantes 2D-colonnes (a) , avec trois composantes discriminantes 2D-colonnes (b) et avec vingt composantes discriminantes 2D-colonnes (c) ,
- la figure 12 représente les taux de reconnaissance de visages de la base des expressions décrite plus loin, pour ADL classique avec le critère de distance L2 entre vecteurs des images projetées (carrés), et avec le critère de distance L2-HiOyCl donné par la distance L2 entre le vecteur de l'image projetée à reconnaître et le vecteur moyen des images d'une même classe (triangles) ,
- la figure 13 représente les taux de reconnaissance de visages de la base des expressions, avec utilisation du procédé au sens de l'invention, pour :
* l'ADL2D-Colonnes, avec comme critère de distance, la distance L2 (carrés) donnée par la relation (16) ci- avant, l'
* 1 'ADL2D-Colonnes, avec comme critère de distance, la distance L2-moyCl (triangles) donnée par la relation (24) ci-après,
* l'ADL2D-Lignes, avec comme critère de distance, la distance L2 (disques) donnée par la relation (16) ci- avant,
* et l'ADL2D-Lignes, avec comme critère de distance, la distance, L2-moyCl (losanges), donnée par la relation (24) ci-après, - la figure 14 représente des variations CMC comparées de l'ADL classique (pointillés) pour un critère de distance L2 usuel entre vecteurs des images projetées et de 1ΑDL2D au sens de l'invention (traits pleins) pour un critère de distance L2 donné par la relation (16) ci- avant et pour la base des expressions,
- la figure 15 représente les taux de reconnaissance de visages de la base des expressions, pour l'ADL2D-Lig'nes (carrés) et 1ΑCP2D (losanges) de l'art antérieur, avec comme critère de distance, la distance L2 donnée par la relation (16) ci-avant,
- la figure 16 représente les taux de reconnaissance de visages de la base des expressions, pour ADL2D-Lignes (carrés) et 1ΑCP2D (losanges) de l'art antérieur, avec comme critère de distance, la distance L2-HiOyCl donnée par la relation (24) ci-après,
- la figure 17 représente des variations CMC comparées de 1ΑCP2D de l'art antérieur (pointillés) et de 1ΑDL2D- lignes au sens de l'invention (traits pleins) pour un critère de distance L2 donné par la relation (16) ci- avant et pour la base des expressions, - la figure 18 représente un exemple de classification d'une image (a) de visage :
* par 1ΑCP2D de l'art antérieur (image (c) ) ,
* par l'ADL2D-lignes au sens de l'invention (image (b.l)), deux autres images de la base d'apprentissage (b.2) .et (b.3) étant représentées en outre,
- la figure 19 représente une reconstruction au sens de l'invention des images de la base des expressions de la figure 4 (a) , avec :
* trois composantes discriminantes 2D-colonnes (19 (a)), * quatre composantes discriminantes 2D-colonn.es (19 (b) ) et
* vingt composantes discriminantes 2D-colonnes (19 (c)), - et la figure 20 représente schématiquement un dispositif tel qu'une station de travail informatique pour la mise en œuvre du procédé au sens de la présente invention.
Une réalisation préférée de la présente invention vise un procédé basé sur une méthode statistique supervisée, nommée ci-après "Analyse Discriminante Linéaire Bidimensionnelle" (ou "ADL2D") .
I/ADL2D peut se présenter sous deux formes : l'ADL2D-colonnes et l'ADL2D-lignes. On peut éventuellement combiner ces deux méthodes pour recouper les informations et/ou comparer les résultats qu'elles donnent chacune. En se référant à la figure 1, l'ADL2D-colonnes consiste en un procédé comportant préférentiellement les étapes principales ci-après.
• Pour la construction du modèle (cadre A de la figure 1) ,
- on dispose (étape 11) d'une base d'apprentissage BA contenant des images de visages sous forme de matrices bidimensionnelles, avec des valeurs de coefficients de matrice correspondant préférentiellement à des niveaux de gris dans les images. La base d'apprentissage BA contient plusieurs vues de chacune des personnes (comme indiqué ci-avant, l'ensemble des images représentant une même personne constitue une classe) ;
- on calcule (étape 12) le visage moyen de tous les visages de la base d'apprentissage ;
- on calcule (étape 13) un visage moyen pour chacune des classes CLi ;
- on calcule (étape 14) une matrice carrée de covariance intra-classes 2D-colonnes (notée COV(intra-CL) ) correspondant à la moyenne des matrices de l'écart au carré entre chaque image de la base d'apprentissage et le visage moyen de sa classe ;
- on calcule (étape 15) la matrice carrée de covariance inter-classes 2D-colonnes (notée COV(inter-CL) ) correspondant à la moyenne des matrices de l'écart au carré entre le visage moyen de chaque classe et le visage moyen de la base d'apprentissage ;
- on effectue une inversion de la matrice de covariance intra-classes 2D-colonnes ; - on effectue une multiplication de la matrice inter¬ classes 2D-colonnes par cette matrice inversée ; - on détermine (étape 16) le système propre de ce produit de matrices (noté SYS) ;
- on détermine (étape 17) les vecteurs propres EIGEN(V) associés préférentiellement aux plus grandes valeurs propres en tant que composantes discriminantes 2D-colonnes.
Ces vecteurs constituent une base de vecteurs qui sera utilisée lors de la classification décrite ci-après.
On indique qu'une variante de l'étape de multiplication de matrices consiste à calculer plutôt le produit de l'inverse de la matrice de covariance intra-classes 2D-colonnes par la matrice inter-classes 2D-colonnes. On calcule ensuite le système propre de ce produit de matrices comme précédemment.
• Pour la classification (cadre B de la figure 1) :
- on mène (étape 18) une projection de l'image du visage à reconnaître sur cette base (typiquement par multiplication de la matrice du visage à reconnaître par chacun des vecteurs propres), les vecteurs ainsi obtenus étant regroupés pour constituer une matrice associée à cette image de visage ; - cette matrice est comparée (étape 19) à la matrice d'une image représentant un visage de référence, calculée de la même manière. On indique que le visage de référence peut typiquement appartenir à la base d'apprentissage. La comparaison entre les deux matrices est effectuée à l'aide d'une somme des distances L∑ entre les colonnes correspondantes de ces deux matrices.
L'ADL2D-lignes consiste en un procédé équivalent, mais effectué à partir des matrices transposées des images 2D de visages. Ici encore, on évalue un produit matriciel faisant intervenir des matrices de covariance intra- classes et inter-classes pour former un système de composantes discriminantes notées "2D-lignes" .
Le procédé général de traitement peut, avantageusement mais non nécessairement, se conclure par une étape 20 de reconstruction des visages après réduction de dimension
(cadre C de la figure 1) . On indique d'ailleurs que le procédé au sens de l'invention et basé sur 1ΑDL2D décrite ci-avant peut être mis en œuvre non seulement pour la reconnaissance de visages, mais aussi pour une représentation des visages avec peu de données. Dans cette seconde application du procédé au sens de l'invention, on peut parler de "compression de données d'images de visages" . Cette réalisation sera décrite en détail plus loin.
Bien entendu, les étapes de calcul formel de 1ΑDL2D ne sont données que grossièrement sur la figure 1 et dans ses commentaires ci-avant.
On décrit maintenant ces étapes de façon plus détaillée. On indique que les notations employées ci-après sont alors différentes de celles qui apparaissent sur la figure 1. L'Analyse Discriminante Linéaire Bidimensionnelle est utilisée comme un outil statistique de classification de données. Comme pour 1ΑCP2D décrit ci-avant, les images de la base d'apprentissage sont représentées sous la forme de matrices réelles de taille 1 X m. On cherche les k vecteurs P de taille m maximisant le critère selon la relation :
Figure imgf000028_0001
où : . - Sζ est la matrice de covariance intra-classes de la base d'apprentissage projetée sur P selon la relation (11),
Figure imgf000028_0002
- Sj? est la matrice de covariance inter-classes de la base d'apprentissage projetée sur P selon la relation (11),
soit Sb p=-Ync(Xc-X)τ(Xc-X) (19),
- nc étant le nombre d'images de la classe c,
- χc=-∑χ,r
- X1=X1P , et
— 1 n
- x-^x' On notera que X1, Xe et X sont des matrices de taille IXk.
On indique que maximiser le critère selon la relation (17) revient à trouver l'ensemble des composantes P réalisant conjointement la maximisation de la variance inter-classes et la minimisation de la variance intra-classes . Intuitivement, on comprendra que la discrimination entre classes projetées peut être importante. On montre que :
Sζ = PτSwP et Sb p = PτSbP ( 20 ) où :
Figure imgf000029_0001
avec Ïc =-Yl, et ï = -f l, .
On rappelle que X1 , X et Xe sont des matrices de taille
1 x m.
On nomme la matrice Sw (respectivement la matrice S6), de taille m x in, "matrice de covariance intra-classes 2D-colonnes" (respectivement "matrice de covariance inter¬ classes 2D-colonnes") .
Maximiser le critère selon la relation (17) revient donc à trouver les vecteurs P maximisant le ratio :
Figure imgf000029_0002
II s'agit alors des vecteurs propres associés à la matrice Sy ~xSb correspondant aux plus grandes valeurs propres.
Si l'on suppose que le nombre 1 de lignes des images de la base d'apprentissages est inférieur au nombre n d'exemples présents dans la base d'apprentissage {n»l) , ce qui correspond à une condition qui est généralement vérifiée, la matrice Sw est inversible. Par conséquent, le recours à une première réduction de dimension, telle que mise en œuvre dans la méthode ACP+ADL décrite ci-avant, est inutile ici.
Cette première forme de mise en œuvre de l'invention est appelée "Analyse Discriminante Linéaire Bidimensionnelle Colonnes" (ou "ADL2D-Colonnes") .
Une fois le modèle construit (suite aux étapes 11 à 17 ci- avant) , on dispose donc d'une base
Figure imgf000030_0001
de k vecteurs propres de dimensions m, permettant une bonne discrimination des classes de la base d'apprentissage par projection dans cette base. Ces vecteurs seront appelés "vecteurs discriminants 2D-colonnes".
On indique qu'en variante, l'Analyse Discriminante
Linéaire Bidimensionnelle, au sens de l'invention, peut aussi se faire à partir des matrices-images transposées de la base d'apprentissage. Pour toute image X1 de taille
Ixm, on considère un nouveau mode de projection sur la base de vecteurs
Figure imgf000030_0002
qui est maintenant de taille lxk et la définition de la projection selon la relation (11) est remplacée par : X1=XjP (22)
Le critère de maximisation se base toujours sur la relation (17) mais la définition de X1 change ici. Xe et
X sont maintenant des matrices de taille mxk. Sw et Sh sont dorénavant calculées comme suit : -X)(T -Jf (23)
Figure imgf000031_0001
On nomme cette nouvelle matrice Sw (respectivement Sb ) , de taille 1x1, "matrice de covariance intra-classes 2D-lignes" (respectivement "matrice de covariance inter¬ classes 2D-lignes") .
Le procédé se poursuit comme décrit ci-avant. On peut considérer que le nombre m de colonnes des images de la base d'apprentissage est supposé inférieur au nombre n d'exemples présents dans la base d'apprentissage
{m»n) . La matrice Sw est donc inversible. La construction de ce nouveau modèle conduit donc à la détermination d'une base P= [P1 J115P4J de k vecteurs de dimensions 1, permettant une bonne discrimination des classes de 'la base d'apprentissage par projection dans cette base. Ces vecteurs sont appelés "vecteurs discriminants 2D-lignes".
Ce dernier mode de mise en œuvre de l'Analyse Discriminante Linéaire Bidimensionnelle est nommé "Analyse Discriminante Linéaire Bidimensionnelle Lignes" (ou "ADL2D-Lignes") .
Le procédé général (utilisant une ADL2D-Lignes ou une
ADL2D-Colonnes) se poursuit par une classification des visages de la base d'apprentissage (cadre B de la figure 1) .
On présente ici la classification pour l'ADL2D-Colonnes . Toutefois, la transposition à l'ADL2D-Lignes s'en déduit naturellement, en remplaçant la projection selon la relation (11) par la projection selon la relation (22) .
La matrice de chaque image X1 de la base d'apprentissage est projetée dans la base
Figure imgf000032_0001
au sens de la relation (11) pour obtenir une matrice X1 par image, de taille 1 x k, correspondant intuitivement à la position de l'image X1 dans la base P des composantes discriminantes 2D-Colonnes. Pour comparer deux images de visages X1 et X1 dans cette base, les deux matrices X1 et
Xt doivent être comparées. A cet effet, deux mesures de similarité sont prévues :
- la distance donnée par la relation (16) désignée par la suite sous le nom de "distance L2 colonnes". Cette distance permet de définir la similarité entre deux images de visages et peut donc être utilisée dans le cadre d'authentification comme dans le cadre d'identification ; et
- une distance entre une image de visage à reconnaître X1 et la moyenne de chaque classe c de la base d'apprentissage, donnée par la relation :
Figure imgf000032_0002
où X1 ≈XtPJ est la projection de l'image X1 sur la composante discriminante 2D-colonne PJ et
XCJ =—∑X,J est un vecteur de taille m.
"c isc En effet, 1ΑDL2D, au contraire de l'ACP, est une méthode supervisée. On connaît donc les classes d'appartenance des images de la base d'apprentissage. Dans le cadre d'une authentification utilisant 1ΑDL2D, on peut donc définir une distance plus appropriée que la distance L2 colonnes, comme celle donnée par l'expression (24) précédente.
L'image de visage à reconnaître X1 sera par la suite considéré comme appartenant à la classe la plus proche au sens de la distance selon la formule (24), ou encore à la même classe d'appartenance que l'image la plus proche, suivant la distance L2 colonnes.
On indique que le choix du nombre de composantes discriminantes 2D à retenir peut se faire exactement de la même manière que dans le cadre d'une ACP ou d'une ADL classique, telles que décrites notamment dans : "Analyzing PCA-based Face Récognition Algorithme: Eigenvector Sélection and Distance Measures", W. S. Yambor, B. Draper, et R. Beveridge, 2nd Workshop on Empirical Evaluation in Computer Vision, 2000.
La reconstruction des visages (cadre C de la figure 1) , effectuée facultativement après la réduction de dimension, peut être menée comme suit.
Selon une propriété de 1ΑDL2D, la projection X1 de l'image X1 et les composantes discriminantes 2D correspondantes [P1,..,/**] (lignes ou colonnes) peuvent être combinées pour reconstruire une image de visage dans l'l'l'l'
l'espace SHf-ÏT initial. Les vecteurs propres [p1,..,/1*] étant orthonormaux, la reconstruction X] de l'image X1 est donnée simplement par la relation suivante, en utilisant 1'ADL2D-colonnes: X]=X1PP7 =X1P7 (25)
La reconstruction à partir de ADL2D-lignes se ferait selon l'équation :
Figure imgf000034_0001
avec les notat ons appropriées de ADL2D-lignes.
On décrit ci-après un mode particulier de réalisation, avec une application à authentification. On construit à cet effet une base d'apprentissage, ainsi qu'une base de test, contenant des visages à reconnaître.
La base de Intelligent Multimedia Laboratory (IML), téléchargeable sur le site http://nova.postech.ac.kr/ a été choisie.
On a représenté sur la figure 2 un échantillon de cette base de visages. La base contient des images en couleurs de cent sept personnes, dont cinquante six hommes et cinquante et une femmes. Chaque personne est représentée par dix sept vues :
- une vue frontale sous des conditions d'illumination relativement neutre,
- quatre vues correspondant à des variations d'illumination, - huit vues sous différentes pose, et - quatre vues pour différentes expressions faciales.
La base présente des variations d'échelle. Des occultations telles qu'un port de lunettes, un port de couvre-chef, ou autres, y sont aussi représentées.
Les tests menés utilisent deux sous-ensembles de cette base IML. Le premier sous-ensemble permet d'illustrer la robustesse des méthodes évaluées à la pose (appelé par la suite la "base des poses") . Le deuxième sous-ensemble permet d' illustrer la robustesse des méthodes évaluées à l'expression faciale (appelé par la suite "base des expressions") .
Pour tester la robustesse à la pose, on utilise une base d'apprentissage composée de cinq cent trente cinq images de visages (cinq vues par classe) , selon des poses différentes mais proches de la pose frontale. La base de test, elle, est composée quatre cent vingt huit images (quatre vues par personne) , sous des poses plus accentuées. Un extrait de la base d'apprentissage et de la base de test est donné en figure 3. L'expression faciale est neutre et les conditions de luminosité sont très semblables à l'intérieur de chaque classe. On observe peu de changements de luminosité entre les différentes classes.
Pour tester la robustesse du procédé aux expressions faciales, on a utilisé une base d'apprentissage composée de trois cent vingt et une images de visages (trois vues frontales par personne) . Une vue représente une expression faciale neutre, les deux autres sont choisies au hasard parmi les quatre expressions faciales proposées dans la base. La base de test, quant à elle, est composée deux cent quatorze images (deux vues par personne) , représentant les expressions faciales restantes.
Un extrait de la base d'apprentissage et de la base de test est donné en figure 4. La pose est frontale et les conditions de luminosité sont similaires à l'intérieur d'une même classe. On observe peu de changements de luminosité entre les différentes classes. Toutefois, il n'y a aucun recoupement entre les images de la base de test et les images de la base d'apprentissage.
Toutes les images de la base d'apprentissage, comme celles de la base de test, ont été prétraitées de manière à ce que les images soient préférentiellement de taille 150x130 pixels, avec une distance de 70 pixels entre deux centres de pupilles. L'œil droit et le coin en haut à gauche de l'image sont situés à une distance de 30 pixels selon l'axe des abscisses et de 45 pixels selon l'axe des ordonnées. Les images, initialement en couleurs, sont simplement transformées en images de luminance, à niveaux de gris, sans aucun autre prétraitement.
Les variables considérées sont des images numériques, se présentant donc comme des variables bidimensionnelles discrètes. Les images traitées sont par exemple échantillonnées sur une grille discrète de 150 lignes et 130 colonnes et de valeurs dans l'espace de luminance réel compris entre 0 et 255. On décrit maintenant la construction du modèle d'ADL2D- colonnes. A partir des images de la base d'apprentissage stockées sous la forme de matrices de 150 x 130 pixels, on calcule les matrices de covariances Sw et Sb données par la relation (23) . On calcule en particulier le système propre de S^1S1, à l'aide d'une décomposition en valeurs singulières. On obtient ainsi la matrice P≈JPV-JP j des composantes discriminantes 2D-colonnes. On en déduit par projection en appliquant la relation (11) les projections
X1 des visages de la base d'apprentissage selon la matrice
P1 que l'on garde en mémoire pour la phase suivante de reconnaissance.
Pour la reconnaissance des visages de la base de test, tous les visages X1 de la base de test sont projetés dans l'espace P des composantes discriminantes 2D-colonnes en appliquant l'équation (11), pour obtenir les matrices Xt .
On rappelle que toutes les personnes dont une image est dans la base de test sont aussi représentées au travers d'images différentes dans la base d'apprentissage.
L'image de test sera simplement assignée à la classe c la plus proche selon le critère de distance choisi. Les mesures de similarité sont données par la distance L2 colonnes de la relation (16) et par l'autre estimation de distance donnée par la relation (24) . L'affectation à une classe et la reconstruction des visages se font comme décrit ci-avant.
Une fois les visages reconstruits, ils peuvent être visualisés sous la forme d'images de taille 150x130 pixels.
Dans ce qui suit, on présente une comparaison des résultats expérimentaux entre : - la mise en œuvre de 1ΑDL2D au sens de l'invention,
- une mise en œuvre classique de l'ADL au sens de l'art antérieur : "Eigenfaces vs. Fisherfaces: Récognition Using Class Spécifie Linear Projection", P. Belhumeur, J. Hespanha et D. Kriegman, Spécial Thème Issue on Face and Gesture Récognition of the IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(7), pages 711-
720, Juillet 1997,
- et une mise en œuvre classique de 1ΑCP2D au sens de l'art antérieur : "Two-dimensions PCA : A New Approach to Appearance-Based Face Représentation and Récognition", J. Yang, D. Zhang, A.F. Frangi et J.Y. Yang, dans IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, n°l, Janvier 2004.
Pour tester la robustesse à la pose, les résultats de 1ΑDL2D au sens de l'invention sont comparés aux résultats de l'ADL classique, calculés selon la combinaison de méthode ACP+ADL. Pour déterminer le nombre de composantes principales à partir desquelles on doit construire l'ADL, la méthode ACP a d'abord été menée dans la base des poses. Avec plus de 200 composantes principales, les taux de reconnaissance déclinent substantiellement. Il a donc été choisi de retenir 200 composantes principales pour construire l'ADL classique.
Les distances utilisées pour la classification sont une simple distance L2 vecteur à vecteur (désignée par «L2» ci-après) , ainsi qu'une distance L2 vecteur à moyenne arithmétique des vecteurs projetés de chaque classe (désignée par «Z2moyCl ») .
La figure 5 représente les taux de reconnaissance obtenus par l'ADL, comparés pour ces deux distances. En abscisse, on fait évoluer le nombre de composantes discriminantes retenues. Le modèle est construit par traitement combiné ACP+ADL à partir de 200 composantes principales. Le meilleur taux de reconnaissance (93,7%) est atteint pour la distance L2 avec 40 composantes discriminantes de 19500 pixels chacune.
La figure 6 présente les taux de reconnaissance de 1ΑDL2D, à la fois de 1ΑDL2D colonnes et de 1ΑDL2D lignes. Les distances comparés sont les distances L2 de la relation (16) (désignée par «L2») et les distances selon la relation (24) (désignée par «L2 moyCl ») . En abscisse, on retrouve le nombre k de composantes discriminantes 2D lignes ou colonnes retenues. On peut remarquer que :
- la distance L2 moyCl donne ici de meilleurs résultats que la distance L2 pour 1ΑDL2D colonnes ;
- l'ADL2D-lignes donne ici de moins bons résultats que l'ADL2D-colonnes pour un faible nombre de composantes, l'l'
- mais ADL2D-lignes donne de meilleurs résultats que ADL2D-colonnes pour un nombre de composantes supérieur à 15 ;
- l'ADL2D-colonnes donne de meilleurs taux de reconnaissance que I7ADL avec beaucoup moins de composantes.
Le meilleur taux de reconnaissance de 1ΑDL2D pour la distance L2 est de 94,4% et est atteint avec seulement 8 composantes. Pour la distance L2 moyCl, le meilleur taux de reconnaissance est de 95,8% et est atteint avec seulement 13 composantes .
Comme représenté en figure 5, avec 40 composantes discriminantes, l'ADL L2 atteint son meilleur taux de reconnaissance, qui est de 93,7%, soit 2,1% de moins que
1ΑDL2D à son maximum. De plus, la taille des composantes discriminantes est de 130x150 = 19500 pixels, tandis que la taille des composantes discriminantes 2D-colonnes est de 130 « 19500.
Ainsi, l'ADL2D-colonnes donne sensiblement de meilleurs résultats que l'ADL classique, et surtout avec un espace mémoire nécessaire pour le stockage du modèle bien moindre.
Ci-après, lorsqu'il sera fait allusion à 1ΑDL2D, on comprendra qu'il s'agit de l'ADL2D-colonnes. La figure 7 donne les variations dites "Cumulative Match Characteristic" (CMC) de 1ΑDL2D L2 à 8 composantes discriminantes 2D-colonnes et de l'ADL L2 à 40 composantes, discriminantes. En particulier, on indique qu'une variation CMC permet de donner les taux de reconnaissance à différents rangs, en ce sens qu'un visage a bien été reconnu au rang n si une image appartenant à la bonne classe est la nιeme plus proche au sens de la distance L2 , après projection. L'axe des abscisses indique donc le rang n, tandis que l'axe des ordonnées indique les taux de reconnaissance cumulés des rangs inférieurs ou égaux au rang n. Cette figure 7 montre sans ambiguïté que les taux de reconnaissance de 1ΑDL2D sont non seulement meilleurs au rang 1, comme indiqué ci-avant en référence aux figures 5 et 6, mais aussi aux rangs supérieurs. L/ADL2D donne donc de meilleurs résultats que l'ADL avec une moyenne de pratiquement 1% de taux de reconnaissance en plus, sur les deux premiers rangs. En outre, en plus de donner de meilleurs résultats, 1ΑDL2D est beaucoup moins coûteuse en termes de capacité de traitement. Ici, on compte 8 composantes discriminantes 2D-colonnes de 130 pixels contre 40 composantes discriminantes de 19500 pixels pour la méthode classique.
Les figures 5, 6 et 7 montrent que 1ΑDL2D donne de meilleurs résultats sur la base des poses que l'ADL classique, tant au premier rang (comparaison des figures 5 et 6), qu'à des rangs plus élevés (figure 7) . On comprendra ainsi que 1ΑDL2D est plus robuste aux changements de pose que l'ADL classique. En se référant maintenant à la figure 8, on compare maintenant les résultats de 1ΑDL2D et de 1ΑCP2D de l'art antérieur. La figure 8 donne les taux de reconnaissance comparés de 1ΑDL2D et de 1ΑCP2D en fonction du nombre de composantes retenues, avec une classification par distance L2. Pour tout nombre de composantes k fixé entre 1 et 15, 1ΑDL2D donne de meilleurs résultats que 1ΑCP2D. Les composantes de 1ΑCP2D et de 1ΑDL2D comptent toutes deux 130 pixels. Le meilleur taux de reconnaissance pour 1ΑCP2D (92,3%) est atteint avec 8 composantes de 130 pixels chacune, et est inférieur de "2,1% au meilleur taux de reconnaissance de 1ΑDL2D, obtenu aussi avec 8 composantes .
La figure 9 donne les taux de reconnaissance comparés de 1ΑDL2D et de 1ΑCP2D en fonction du nombre de composantes retenues, avec une classification par distance L2 moyCl. A tout nombre de composantes k fixé entre 1 et 15, 1ΑDL2D donne de meilleurs résultats que 1ΑCP2D. Les composantes de 1ΑCP2D et de 1ΑDL2D comptent 130 pixels. Le meilleur taux de reconnaissance pour 1ΑCP2D (94,4%) est atteint avec 9 composantes de 130 pixels chacune, et est inférieur de 1,4% au meilleur taux de reconnaissance de 1ΑDL2D, obtenu avec 13 composantes.
La figure 10 donne les variations CMC comparées de 1ΑDL2D et de 1ΑCP2D avec une distance L2. Les deux variations
CMC ont été calculées à partir de 8 composantes. LΑDL2D donne de bien meilleurs résultats que l'ADL avec en moyenne un taux de reconnaissance de 2,1% plus élevée sur les deux premiers rangs .
Les figures 8, 9 et 10 montrent que 1ΑDL2D donne de meilleurs taux de reconnaissance que 1ΑCP2D, aussi bien au rang 1 pour un même nombre de composantes retenues allant de 1 à 15 (figures 8 et 9) qu'à des rangs plus élevés (figure 10) . I/ADL2D est donc plus robuste aux changements de pose que 1ΑCP2D.
Sur la figure 11, on a représenté les reconstructions des images montrées en figure 3. On constate qu'à partir de trois composantes seulement, apparaissent déjà les caractéristiques faciales (yeux, nez, bouche) , sans toutefois pouvoir distinguer les poses. On remarquera aussi que l'on obtient déjà une reconstruction satisfaisante de l'image initiale avec 20 composantes.
On compare maintenant les résultats de 1ΑDL2D à ceux de l'ADL classique et à ceux de 1ΑCP2D pour tester la robustesse aux changements d'expressions faciales. Les traitements sont appliqués à la "base des expressions" définie ci-avant.
La figure 12 donne les taux de reconnaissance de l'ADL classique. Les distances testées sont la distance L2 et la distance L2 moyCl. Le modèle est construit par un traitement ACP+ADL avec 200 composantes principales. Le nombre de composantes principales à retenir a été déterminé de la même manière que précédemment. Le meilleur taux de reconnaissance (60,7%) est atteint pour la l'
distance L2 moyCl avec 60 composantes discriminantes de 19500 pixels chacune. Le meilleur taux de reconnaissance pour la distance L2 (57,5%) est atteint avec 30 composantes discriminantes de 19500 pixels chacune.
La figure 13 donne les taux de reconnaissance de 1ΑDL2D lignes et colonnes avec les distances L2 et L2 moyCl. On s'aperçoit que, différemment des résultats obtenus sur la base destinée à tester la robustesse aux changements de pose, 1ΑDL2D lignes donne ici de meilleurs résultats que 1ΑDL2D colonnes.
On s'aperçoit surtout que 1ΑDL2D lignes donne une classification très différente de ADL2D colonnes. En particulier, les erreurs de ces deux méthodes ne sont pas systématiquement commises sur les mêmes images. 'Même en cas d'erreurs commises par les deux méthodes sur une même image, l'identité assignée n'est pas systématiquement la même. Les bases de composantes discriminantes 2D-lignes et 2D-colonnes paraissent donc très différentes. Toutefois, les deux méthodes offrent de bons résultats sur les deux bases testées. Comme indiqué ci-avant, une éventuelle fusion et/ou un recoupement des résultats obtenus par les deux méthodes ADL2D-lignes et ADL2D-colonnes peuvent être prévus.
La comparaison des figures 12 et 13 montre, comme précédemment, que 1ΑDL2D permet d'obtenir de meilleurs résultats que l'ADL classique avec un nombre beaucoup plus faible de composantes. Les meilleurs taux de reconnaissance sont obtenus pour 30 composantes l'
discriminantes pour l'ADL classique, contre 6 pour l'ADL2D-lignes, alors que les composantes pour 1ΑDL2D- lignes sont de taille bien moindre (150«19500) .
La figure 14 donne des variations CMC comparées de l'ADL classique et de 1ΑDL2D. Les variations CMC sont construites avec 5 composantes de 150 pixels chacune pour 1ΑDL2D lignes et 30 composantes discriminantes de 19500 pixels chacun pour l'ADL. On voit ici que les taux de reconnaissance obtenus par ADL2D lignes est meilleur non seulement au rang 1 mais aussi à des rangs plus élevés. A des rangs faibles, on s'aperçoit que 1ΑDL2D est beaucoup plus performante que l'ADL classique. Le taux de reconnaissance est en effet supérieur de 11,95% en moyenne sur les sept premiers rangs.
Les figures 12, 13 et 14 montrent que 1ΑDL2D donne de meilleurs résultats sur la base des expressions que l'ADL classique, tant au premier rang (comparaison des figures 12 et 13), qu'à des rangs plus élevés (figure 14) . LΑDL2D est plus robuste aux changements d' expressions faciales que l'ADL classique.
On compare maintenant les résultats de 1ΑDL2D et de 1ΑCP2D de l'art antérieur. La figure 15 donne les taux de reconnaissance comparés de 1ΑDL2D et de 1ΑCP2D en fonction du nombre de composantes retenues, avec une classification par distance L2. Pour tout nombre de composantes k fixé allant de 1 à 11, ADL2D-lignes donne de meilleurs résultats que 1ΑCP2D. Le meilleur taux de reconnaissance de 1ΑCP2D (61,2%) est atteint pour 18 l'
composantes. Globalement, l'ADL2D-lignes donne de bien meilleurs résultats avec moins de composantes. L'amélioration des performances (jusqu'à 19,7% d'écart à 6 composantes) ainsi que le plus faible nombre de composantes nécessaires compense largement le fait que les composantes discriminantes 2D-lignes comprennent 150 pixels alors que les composantes de 1ΑCP2D ne comptent que 130 pixels.
La figure 16 donne les taux de reconnaissance comparés de 1ΑDL2D et de 1ΑCP2D en fonction du nombre de composantes retenues, avec une classification par distance L2 moyCl . Pour un nombre de composantes k fixé allant de 1 à 15, 1ΑDL2D lignes donne de bien meilleurs résultats que 1ΑCP2D. Le meilleur taux de reconnaissance de 1ΑCP2D
(65,9%) est atteint pour 19 composantes. Globalement,
1ΑDL2D lignes donne de bien meilleurs résultats avec moins de composantes. Le taux de reconnaissance de 73,4% est atteint avec seulement 6 composantes. L'amélioration des performances et le nombre plus faible de composantes nécessaires compense largement le fait que les composantes discriminantes 2D-lignes comprennent 150 pixels alors que les composantes de 1ΑCP2D ne comptent* que 130 pixels.
La figure 17 donne les variations CMC comparées de 1ΑDL2D lignes L2 et de 1ΑCP2D L2. La variation CMC de 1ΑDL2D- ligne-s est construite avec 5 composantes discriminantes 2D-lignes. La variation CMC de 1ΑCP2D est construite avec 18 composantes. Pour des rangs faibles, ADL2D-lignes apporte une grande amélioration par rapport aux résultats de 1ΑCP2D (en moyenne 11,4 % d'amélioration aux deux premiers rangs) .
Les figures 15, 16 et 17 montrent que 1ΑDL2D . donne de meilleurs taux de reconnaissance que 1ΑCP2D, aussi bien au rang 1 pour un même nombre de composantes retenues allant de 1 à 15 (figures 15 et 16) qu'à des rangs plus élevés (figure 17) .
On se réfère maintenant à la figure 18 pour décrire un exemple concret de classification. LΑCP2D, avec 18 composantes (offrant les meilleurs taux de reconnaissance) et une distance L2, classe mal le visage représenté en figure 18 (a) . Les trois images de la base d'apprentissage correspondant à cette même personne sont représentées en figures 18(b.l), 18 (b.2) et 18 (b.3) . Au lieu de l'un de ces trois visages, 1ΑCP2D donne le visage représenté en figure 18 (c) comme étant le plus proche de l'image du visage à reconnaître.
Ces deux personnes sont différentes mais arborent cependant la même expression faciale. L'ADL2D-lignes à 5 composantes, quant à elle, assigne à l'image de visage de test donné en figure 18 (a) l'image de visage donné en figure 18(b.l) . Le visage est donc bien reconnu par L'-ADL2D.
D'autres tests ont montré que dans le cadre de 1ΑCP2D avec 18 composantes, ce type d'erreur arrive 63 fois sur 93 erreurs en tout (214 visages dans la base de tests) . Ce type d'erreurs représente donc 67,74% des erreurs de classification commises par 1ΑCP2D. Il ne reste que 30 erreurs qui ne sont pas dues à une séparation en fonction de l'expression faciale.
Dans le cadre de 1ΑDL2D lignes et avec 5 composantes, ce type d'erreur arrive 31 fois sur 59 erreurs en tout (214 visages dans la base de test) . Ce type d'erreurs représente donc seulement 52,54% des erreurs de classification commises par 1ΑDL2D, soit 25,20% de moins que 1ΑCP2D. Il reste 28 erreurs qui ne sont pas dues à une séparation en fonction de l'expression faciale. Le nombre d'erreurs résiduelles (qui ne sont pas dues à cette confusion entre expression faciale et identité) est donc sensiblement le même que pour 1ΑCP2D. On peut donc considérer que le meilleur taux de reconnaissance de 1ΑDL2D (11,2% d'amélioration par rapport à 1ΑCP2D) provient directement de la réduction de ce type d'erreurs dues aux expressions faciales.
LΑCP2D paraît donc trop influencée par les variations intra-classes, par rapport à 1ΑDL2D au sens de l'invention. Dans 1ΑCP2D qui maximise la covariance totale sans distinguer la covariance inter-classes de la covariance intra-classes, les groupements d'images en sous-espaces s'effectueraient non pas en fonction de l'identité, mais de l'expression faciale, ce qui mène à une mauvaise séparation des classes.
LΑDL2D, effectuant conjointement la minimisation de la variance intra-classes et la maximisation de la variance inter-classes, est donc plus robuste aux changements d'expressions faciales que 1ΑCP2D.
On a représenté en figure 19 les reconstructions des images montrées en figure 4. Avec la quatrième composante, apparaissent les caractéristiques faciales (yeux, nez, bouche) . Avec plus de composantes (typiquement 20 composantes ou plus) , on peut atteindre une reconstruction visuellement satisfaisante des visages initiaux.
Ainsi, 1 'ADL bidimensionnelle, offrant une classification satisfaisante par réduction de dimensions, allie le pouvoir discriminant de l'ADL classique et le gain en calculs de 1ΑCP2D. En outre, par rapport à ces deux méthodes, 1ΑDL2D est plus robuste aux changements de pose et d'expressions faciales qui sont deux enjeux majeurs de la reconnaissance de visages.
Sur la figure 20, on a représenté un dispositif informatique pour la mise en œuvre de la présente invention, équipé par exemple de moyens de visualisation tels qu'un écran ECR, d'organes de saisie (clavier CLA, souris SOU, ou autres), d'une unité centrale UC munie d'un processeur PROC, d'une mémoire vive RAM, d'une mémoire morte MEM, d'une carte graphique CG reliée aux moyens de visualisation ECR, et de moyens de communication COM (tels qu'un modem) par exemple avec un serveur SER, via un réseau de communication (par exemple le réseau Internet) , pour recevoir, le cas échéant des images de visages à reconnaître et/ou pour transmettre des images reconstruites. On indique en particulier que la mémoire MEM du dispositif est agencée pour stocker au moins :
- les images d'une ou plusieurs bases d'apprentissage, sous forme de données numériques,
- et les instructions d'un produit programme d'ordinateur pour la mise en œuvre de tout ou partie des étapes du procédé au sens de l'invention, tandis que le processeur PROC est capable de coopérer avec cette mémoire MEM pour traiter les images de la base d'apprentissage et/ou des images de référence, ainsi que des images à reconnaître et à comparer ensuite aux images de la base d'apprentissage et/ou aux images de référence.
En variante, le dispositif comporte un lecteur LEC d'un support mémoire amovible (CD-ROM, ZIP, clé USB, ou autre) propre à stocker le produit programme et/ou la base d'apprentissage.

Claims

Revendications
1. Procédé de reconnaissance de visages dans des images numériques, par traitements statistiques, dans lequel on prévoit (11) une base d'apprentissage (BA) contenant des images de visages, cette base d'apprentissage étant hiérarchisée en une pluralité de classes comportant chacune des prises de vue différentes d'une même personne, caractérisé en ce que lesdites images sont représentées par des matrices dont les coefficients sont des valeurs de pixels, et en ce que le procédé comporte un prétraitement de la base d'apprentissage dans lequel :
- on forme, à partir desdites matrices, un système matriciel représentatif d'une variance entre classes différentes (15) et de l'inverse d'une variance dans chacune des classes (14), et
- on détermine, à partir dudit système matriciel, une base vectorielle (17) comportant des composantes discriminantes de ladite base d'apprentissage, en visant conjointement une minimisation de la variance dans chacune des classes et une maximisation de la variance entre classes différentes.
2. Procédé selon la revendication 1, caractérisé en ce que le prétraitement de la base d'apprentissage comporte les étapes suivantes :
- on estime (12) un visage moyen de tous les visages de la base d'apprentissage ; - on estime (13) un visage moyen pour chacune des classes (CLi) ; - on calcule ( 14 , 15 ) :
* une première matrice, de covariance intra-classes, correspondant à la moyenne des matrices de l'écart au carré entre chaque image de la base d'apprentissage et le visage moyen de sa classe, et
* une seconde matrice, de covariance inter-classes, correspondant à la moyenne des matrices de l'écart au carré entre le visage moyen de chaque classe et le visage moyen de la base d'apprentissage ; - on détermine (16) le système propre (SYS) d'un produit de matrices formé par la multiplication de la seconde matrice par l'inverse de la première matrice ;
- et on sélectionne (17) des vecteurs propres (EIGEN(V)) dudit système propre en tant que composantes discriminantes de la base d'apprentissage.
3. Procédé selon la revendication 2, caractérisé en ce que l'on sélectionne les vecteurs propres associés à un nombre choisi de plus grandes valeurs propres.
4. Procédé selon l'une des revendications précédentes, caractérisé en ce que lesdites valeurs de pixels des matrices bidimensionnelles correspondent à des niveaux de gris.
5. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comporte une étape préalable (ADL2D-lignes) à la formation dudit système matriciel et consistant à appliquer une transposition des matrices représentant les images de la base d'apprentissage.
6. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comporte un traitement ultérieur de classification d'une image de visage à reconnaître, comportant les étapes suivantes : - on constitue (18) une matrice d'identification comportant des vecteurs obtenus par la projection 'de l'image du visage à reconnaître sur ladite base vectorielle,
- on constitue une matrice de référence comportant des vecteurs obtenus par la projection d'une image de référence sur ladite base vectorielle,
- on compare (19) la matrice d'identification à la matrice de référence, selon un critère de distance choisi.
7. Procédé selon la revendication 6, prise en combinaison avec la revendication 2, caractérisé en ce que ladite projection s'effectue par multiplication de la matrice associée au visage à reconnaître et/ou de la matrice associée à un visage de référence, par chacun des vecteurs propres sélectionnés.
8. Procédé selon l'une des revendications 6 et 7, caractérisé en ce que le critère de distance comporte l'évaluation d'une somme des distances [L2) entre les colonnes correspondantes des matrices d'identification et de référence.
9. Procédé selon la revendication 8, caractérisé en ce que ladite (d) distance est évaluée à partir de la relation :
Figure imgf000054_0001
où :
- X1 est la matrice d'identification résultant de la projection, - X1 est la matrice de référence résultant de la projection,
- le sigle (M)τ désigne la transposée de la matrice M,
- k vise un nombre de composantes discriminantes retenues, - et le sigle X1 =X1P1 désigne la projection d'une matrice X1 sur la composante discriminante PJ de la base vectorielle.
10. Procédé selon l'une des revendications 6 et 7, caractérisé en ce que le critère de distance est fixé entre la matrice d'indentification et la moyenne projetée de chaque classe de la base d'apprentissage, en tant que matrice de référence .
11. Procédé selon la revendication 10, caractérisé en ce que ladite distance est donnée par la relation :
Figure imgf000054_0002
où le sigle X/ =XtPJ désigne la projection d'une matrice X1 sur la composante discriminante P3 de la base vectorielle,
et XCJ =—∑X,J est un vecteur moyenne de taille m.
Yl
12. Procédé selon l'une des revendications 6 à 9, caractérisé en ce que l'image de référence est obtenue de la base d'apprentissage.
13. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comporte une étape (20) de reconstruction des images de visages, après une compression des données d'image par réduction de dimension.
14. Procédé selon la revendication 13, caractérisé en ce que la reconstruction X\ d'une image X1 est donnée par la relation : Xl=X1PP1"=X,PT où le sigle X1 =XιP désigne la' projection de la matrice X1 sur la base vectorielle représentée par la matrice P et le sigle Pτ désigne la transposée de la matrice P.
15. Procédé selon la revendication 13, prise en combinaison avec la revendication 5, caractérisé en ce que la reconstruction X\ d'une image X1 est donnée par la relation :
Xl=PP7X1 =PXi τ où le sigle X1 =P X1 désigne la projection de la matrice X1 sur la base vectorielle représentée par la matrice Pτ et le sigle Pτ désigne la transposée de la matrice P.
16. Produit programme d'ordinateur, destiné à être stocké dans une mémoire (MEM) d'une unité de traitement (UC) , ou sur un support mémoire amovible et destiné à coopérer avec un lecteur (LEC) de ladite unité de traitement, caractérisé en ce qu'il comporte des instructions pour la mise en œuvre de tout ou partie des étapes du procédé selon l'une des revendications précédentes.
PCT/FR2004/001395 2004-06-04 2004-06-04 Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle Ceased WO2006003270A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/FR2004/001395 WO2006003270A1 (fr) 2004-06-04 2004-06-04 Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle
US11/628,321 US7856123B2 (en) 2004-06-04 2004-06-04 Method for recognising faces by means of a two-dimensional linear discriminant analysis
EP04767263A EP1751689A1 (fr) 2004-06-04 2004-06-04 Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FR2004/001395 WO2006003270A1 (fr) 2004-06-04 2004-06-04 Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle

Publications (1)

Publication Number Publication Date
WO2006003270A1 true WO2006003270A1 (fr) 2006-01-12

Family

ID=34958394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/001395 Ceased WO2006003270A1 (fr) 2004-06-04 2004-06-04 Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle

Country Status (3)

Country Link
US (1) US7856123B2 (fr)
EP (1) EP1751689A1 (fr)
WO (1) WO2006003270A1 (fr)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951756A (zh) * 2015-06-08 2015-09-30 浙江科技学院 一种基于压缩感知的人脸识别方法
CN109815990A (zh) * 2018-12-28 2019-05-28 天津大学 基于中心化权重的主成分分析系统
CN111652021A (zh) * 2019-04-30 2020-09-11 上海铼锶信息技术有限公司 一种基于bp神经网络的人脸识别方法及系统
CN115830678A (zh) * 2022-11-28 2023-03-21 浙江大华技术股份有限公司 表情特征提取方法、表情识别方法和电子设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840060B2 (en) * 2006-06-12 2010-11-23 D&S Consultants, Inc. System and method for machine learning using a similarity inverse matrix
US7936906B2 (en) * 2007-06-15 2011-05-03 Microsoft Corporation Face recognition using discriminatively trained orthogonal tensor projections
US8077994B2 (en) * 2008-06-06 2011-12-13 Microsoft Corporation Compression of MQDF classifier using flexible sub-vector grouping
US7996343B2 (en) * 2008-09-30 2011-08-09 Microsoft Corporation Classification via semi-riemannian spaces
US20110183764A1 (en) * 2010-01-20 2011-07-28 Gregg Franklin Eargle Game process with mode of competition based on facial similarities
JP5900052B2 (ja) * 2012-03-15 2016-04-06 オムロン株式会社 登録判定装置、その制御方法および制御プログラム、並びに電子機器
CN102831389B (zh) * 2012-06-28 2015-03-11 北京工业大学 基于判别分量分析的人脸表情识别算法
US8879805B2 (en) * 2012-09-12 2014-11-04 Academia Sinica Automated image identification method
US20140341443A1 (en) * 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
CN103514445B (zh) * 2013-10-15 2016-09-14 武汉科技大学 基于多流形学习的带钢表面缺陷识别方法
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
CN103942545A (zh) * 2014-05-07 2014-07-23 中国标准化研究院 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN103942572A (zh) * 2014-05-07 2014-07-23 中国标准化研究院 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
WO2016011204A1 (fr) * 2014-07-15 2016-01-21 Face Checks Llc Système et procédé de reconnaissance faciale à base d'algorithmes multiples avec partitionnement d'ensemble de données optimal pour un environnement en nuage
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2016119076A1 (fr) * 2015-01-27 2016-08-04 Xiaoou Tang Procédé et système de reconnaissance faciale
CN106803054B (zh) * 2015-11-26 2019-04-23 腾讯科技（深圳）有限公司 人脸模型矩阵训练方法和装置
CN111259780B (zh) * 2020-01-14 2022-06-24 南京审计大学 一种基于分块线性重构鉴别分析的单样本人脸识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BELHUMEUR P N ET AL: "EIGENFACES VS. FISHERFACES: RECOGNITION USING CLASS SPECIFIC LINEAR PROJECTION", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE INC. NEW YORK, US, vol. 19, no. 7, July 1997 (1997-07-01), pages 711 - 720, XP000698170, ISSN: 0162-8828 *
KE LIU ET AL: "Algebraic feature extraction for image recognition based on an optimal discriminant criterion", PATTERN RECOGNITION UK, vol. 26, no. 6, 1993, pages 903 - 911, XP008040298, ISSN: 0031-3203 *
M. LI & B. YUAN: "A novel statistical linear discriminant analysis for image matrix: Two-dimensional fisherfaces", 7TH INT. CONF. ON SIGNAL PROCESSING PROC. ICSP'04, vol. 2, 31 August 2004 (2004-08-31), pages 1419 - 1422, XP008040329 *
SIROVICH L ET AL: "LOW-DIMENSIONAL PROCEDURE FOR THE CHARACTERIZATION OF HUMAN FACES", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA - A, OPTICAL SOCIETY OF AMERICA, WASHINGTON, US, vol. 4, no. 3, 1 March 1987 (1987-03-01), pages 519 - 524, XP000522491, ISSN: 1084-7529 *
TURK M ET AL: "EIGENFACES FOR RECOGNITION", JOURNAL OF COGNITIVE NEUROSCIENCE, CAMBRIDGE, MA, US, vol. 3, no. 1, January 1991 (1991-01-01), pages 71 - 86, XP000490270 *
YANG J ET AL: "TWO-DIMENSIONAL PCA: A NEW APPROACH TO APPEARANCE-BASED FACE REPRESENTATION AND RECOGNITION", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE INC. NEW YORK, US, vol. 26, no. 1, January 2004 (2004-01-01), pages 131 - 137, XP001185863, ISSN: 0162-8828 *
YANG J ET AL: "UNCORRELATED PROJECTION DISCRIMINANT ANALYSIS AND ITS APPLICATION TO FACE IMAGE FEATURE EXTRACTION", INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, WORLD SCIENTIFIC PUBLISHING COMPAGNY, SINGAPORE, SI, vol. 17, no. 8, December 2003 (2003-12-01), pages 1325 - 1347, XP001186868, ISSN: 0218-0014 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951756A (zh) * 2015-06-08 2015-09-30 浙江科技学院 一种基于压缩感知的人脸识别方法
CN109815990A (zh) * 2018-12-28 2019-05-28 天津大学 基于中心化权重的主成分分析系统
CN109815990B (zh) * 2018-12-28 2023-06-30 天津大学 基于中心化权重的主成分分析系统
CN111652021A (zh) * 2019-04-30 2020-09-11 上海铼锶信息技术有限公司 一种基于bp神经网络的人脸识别方法及系统
CN111652021B (zh) * 2019-04-30 2023-06-02 上海铼锶信息技术有限公司 一种基于bp神经网络的人脸识别方法及系统
CN115830678A (zh) * 2022-11-28 2023-03-21 浙江大华技术股份有限公司 表情特征提取方法、表情识别方法和电子设备

Also Published As

Publication number Publication date
EP1751689A1 (fr) 2007-02-14
US20080014563A1 (en) 2008-01-17
US7856123B2 (en) 2010-12-21

Similar Documents

Publication Publication Date Title
EP1751689A1 (fr) Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle
Nishiyama et al. Facial deblur inference using subspace analysis for recognition of blurred faces
Rao et al. Learning discriminative aggregation network for video-based face recognition and person re-identification
EP3640843B1 (fr) Procédé d'extraction de caractéristiques d'une empreinte digitale représentée par une image d'entrée
WO2006103240A1 (fr) Procédé d'identification de visages à partir d'images de visage, dispositif et programme d'ordinateur correspondants
Li et al. Vehicle and person re-identification with support neighbor loss
EP3655893A1 (fr) Systeme d'apprentissage machine pour diverses applications informatiques
Chokkadi et al. A Study on various state of the art of the Art Face Recognition System using Deep Learning Techniques
EP3018615B1 (fr) Procede de comparaison de donnees ameliore
Vignesh et al. Face image quality assessment for face selection in surveillance video using convolutional neural networks
EP3582141B1 (fr) Procédé d'apprentissage de paramètres d'un réseau de neurones à convolution
CN112633221B (zh) 一种人脸方向的检测方法及相关装置
Mansourifar et al. One-shot gan generated fake face detection
EP4099228A1 (fr) Apprentissage automatique sans annotation ameliore par regroupements adaptatifs en ensemble ouvert de classes
Juefei-Xu et al. Facial ethnic appearance synthesis
Mukhopadhyay et al. Real time facial expression and emotion recognition using eigen faces, LBPH and fisher algorithms
FR3103045A1 (fr) Procédé d’augmentation d’une base d’images d’apprentissage représentant une empreinte sur un arrière-plan au moyen d’un réseau antagoniste génératif
Wu et al. Heterogeneous feature selection by group lasso with logistic regression
Praveenbalaji et al. ID photo verification by face recognition
Knoche et al. Susceptibility to image resolution in face recognition and trainings strategies
FR3112008A1 (fr) Procédé de détection d’au moins un trait biométrique visible sur une image d’entrée au moyen d’un réseau de neurones à convolution
EP2804175A1 (fr) Procédé de reconnaissance vocale visuelle par suivi des déformations locales d'un ensemble de points d'intérêt de la bouche du locuteur
EP3825915A1 (fr) Procede de classification d'une empreinte biometrique representee par une image d'entree
Yifrach et al. Improved nuisance attribute projection for face recognition
CN111353353A (zh) 跨姿态的人脸识别方法及装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 11628321

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2004767263

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004767263

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11628321

Country of ref document: US