[go: up one dir, main page]

WO2018012136A1 - メイクアップ支援装置およびメイクアップ支援方法 - Google Patents

メイクアップ支援装置およびメイクアップ支援方法 Download PDF

Info

Publication number
WO2018012136A1
WO2018012136A1 PCT/JP2017/020453 JP2017020453W WO2018012136A1 WO 2018012136 A1 WO2018012136 A1 WO 2018012136A1 JP 2017020453 W JP2017020453 W JP 2017020453W WO 2018012136 A1 WO2018012136 A1 WO 2018012136A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
image
face
face image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/020453
Other languages
English (en)
French (fr)
Inventor
千枝 西
理惠子 浅井
さち子 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018527432A priority Critical patent/JP6956389B2/ja
Priority to EP17827269.6A priority patent/EP3485762A4/en
Priority to CN201780037788.5A priority patent/CN109310196B/zh
Publication of WO2018012136A1 publication Critical patent/WO2018012136A1/ja
Priority to US16/209,075 priority patent/US10799010B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to a makeup support apparatus and a makeup support method for supporting user makeup.
  • make-up For example, after a user has applied a make-up (hereinafter referred to as “make-up”) to a face by a store clerk at a cosmetics department, etc., and the user tries to apply that make-up on his / her face again, it may not be reproduced well. is there. Further, for example, when the user visits the cosmetics department again and asks a store clerk different from the store clerk to apply the makeup, reproduction may not be successful.
  • make-up part image examples include an image showing a makeup item such as eye shadow or cheek.
  • a store terminal provided in a cosmetics department or the like generates a simulation image indicating makeup recommended by a store clerk and transmits the simulation image to a user terminal such as a smartphone.
  • a user terminal such as a smartphone.
  • the makeup part image is created by drawing various makeup items on each face part (for example, eyebrows, eyelids, cheeks, lips, etc.) in the model face image.
  • various makeup items on each face part for example, eyebrows, eyelids, cheeks, lips, etc.
  • the features of all the facial parts are the same between the user's face and the model's face.
  • the makeup part image is deformed and displayed according to the feature of the user's facial part.
  • the simulation image shows an unnatural makeup in which the entire face is not harmonized.
  • one aspect of the present disclosure provides a makeup support apparatus that can present a user with natural makeup in which the entire face is harmonized.
  • the makeup support apparatus of the present disclosure includes a user face image, a target face image in which a makeup item having a predetermined shape and a predetermined color is defined for each face part, and a comparison of the target face image with a part of the face part.
  • An image acquisition unit that acquires an arrangement face image in which makeup items having different features and having a predetermined shape and a predetermined color are determined for each face part, a facial feature amount extracted from a user face image, and a target face image If the difference value with the facial feature amount extracted from the threshold value is less than or equal to the threshold value, the makeup item for each face part determined in the target face image is adopted, and if the difference value is greater than the threshold value, Adopts the makeup item defined in the arrange face image, and for other facial parts, the image determination unit adopts the makeup item defined in the target face image Has generated a makeup procedure information presenting procedure for using makeup items that have been adopted in the user, the information generation unit to be output to a predetermined device.
  • natural makeup in which the entire face is harmonized can be presented to the user.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a makeup support system and a makeup support apparatus according to the present disclosure 7 is a flowchart illustrating an example of the overall operation of the makeup support apparatus according to the present disclosure.
  • the figure which shows an example of the makeup parts image table which concerns on this indication 7 is a flowchart showing an example of the flow of makeup part image determination processing of the makeup support apparatus according to the present disclosure.
  • the figure explaining the specific example of the feature-value comparison process which concerns on this indication The figure which shows the example of a display of the makeup
  • the flowchart which shows an example of the flow of the arrangement data generation process which concerns on this indication The figure explaining the specific example of the feature-value comparison process which concerns on this indication
  • the figure explaining the specific example of the feature-value comparison process which concerns on this indication The figure explaining the specific example of the feature-value comparison process which concerns on
  • a professional makeup artist or the like uses various makeup items (for example, eyebrows, eyelids, cheeks, lips, etc.) for each facial part (for example, eyebrows, eyelids, cheeks, lips). , Eyebrow, eyeshadow, teak, lipstick, etc.).
  • the makeup part image created in this way is selected by a user or a store clerk such as a cosmetic sales floor in the makeup simulation system, and is displayed superimposed on the face image of the user.
  • the makeup simulation system transforms the selected makeup part image according to the feature of the user's facial part. indicate. As a result, a simulation image showing an unnatural makeup in which the entire face is not harmonized is displayed.
  • FIG. 1 is a block diagram illustrating an example of a makeup support system and a makeup support device.
  • the makeup support system 1 shown in FIG. 1 is disposed in, for example, a factory, a cosmetic sales store, a beauty salon, a medical institution, a makeup room for dressing up, an event venue, and a private house.
  • the makeup support system 1 includes a makeup support apparatus 100, an imaging apparatus 200, a display apparatus 300, an operation apparatus 400, a storage apparatus 500, and a terminal apparatus 600.
  • the makeup support device 100 is a device that supports the makeup of the user, and is disposed in, for example, a factory, a cosmetics store, a beauty salon, a medical institution, a makeup room for dressing up, an event venue, and a private home.
  • Makeup support apparatus 100 may be a stationary apparatus or a portable apparatus that can be easily carried. The configuration of makeup support apparatus 100 will be described later.
  • the imaging device 200 captures the face in front of the user.
  • the face to be photographed is, for example, a face that has not been subjected to makeup.
  • a still image obtained by photographing the front face of the user who has not been applied is referred to as a “user face image”.
  • the imaging apparatus 200 outputs the user face image to the makeup support apparatus 100.
  • Display device 300 displays a user face image on which a makeup part image is superimposed, a target face image on which a makeup part image is superimposed, or the like.
  • a makeup part image is an image representing the shape and color of a makeup item.
  • makeup items include eyebrow, eyeshadow, eyeline, mascara, teak, and lipstick.
  • the target face image is a still image obtained by photographing the front face of the model selected by the user as the “face that wants to be” without makeup.
  • the model is not limited to a professional model, and may be a general person, for example.
  • target face images a plurality of still images obtained by photographing front faces of a plurality of models may be stored in the storage device 500 in advance.
  • a still image serving as a target face image may be acquired through the imaging device 200 or a network and stored in the storage device 500.
  • post-makeup user face image the user face image on which the makeup part image is superimposed
  • target face image on which the makeup part image is superimposed is referred to as “post-makeup target face image”.
  • the post-makeup user face image may be rephrased as a “simulation image”.
  • the operation device 400 accepts various operations by the user (for example, selection operation of a post-make target face image described later) and notifies the makeup support device 100 of the contents of the operation.
  • the storage device 500 is provided in a server device (not shown) on the network, for example, and stores various information.
  • the storage device 500 stores a makeup parts image table (details will be described later, see FIG. 3).
  • the storage device 500 stores makeup procedure information (details will be described later) for each user (user identification information).
  • the storage device 500 stores a plurality of target face images and a plurality of post-make target face images. These post-makeup target face images may be stored in advance in the storage device 500, or may be acquired and stored through a network or the like.
  • the terminal device 600 is, for example, a user terminal such as a smartphone or a tablet that is used by a user.
  • the terminal device 600 can communicate with the makeup support device 100.
  • the imaging device 200, the display device 300, the operation device 400, and the storage device 500 may be provided in the makeup support device 100.
  • the makeup support apparatus 100 includes an image acquisition unit 101, an image analysis unit 102, an image determination unit 103, and an information generation unit 104.
  • makeup support apparatus 100 includes, for example, a CPU (Central Processing Unit), a storage medium such as ROM (Read Only Memory) storing a control program, a working memory such as RAM (Random Access Memory), And a communication circuit.
  • a CPU Central Processing Unit
  • storage medium such as ROM (Read Only Memory) storing a control program
  • working memory such as RAM (Random Access Memory)
  • communication circuit In this case, the function of each unit shown in FIG. 1 is realized by the CPU executing the control program.
  • the image acquisition unit 101 acquires a user face image from the imaging device 200, stores the user face image in the storage device 500, and outputs the user face image to the image analysis unit 102.
  • the user face image stored in the storage device 500 is associated with user identification information.
  • the image analysis unit 102 Upon receiving the user face image from the image acquisition unit 101, the image analysis unit 102 extracts a face feature amount from the user face image. For example, the image analysis unit 102 extracts a plurality of facial feature points (see FIGS. 5, 9, and 10), and based on the facial feature points, facial parts (for example, eyes, eyelids, cheeks, nose, lips) , Forehead, chin, etc.). For example, the image analysis unit 102 extracts the color of the user's hair, skin, pupils, and lips.
  • a known classification method, pattern recognition method, clustering method, and optimization method can be employed as the facial feature point extraction method and the facial part extraction method.
  • Known classification methods include, for example, decision tree analysis, neural networks (including deep learning), and naive Bayes.
  • Known pattern recognition methods include, for example, neural networks (including deep learning) and support vector machines (SVM).
  • Known clustering methods include, for example, k-Nearest Neighbor (k-NN, k-neighbor method), k-means, and hierarchical clustering.
  • a known optimization method includes, for example, a genetic algorithm.
  • the image analysis unit 102 outputs face feature information indicating the extracted face feature amount to the image determination unit 103.
  • the face feature information includes, for example, contents such as the shape and position (face feature point) of each extracted facial part, hair, skin, pupil, and lip color (RGB, luminance).
  • the image determination unit 103 Upon receiving the face feature information from the image analysis unit 102, the image determination unit 103 stores the face feature information in the storage device 500 in association with the user identification information.
  • the image determination unit 103 acquires a plurality of post-make target face images from the storage device 500 and causes the display device 300 to display them. Details of processing in the image determination unit 103 will be described later with reference to FIG.
  • the user performs an operation (selection operation of a post-make target face image) to select a desired one from a plurality of post-make target face images displayed as options. For example, the user selects a post-makeup target face image that matches the makeup image desired by the user.
  • the post-makeup target face image displayed as an option may be an image in which a makeup part image is superimposed on a model face image, or may be an image of a photograph of a model face that has been actually applied. .
  • the user can manually select a post-make target face image that is close to the desired image from the list of post-make target face images.
  • the image determination unit 103 performs a makeup part image determination process when the operation device 400 accepts a selection operation of the target face image after makeup by the user.
  • the makeup part image determination process includes each of the target face images after makeup selected by the user and at least one arrange face image (details will be described later) associated with the target face image after makeup. This is a process for determining a makeup part image (make item). The makeup part image determination process will be described later with reference to FIGS.
  • the image determination unit 103 determines each makeup part image determined by the makeup part image determination process, information on the name of the makeup item corresponding to each makeup part image (hereinafter referred to as “item name information”), and each makeup item. Determination information including information (hereinafter referred to as “make-up technique information”) on the usage method (for example, the usage order of each makeup item, the application method of each makeup item to the skin, etc.) is output to the information generation unit 104.
  • the makeup technique information includes, for example, information indicating the writing pressure of a brush, information indicating the application direction, information indicating the degree of blurring, information indicating a comment of the creator of the makeup part image (drawer of the makeup item), and the like. May be included.
  • the information generation unit 104 Upon receiving the determination result information from the image determination unit 103, the information generation unit 104 generates makeup procedure information based on the determination result information and the user face image acquired from the storage device 500, and outputs the makeup procedure information to the terminal device 600. .
  • the makeup procedure information includes contents for presenting the user with a procedure for using the makeup item shown in each makeup part image. Details of the makeup procedure information will be described later.
  • FIG. 2 is a flowchart showing an example of the overall operation of makeup support apparatus 100.
  • step S101 the image acquisition unit 101 acquires a user face image from the imaging device 200. Then, the image acquisition unit 101 outputs the user face image to the image analysis unit 102. In addition, the image acquisition unit 101 stores the user face image in the storage device 500 in association with the user identification information.
  • step S102 the image analysis unit 102 extracts a facial feature amount from the user face image received from the image acquisition unit 101. Then, the image analysis unit 102 outputs face feature information indicating the extracted face feature amount to the image determination unit 103.
  • step S103 the image determination unit 103 acquires a plurality of post-make target face images from the storage device 500, and causes the display device 300 to display them as options. Details of processing in the image determination unit 103 will be described later with reference to FIG.
  • step S104 when the operation device 400 receives a selection operation of the target face image after makeup by the user, the image determination unit 103 performs a makeup part image determination process described later. Then, the image determination unit 103 outputs determination result information including each makeup part image determined by the makeup part image determination process, item name information, and makeup method information to the information generation unit 104.
  • step S105 the information generation unit 104 generates makeup procedure information based on the user face image acquired from the storage device 500 and the determination result information received from the image determination unit 103. Then, information generation unit 104 outputs makeup procedure information to terminal device 600.
  • step S104 in FIG. 2 an example of the makeup part image determination process (step S104 in FIG. 2) of the makeup support apparatus 100 will be described with reference to FIGS.
  • FIG. 3 is a diagram showing an example of a makeup part image table used for makeup part image determination processing.
  • FIG. 4 is a flowchart showing an example of the flow of makeup part image determination processing of makeup support apparatus 100.
  • a plurality of arrangement data (three arrangement data in the example of FIG. 3) are registered in association with one template data.
  • Template data includes, for example, target face image 10, makeup parts images 11 to 15, and face feature information.
  • the target face image 10 is a face image (still image) of the front face of the model that has not been applied with makeup.
  • the target face image 10 is superimposed on the makeup part images 11 to 15 to become a post-make target face image, and is displayed on the display device 300 as an option as described above.
  • the makeup part image 11 is an image showing the shape and color of an eyebrow (an example of a makeup item) applied to the eyebrows (an example of a facial part).
  • the makeup part image 12 is an image showing the shape and color of an eye shadow (an example of a makeup item) applied to the eyes (an example of a facial part).
  • the makeup part image 13 is an image showing the shape and color of an eyeline (an example of a makeup item) applied to the eyes (an example of a facial part).
  • the makeup part image 14 is an image showing the shape and color of mascara (an example of a makeup item) applied to the eyes (an example of a facial part).
  • the makeup part image 15 is an image showing the shape and color of a cheek (an example of a makeup item) applied to a cheek (an example of a facial part).
  • the makeup part images 11 to 15 show the shape and color of the makeup item is taken as an example, but the makeup part images 11 to 15 are images showing only the shape, and the colors of the makeup part images 11 to 15 are changed.
  • the information shown may be separately registered.
  • the face feature information is information indicating the face feature amount extracted from the target face image 10.
  • the shape of face parts for example, contour, eyes, mouth
  • skin color, and hair color are illustrated, but not limited thereto, the position of face parts, the color of lips, etc. May be included.
  • the content of the face feature value is shown as text, but a value indicating the face feature value (for example, coordinates of face feature points, RGB values, luminance values, etc.) May be registered.
  • the “contour” is the shape of the outer periphery of the face excluding the hair portion, and is a facial part that constitutes the face together with other facial parts such as eyes, nose, mouth, cheeks.
  • the template data includes makeup technique information in addition to those shown in FIG.
  • the makeup technique information is information indicating the usage method of each makeup item (for example, the usage order of each makeup item, the application method to the skin using each makeup item, etc.).
  • the template data may include additional information (details will be described later) additionally inputted with respect to each makeup item.
  • Each arrangement data also includes a face image (hereinafter referred to as an “arrangement face image”), various makeup part images, and various types of facial feature information, like the template data.
  • An arrange face image is an image obtained by photographing a front face (a face to which makeup has not been applied) of a model in which the characteristics of some face parts are different from those of a target face image.
  • the arrangement face image 20 is registered as a face image having a different shape of eyes (wrinkles of eyes) compared to the target face image 10.
  • a makeup part image 23 having a shape different from that of the makeup part image 13 of the template data is registered as the makeup part image of the eyeline corresponding to the eyes (wrinkles of the eyes).
  • the arrangement face image 30 is registered as a face image in which the shape of eyebrows and eyes (eyelashes) is different from that of the target face image 10.
  • a makeup part image 31 having a shape different from the makeup part image 11 of the template data is registered as the eyebrow makeup part image corresponding to the eyebrows.
  • a makeup part image 34 having a shape different from the makeup part image 14 of the template data is registered as a mascara makeup part image corresponding to the eye (eyelash).
  • the arrangement face image 40 is registered as a face image in which the shapes of eyes (wrinkles of eyes) and cheeks (outline cheek portions) are different from those of the target face image 10.
  • a makeup part image 43 having a shape different from that of the makeup part image 13 of the template data is registered as the makeup part image of the eyeline corresponding to the eyes (the wrinkles of the eyes).
  • a makeup part image 45 having a shape different from the makeup part image 15 of the template data is registered as a cheek makeup part image corresponding to the cheek (the cheek part of the contour).
  • each arrangement data includes makeup technique information as in the template data.
  • Each arrangement data may include additional information (details will be described later).
  • the number of arrangement data is three, but the present invention is not limited to this. However, in order to determine a makeup part image that is more suitable for the facial features of the user, it is preferable that the number of arrangement data is large.
  • one makeup part image table is created for each target face image (one template data). Therefore, the makeup parts image table is created according to the number of post-make target face images presented to the user as options.
  • a makeup part image registered in either template data or arrangement data is determined for each type of makeup part image (make item) registered in the makeup part image table.
  • step S201 the image determination unit 103 calculates a first difference value for the i-th facial part.
  • I is the number of types of facial parts registered in the makeup parts image table.
  • the first difference value is a value indicating a difference between the feature amount related to the i-th face part extracted from the user face image and the feature amount related to the i-th face part extracted from the target face image.
  • the face part is an eye (for example, when determining an eye shadow image, eye line image, or mascara image)
  • the eye shape in the user face image is compared with the eye shape in the target face image Perform the process.
  • FIG. 5 shows an example of facial feature points around the left eye extracted from the user face image, for example.
  • the image determination unit 103 calculates the similarity of a triangle composed of three points: a face feature point 51 of the upper eyelid, a face feature point 52 of the outer corner of the eye, and a face feature point 53 of the upper eye.
  • the image determination unit 103 similarly calculates a similarity degree of a triangle composed of three points including a face feature point of the upper eyelid, a face feature point of the outer corner of the eye, and a face feature point of the eye of the target face image. .
  • the image determination unit 103 calculates the difference between the two calculated similarities.
  • step S202 the image determination unit 103 determines whether or not the first difference value is equal to or less than a predetermined threshold value.
  • This threshold value is, for example, an upper limit value that can be considered that the features of two face parts to be compared are similar.
  • step S202 If the first difference value is larger than the threshold value (step S202: NO), the flow proceeds to step S205. Steps S205 and after will be described later.
  • step S202 If the first difference value is less than or equal to the threshold (step S202: YES), the flow proceeds to step S203.
  • step S204 the image determination unit 103 determines whether makeup part images have been adopted for all face parts.
  • step S204 YES
  • the series of processing ends.
  • step S204 when makeup part images are not adopted for all face parts, in other words, when face parts that do not employ makeup part images remain (step S204: NO), the flow proceeds to step S201. Return.
  • step S202 when the first difference value is larger than the threshold (step S202: NO), the feature of the i-th facial part in the user face image is similar to the feature of the i-th facial part in the target face image. It will not be.
  • the image determination unit 103 selects a makeup part image corresponding to the i-th face part from the arrangement data associated with the template data.
  • step S205 the image determination unit 103 selects the j-th arrange face image.
  • J is the number of arrange face images registered in the makeup parts image table.
  • the makeup part image table of FIG. 3 three arranged face images 20, 30, and 40 are registered.
  • step S206 the image determination unit 103 calculates a second difference value for the i-th facial part.
  • the image determination unit 103 temporarily stores the calculated second difference value.
  • the second difference value is a value indicating a difference between a feature amount related to the i-th face part extracted from the user face image and a feature amount related to the i-th face part extracted from the j-th arrange face image. is there.
  • the face part is an eye
  • the shape of the eye in the user face image is compared with the shape of the eye in the jth arrange face image. This specific example is the same as that described above with reference to FIG.
  • step S207 the image determination unit 103 determines whether or not the second difference value is equal to or less than a predetermined threshold value.
  • This threshold value is the same as the threshold value used in step S202, for example.
  • step S207 NO
  • the flow proceeds to step S205.
  • step S207 If the second difference value is equal to or smaller than the threshold value (step S207: YES), the flow proceeds to step S208.
  • step S208 the image determination unit 103 determines whether all the arranged face images have been selected.
  • step S208 NO
  • the flow proceeds to step S205.
  • step S208 If all arranged face images have been selected (step S208: YES), the flow proceeds to step S209.
  • step S209 when the plurality of second difference values are minimum, an arrangement face image may be selected based on a predetermined weight, and a makeup part image may be adopted from the arrangement face image. This example will be described later.
  • step S209 the flow proceeds to step S204.
  • the image determination unit 103 receives determination result information including each makeup part image, item name information, makeup method information, and the like.
  • the data is output to the information generation unit 104.
  • the makeup part image determination process when the features of a predetermined facial part are similar between the user face image and the target face image, the makeup part image associated with the target face image corresponding to the face part is displayed. adopt.
  • a makeup part image associated with the arrange face image corresponding to the face part is adopted.
  • the information generation unit 104 generates makeup procedure information based on the user face image acquired from the storage device 500 and the determination result information received from the image determination unit 103.
  • the determination result information includes at least each makeup part image determined by the makeup part image determination process, item name information indicating the name of the makeup item corresponding to each makeup part image, and a method of using each makeup item (for example, each Makeup method information indicating the use order of makeup items, the method of applying each makeup item to the skin, and the like.
  • the information generation unit 104 generates screen information as an example of makeup technique information and outputs the screen information to the terminal device 600.
  • the screen information is displayed on a display unit (not shown) of the terminal device 600.
  • FIG. 6 is a diagram illustrating a display example of screen information.
  • a makeup part image 71 superimposed on the user face image 70, item name information 72, usage order information 73 indicating the usage order of the makeup items, and a method for applying the makeup items to the skin Application method information 74 is displayed.
  • various information included in the makeup method information for example, information indicating the writing pressure of the brush, information indicating the application direction (direction in which the brush is moved), information indicating the degree of blurring, The information indicating the comment of the makeup item writer may be displayed in a predetermined manner.
  • product information 75 and advice information 76 may be displayed for each makeup item.
  • the product information 75 is information indicating the model number of the makeup item, the characteristics of the makeup item, and the like, for example.
  • the advice information 76 is information indicating advice when using the makeup item.
  • the product information 75 and the advice information 76 are examples of additional information, and are input by a store clerk such as a cosmetic sales department and registered in the makeup part image table.
  • the determination result information output to the information generation unit 104 includes product information 75 and advice information 76.
  • the post-makeup user face image may be displayed as a post-makeup face sample.
  • the user can perform makeup by referring to the screen information of FIG. 6 displayed on the terminal device 600.
  • the desired makeup can be reproduced.
  • the makeup procedure information (for example, screen information) identifies, for example, information indicating a makeup image, user identification information, information that can identify screen information, and makeup items. Possible information may be included.
  • FIG. 7 is a flowchart showing the flow of template data creation processing.
  • step S301 the image acquisition unit 101 acquires, for example, a target face image captured by the imaging device 200. Then, the image acquisition unit 101 outputs the target face image to the image analysis unit 102.
  • step S302 the image analysis unit 102 extracts a face feature amount from the target face image. Then, the image analysis unit 102 outputs the face feature information indicating the extracted face feature amount and the target face image to the image determination unit 103.
  • step S303 the image determination unit 103 causes the display device 300 to display the target face image received from the image analysis unit 102.
  • the creator of the makeup part image draws various makeup items in a predetermined shape and a predetermined color on the displayed target face image. I do. Further, as necessary, the creator performs an operation of inputting a comment about the drawn makeup item.
  • the operating device 400 accepts the above operation and outputs drawing information indicating the drawing content and comments to the image determining unit 103.
  • the drawing content included in the drawing information includes, for example, the order in which each makeup item was drawn, the shape and color of each makeup item, the degree of blur of each makeup item, the position of each makeup item, and each makeup item drawn The writing pressure at the time, and the application direction when each makeup item is drawn.
  • step S304 the image determination unit 103 extracts each makeup part image based on the drawing information received from the operation device 400.
  • step S305 the image determination unit 103 extracts makeup method information based on the drawing information received from the operation device 400.
  • the additional information is, for example, product information 75 and advice information 76 shown in FIG.
  • the operating device 400 receives the above operation and outputs additional information to the image determining unit 103.
  • step S306 the image determination unit 103 acquires additional information from the operation device 400.
  • step S307 the image determination unit 103 creates template data by associating the face feature information, each makeup part image, makeup method information, and additional information with the target face image. Then, the image determination unit 103 stores the created template data in the storage device 500.
  • FIG. 8 is a flowchart showing the flow of arrangement data creation processing.
  • step S401 the image acquisition unit 101 acquires, for example, an arrangement face image captured by the imaging device 200. Then, the image acquisition unit 101 outputs the arranged face image to the image analysis unit 102.
  • the arranged face image acquired here has a part of face feature amount different from the face feature amount of the target face image.
  • the image acquisition unit 101 acquires, from the imaging apparatus 200, a face image obtained by capturing a model in which the feature of a face part is different from that of a predetermined face part (for example, eyes) of the target face image as an arrangement face image. To do.
  • a plurality of face images prepared in advance in the storage device 500 that satisfy a predetermined condition may be acquired as an arrangement face image. This example will be described later.
  • step S402 the image analysis unit 102 extracts a face feature amount from the arranged face image. Then, the image analysis unit 102 outputs the face feature information indicating the extracted face feature amount and the arranged face image to the image determination unit 103.
  • step S403 the image determination unit 103 causes the display device 300 to display the arrange face image received from the image analysis unit 102.
  • the creator of the makeup part image draws various makeup items in a predetermined shape and a predetermined color on the displayed arrangement face image. I do. Further, as necessary, the creator performs an operation of inputting a comment about the drawn makeup item.
  • each makeup part image of the target face image may be displayed superimposed on the arrange face image.
  • the makeup part image displayed in a superimposed manner corresponds to a face part having a face feature amount whose difference from the face feature amount of the arranged face image is equal to or less than a threshold value. Therefore, in the arranged face image, the makeup part image is not displayed on the face part having a face feature amount whose difference from the face feature amount of the target face image is larger than the threshold value.
  • the creator only has to draw a makeup item on the face part on which the makeup part image is not displayed in the arranged face image. Therefore, the creator does not need to draw all the makeup items, saving time.
  • the operating device 400 accepts the above operation and outputs drawing information indicating the drawing content and comments to the image determining unit 103. Since the content included in the drawing information is the same as the content described in the template data creation process, description thereof is omitted here.
  • step S404 to step S406 is the same as step S304 to step S306 in FIG. 7, the description thereof is omitted here.
  • step S407 the image determination unit 103 creates arrangement data by associating the facial feature information, each makeup part image, makeup method information, and additional information with the arranged face image.
  • step S408 the image determination unit 103 creates a makeup part image table by associating the created arrangement data with the template data, and stores it in the storage device 500.
  • the flow shown in FIG. 8 may be repeated. Thereby, for example, the makeup part image table shown in FIG. 3 is created.
  • makeup assisting apparatus 100 compares a user face image, a target face image in which makeup items of a predetermined shape and a predetermined color are determined for each facial part, and the target face image.
  • the facial features extracted from the user face image, and an image acquisition unit 101 that obtains an arrangement facial image in which some facial parts have different features and makeup items of a predetermined shape and a predetermined color are determined for each facial part. If the difference value between the amount and the facial feature amount extracted from the target face image is less than or equal to the threshold value, the makeup item determined for the target face image is adopted, and if the difference value is greater than the threshold value, the arrangement face image is determined.
  • the image determination unit 103 that adopts the makeup item that has been adopted, and makeup procedure information that presents the procedure for using the makeup item that has been adopted to the user. Having an information generating unit 104 to be output to.
  • makeup assisting apparatus 100 of the present embodiment when the features of a predetermined facial part are similar between the user face image and the target face image, the makeup part image corresponding to the face part is used as the target face image. If the user face image and the target face image do not have similar characteristics of a predetermined facial part, the makeup part image for the facial part is determined to be associated with the arranged face image. Thereby, since the makeup part image according to the feature of each face part of the user is adopted, natural makeup in which the entire face is harmonized can be presented to the user.
  • the contour shapes of the user face image and the target face image may be compared.
  • the image determination unit 103 determines the length of the face width w1 (distance between the face feature point 54 and the face feature point 55) and the face length w2 (face feature point 55).
  • the distance between the face feature point 56 and the face feature point 57 of the chin, the face feature point 58 of the right cheek, the face feature point 58 of the right cheek, and the shape (similarity) of the inverted triangle t1 connecting the face feature point 59 of the left cheek The user face image and the target face image are compared, and a first difference value of each is calculated.
  • the image determination unit 103 When the first difference value regarding each of the width w1 of the face, the width w2 of the face, and the inverted triangle t1 is equal to or less than a predetermined threshold value, the image determination unit 103 has an outline between the user face image and the target face image. It is determined that they are the same (or similar), and a makeup part image associated with the target face image (for example, an image representing a makeup item corresponding to a contour such as cheek, highlight, shading, etc.) is employed.
  • a makeup part image associated with the target face image for example, an image representing a makeup item corresponding to a contour such as cheek, highlight, shading, etc.
  • the contour shape comparison process can be applied not only when the user face image and the target face image are compared, but also when the user face image and the arranged face image are compared.
  • the relative relationship between the facial parts in the user face image and the target face image may be compared.
  • the image determination unit 103 determines the length of the distance L (the vertical width of the eyelid) between the face feature point 60 of the outer corner of the eye and the face feature point 61 of Mt. Are compared with the target face image to calculate a first difference value.
  • the image determination unit 103 determines that the eyes (eyelids) are the same (or similar) between the user face image and the target face image, and the target A makeup part image associated with the face image (for example, an image representing a makeup item corresponding to the eyelid such as an eye shadow) is employed.
  • the contour shape comparison process can be applied not only when the user face image and the target face image are compared, but also when the user face image and the arranged face image are compared.
  • the distance between the face parts is taken as an example, but the present invention is not limited to this.
  • the ratio of the position of each face part relative to the vertical or horizontal width of the face, or the ratio of the size of the face part may be used as a comparison target.
  • the relative relationship between the facial parts (for example, the distance between the facial parts, the ratio of the position of each facial part to the vertical or horizontal width of the face, the ratio of the size of the facial part, etc.)
  • it may be used for weighting in step S209) of FIG.
  • the image determination unit 103 may adopt the makeup part image from the arranged face image having the smaller second difference value regarding the relative relationship between the facial parts.
  • the image determination unit 103 compares the color information (for example, hue, saturation, brightness) of the hair, skin, lips, etc. extracted from the user face image with the color information of the target face and the arrangement face.
  • the color of the makeup part image representing a predetermined makeup item for example, foundation, concealer, eyebrow, teak, lipstick, etc.
  • a predetermined makeup item for example, foundation, concealer, eyebrow, teak, lipstick, etc.
  • makeup assisting apparatus 100 has the largest difference with respect to the facial feature amount of a predetermined facial part (for example, contour) of the target facial image from among a plurality of facial images stored in storage device 500. You may acquire the face image which has the face feature-value of face parts (for example, outline) as an arrangement face image.
  • a predetermined facial part for example, contour
  • face parts for example, outline
  • makeup assisting apparatus 100 may receive an operation for setting the difference between the facial feature amounts for each facial part, and acquire an arranged facial image based on the setting.
  • the makeup support apparatus 100 has a content that the second difference for the contour is less than or equal to the threshold value, and the second difference for face parts other than the contour (for example, eyes, nose, lips, etc.) is greater than the threshold value.
  • makeup assisting apparatus 100 acquires an arrangement face image that satisfies a set condition from a plurality of face images stored in storage device 500.
  • the condition to be set can be arbitrarily set by the user of makeup assisting apparatus 100.
  • a user face image with one eye closed is also photographed, and eye shadow is applied to the eyelid (the one with eyes closed) of the latter user face image.
  • the makeup part image may be superimposed and displayed.
  • This makeup part image is an image showing an eye shadow drawn on an eyelid with eyes closed.
  • the eye shadow makeup part image may be the one corresponding to the closed state of the eye and the one corresponding to the opened state of the eye shadow, or the eyes are closed by deformation based on the facial feature points. You may use what respond
  • each makeup part image superimposed on the user face image has been described as an example in which the makeup item image is an image representing the shape and color of the makeup item. It may be an image representing only the shape.
  • the image representing only the shape of the makeup item is, for example, an image indicating the outer periphery of the makeup item with a dotted line or a solid line.
  • the user-related information includes, for example, user's makeup preferences (make item color types, makeup item color shades, etc.), user's makeup item (cosmetics) purchase history, and makeup items currently held by the user ( Including cosmetics).
  • makeup assisting apparatus 100 matches the content indicated in the user-related information (for example, the color type and the color shading are A similar) arranged face image may be selected, and a makeup part image may be adopted from the arranged face image.
  • the content indicated in the user-related information for example, the color type and the color shading are A similar
  • a store clerk such as a cosmetic sales department may add an arrangement to the makeup part image determined by the makeup part image determination process by a manual operation.
  • the contents of the arrangement include, for example, changing the shape, color, or position of the determined predetermined makeup part image, adding a makeup part image other than the determined makeup part image, and the like.
  • the makeup support apparatus 100 reflects the contents of the arrangement when generating makeup procedure information.
  • makeup support apparatus 100 may store information indicating the contents of the arrangement (hereinafter referred to as “arrangement information”) in storage device 500 for each user. For example, when the same arrangement (for example, changing the color of the makeup part image of the eye shadow) is performed multiple times for one user, makeup assisting apparatus 100 learns the arrangement tendency based on the plurality of arrangement information. To do. Then, in the next makeup part image determination process (step S209 in FIG. 4), makeup assisting apparatus 100 matches the learned tendency (for example, the type of color) when the plurality of second difference values are minimized. Alternatively, an arrangement face image (which is similar in color shading) may be selected, and a makeup part image may be adopted from the arrangement face image.
  • arrangement information indicating the contents of the arrangement
  • makeup support apparatus 100 when one user uses makeup support apparatus 100 a plurality of times and a plurality of makeup procedure information is generated for each user, makeup support apparatus 100 includes a plurality of makeup support apparatuses for each user.
  • the makeup procedure information may be stored in the storage device 500.
  • Make-up support apparatus 100 learns the characteristics (for example, color type, color shading, etc.) of each makeup part image to be employed based on a plurality of makeup procedure information. Then, in the next makeup part image determination process (step S209 in FIG. 4), makeup assisting apparatus 100 matches the learned feature (for example, the type of color) when the plurality of second difference values are minimized. Alternatively, an arrangement face image (which is similar in color shading) may be selected, and a makeup part image may be adopted from the arrangement face image.
  • characteristics for example, color type, color shading, etc.
  • the user may actually make makeup based on the makeup procedure information, and then input feedback information indicating the impression or the like to the terminal device 600 and transmit it to the storage device 500, for example.
  • the feedback information includes, for example, contents such as a makeup item for which makeup procedure information (for example, application method information 74) is a reference, a makeup item or product (model number or product name) that the user likes.
  • makeup procedure information for example, application method information 74
  • makeup item or product model number or product name
  • makeup assisting apparatus 100 matches the content indicated in the feedback information (for example, the color type and the color shade are similar) It is also possible to select an arrangement face image and adopt a makeup part image from the arrangement face image.
  • makeup support apparatus 100 determines the user's preference (for example, the type of color of each makeup item) based on the plurality of feedback information. Or contrast). Then, in the next makeup part image determination process (step S209 in FIG. 4), makeup support apparatus 100 matches the learned user preference (for example, color) when the plurality of second difference values are minimized. Arrangement face image (similar in type and color density) may be selected, and a makeup part image may be adopted from the arrangement face image.
  • the user may be able to post the feedback information to a social networking service (SNS).
  • SNS social networking service
  • link information to SNS such as Facebook, Twitter (registered trademark), Instagram, and Google Plus may be included in the makeup procedure information of FIG.
  • a hash tag may be automatically embedded in the posted content. This makes it possible to collect post information later and to analyze popular makeup designs and popular products for the user.
  • the user-related information described in the modified example 8 includes, for example, the user's age, sex, nationality, place of residence, hometown, skin trouble, ideal skin condition, medical institution (dermatology, beauty The history of treatment received in dermatology, cosmetic surgery, etc. (medical institution name, treatment date, treatment location, etc.) may be included.
  • a predetermined device for example, makeup support device 100, terminal device 600, etc.
  • a person concerned such as a store or a medical institution or the user himself / herself.
  • the user related information including the input content is transmitted from a predetermined device to the storage device 500, and stored in the storage device 500 in association with the user identification information.
  • the makeup support apparatus 100 for example, when generating makeup procedure information, associates user-related information (for example, nationality, age, sex, etc.) with the generated makeup procedure information, and creates a predetermined device. For example, it may be output to a cosmetics development company or sales store. By associating these pieces of information, it is possible to know what kind of makeup the user of what attribute likes. Therefore, it can be used for developing cosmetics, advising customers and recommending products.
  • user-related information for example, nationality, age, sex, etc.
  • the makeup parts support apparatus 100 has been described by taking as an example the case where both the template data and arrangement data (make-part image table) creation processing and the makeup procedure information generation processing are performed.
  • the template data and arrangement data (make-up part image table) creation process may be performed by an apparatus other than the makeup support apparatus 100.
  • composition 14 Some of the components (image acquisition unit 101, image analysis unit 102, image determination unit 103, and information generation unit 104) of makeup support apparatus 100 may be physically separated from other components. In this case, the separated components need to be provided with communication units for communicating with each other. For example, some of the functions of the makeup support apparatus 100 may be cloudized.
  • the product information 75 described in the makeup procedure information in FIG. 6 may include link information to purchase sites for each product.
  • the user can select any product information from the makeup procedure information, display the product purchase site, and purchase the product online.
  • the user does not directly access the product purchase site from the product information, but accesses the product purchase site from the product information via the purchase site access information acquisition site.
  • the purchase site access information acquisition site it is recorded that each user has accessed the product purchase site from the makeup procedure information.
  • access information to the product purchase site by a plurality of users is recorded and accumulated, it becomes possible to analyze products preferred by a specific user, products popular with a plurality of users, and trends.
  • the makeup procedure information generated by the information generation unit 104 in FIG. 1 may be displayed on the terminal device 600 physically connected to the makeup support apparatus 100, or physically connected to the makeup support apparatus 100. May be displayed on another terminal device (hereinafter referred to as a display terminal). Even when the display terminal is not physically connected to makeup support apparatus 100, it is possible to connect to the network by various wireless communication techniques. As a method of displaying makeup procedure information on a display terminal that is not physically connected to makeup support apparatus 100, information generation unit 104 uploads the generated makeup procedure information to the cloud, and the display terminal is on the cloud. You may access and obtain makeup procedure information and display it.
  • the URL to the makeup procedure information is notified to the display terminal by e-mail, or the QR code (registered trademark) is read by the display terminal.
  • the terminal may acquire a link to makeup procedure information.
  • the makeup support apparatus of the present disclosure includes a user face image, a target face image in which a makeup item having a predetermined shape and a predetermined color is defined for each face part, and a comparison of the target face image with a part of the face part.
  • An image acquisition unit that acquires an arrangement face image in which makeup items having different features and having a predetermined shape and a predetermined color are determined for each face part, a facial feature amount extracted from a user face image, and a target face image
  • a makeup item for each face part determined in the target face image is adopted, and when the difference value is greater than the threshold value, for some face parts
  • Adopts a makeup item defined in the arranged face image, and for other facial parts an image determination unit that employs the makeup item defined in the target face image;
  • the image determination unit includes a first of the facial feature amount related to the predetermined facial part extracted from the user face image and the facial feature amount related to the predetermined facial part extracted from the target face image. If the first difference value is less than or equal to the threshold value, the makeup item defined for the predetermined facial part in the target face image is adopted, and the first difference value is determined. Is greater than the threshold value, the second difference value between the facial feature value related to the predetermined facial part extracted from the user face image and the facial feature value related to the predetermined facial part extracted from the arranged face image is less than or equal to the threshold value. If it is determined that the second difference value is equal to or smaller than the threshold value, a makeup item determined for a predetermined face part in the arranged face image is adopted.
  • the image acquisition unit acquires a plurality of arrange face images
  • the image determination unit includes a face feature amount relating to a predetermined face part extracted from the user face image and a plurality of arrange face images. It is determined whether the second difference value with respect to the face feature amount relating to the predetermined face part extracted from each of the first and second face parts is equal to or smaller than a threshold value, and the arrangement face image having the minimum value among the second difference values equal to or smaller than the threshold value is determined.
  • Adopt specified makeup items are included in the makeup support apparatus.
  • the image acquisition unit acquires a plurality of arrange face images
  • the image determination unit includes a face feature amount relating to a predetermined face part extracted from the user face image and a plurality of arrange face images. It is determined whether the second difference value with respect to the face feature amount relating to the predetermined facial part extracted from each of them is equal to or smaller than a threshold value, and is pre-weighted among the arranged face images whose second difference value is equal to or smaller than the threshold value.
  • the makeup item defined in the arranged face image that has been worn is employed.
  • the weighting is based on information indicating user attributes, information indicating user preferences for makeup, or information indicating a relative relationship between predetermined facial parts extracted from the user face image. Is set.
  • the image determination unit In the makeup support apparatus, the image determination unit generates a simulation image in which the image of the adopted makeup item is superimposed on the user face image, and outputs the simulation image to a predetermined display device.
  • the makeup procedure information includes at least information on the name of the adopted makeup item, information on how to use the makeup item, and a simulation image in which the image of the makeup item is superimposed on the user face image. including.
  • the makeup item image is either an image showing a predetermined makeup item shape and color, or an image showing only a predetermined makeup item shape.
  • the makeup support method of the present disclosure includes a user face image, a target face image in which a makeup item having a predetermined shape and a predetermined color is defined for each face part, and a comparison of the target face image with a part of the face part.
  • a makeup item having a different feature and having a predetermined shape and a predetermined color is acquired for each facial part, and the facial feature amount extracted from the user face image and the target face image are extracted. If the difference value with the facial feature value is less than or equal to the threshold value, a makeup item for each face part determined in the target face image is adopted.
  • the makeup item specified in the image is used.
  • the makeup item specified in the target face image is used, and the makeup item that is adopted.
  • the makeup support apparatus and makeup support method according to the present disclosure are useful as a makeup support apparatus and a makeup support method for supporting user makeup.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

メイクアップ支援装置（１００）は、ユーザ顔画像、ターゲット顔画像、アレンジ顔画像を取得する画像取得部（１０１）と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、前記ターゲット顔画像と前記アレンジ顔画像とで異なる特徴を有する一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用する画像決定部（１０３）と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部（１０４）と、を有する。

Description

メイクアップ支援装置およびメイクアップ支援方法
　本開示は、ユーザのメイクアップを支援するメイクアップ支援装置およびメイクアップ支援方法に関する。
　例えば、ユーザが、化粧品売場等において店員によりメイクアップ（以下「メイク」という）を顔に施してもらった後、改めてそのメイクを自分で自分の顔に施してみようとすると、上手く再現できないことがある。また、例えば、ユーザが、再度、化粧品売場等を訪問し、上記店員とは別の店員に上記メイクを施してもらった場合、上手く再現できないことがある。
　そこで、メイクを施したときのメイクの状態を示す画像を顔画像に重畳してシミュレーション画像を生成する技術（例えば、特許文献１参照）を利用することが考えられる。顔画像に重畳される画像（以下「メイクパーツ画像」という）は、例えば、アイシャドウやチークといったメイクアイテムを示す画像が挙げられる。
　例えば、化粧品売場等に備えられた店舗端末は、店員が勧めるメイクを示すシミュレーション画像を生成し、そのシミュレーション画像をスマートフォン等のユーザ端末に送信する。これにより、ユーザは、ユーザ端末に表示されたシミュレーション画像を見ながら自分でメイクを行えるため、メイクの再現性が向上する。また、シミュレーション画像は店舗端末に保存されて店員の間で共有されるため、ユーザが再来店して店員に上記メイクを施してもらう場合でも、メイクの再現性が向上する。
特許第１７１５３５７号公報
　メイクパーツ画像は、モデルの顔画像における各顔パーツ（例えば、眉、まぶた、頬、唇など）に対して、各種メイクアイテムの描画を行うことで作成される。しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。特徴が異なる顔パーツに対応するメイクパーツ画像が選択された場合、そのメイクパーツ画像は、ユーザの顔パーツの特徴に合わせて変形されて表示される。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像になってしまうおそれがある。
　そこで、本開示の一態様は、顔全体の調和がとれた自然なメイクをユーザに提示できるメイクアップ支援装置を提供する。
　本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、顔全体の調和がとれた自然なメイクをユーザに提示できる。
本開示に係るメイクアップ支援システムおよびメイクアップ支援装置の構成の一例を示すブロック図 本開示に係るメイクアップ支援装置の全体動作の一例を示すフローチャート 本開示に係るメイクパーツ画像テーブルの一例を示す図 本開示に係るメイクアップ支援装置のメイクパーツ画像決定処理の流れの一例を示すフローチャート 本開示に係る特徴量比較処理の具体例を説明する図 本開示に係るメイク手順情報の表示例を示す図 本開示に係るテンプレートデータ生成処理の流れの一例を示すフローチャート 本開示に係るアレンジデータ生成処理の流れの一例を示すフローチャート 本開示に係る特徴量比較処理の具体例を説明する図 本開示に係る特徴量比較処理の具体例を説明する図
　以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
　（発明に至った知見）
　メイクシミュレーションシステムに用いられるメイクパーツ画像は、例えば、プロのメイクアップアーティスト等が、モデルの顔画像に対して、顔パーツ（例えば、眉、まぶた、頬、唇など）毎に各種メイクアイテム（例えば、アイブロウ、アイシャドウ、チーク、口紅など）を描画することにより、作成される。このようにして作成されたメイクパーツ画像は、メイクシミュレーションシステムにおいて、ユーザまたは化粧品売場等の店員により選択され、ユーザの顔画像に重畳されて表示される。
　しかしながら、ユーザの顔とモデルの顔とにおいて、全ての顔パーツの特徴が同じであることは稀である。選択されたメイクパーツ画像に対応する顔パーツの特徴が、ユーザの顔パーツの特徴と異なる場合、メイクシミュレーションシステムは、選択されたメイクパーツ画像を、ユーザの顔パーツの特徴に合わせて変形して表示する。その結果、顔全体の調和がとれていない不自然なメイクを示すシミュレーション画像が表示されてしまう。
　そこで、本発明では、顔全体の調和がとれた自然なメイクをユーザに提示できるようにする。
　＜システム構成＞
　まず、本実施の形態に係るメイクアップ支援装置を含むメイク支援システムの構成について、図１を用いて説明する。
　図１は、メイク支援システムおよびメイクアップ支援装置の一例を示すブロック図である。
　図１に示すメイク支援システム１は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。
　図１に示すように、メイク支援システム１は、メイクアップ支援装置１００、撮像装置２００、表示装置３００、操作装置４００、記憶装置５００、および端末装置６００を含む。
　メイクアップ支援装置１００は、ユーザのメイクを支援する装置であり、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。メイクアップ支援装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。メイクアップ支援装置１００の構成については後述する。
　撮像装置２００は、ユーザの正面の顔を撮影する。ここで、撮影される顔は、例えば、メイクが施されていない顔である。なお、以下では、メイクが施されていないユーザの正面顔を撮影した静止画像を「ユーザ顔画像」という。
　撮像装置２００は、ユーザ顔画像をメイクアップ支援装置１００へ出力する。
　表示装置３００は、メイクパーツ画像が重畳されたユーザ顔画像、または、メイクパーツ画像が重畳されたターゲット顔画像などを表示する。
　メイクパーツ画像とは、メイクアイテムの形状および色を表す画像である。メイクアイテムは、例えば、アイブロウ、アイシャドウ、アイライン、マスカラ、チーク、口紅等が挙げられる。
　ターゲット顔画像とは、ユーザが「なりたい顔」として選択するモデルの、メイクが施されていない正面顔を撮影した静止画像である。モデルは、プロフェッショナルのモデルに限らず、例えば、一般人であってもよい。ターゲット顔画像として、複数のモデルの正面顔を撮影した複数の静止画像をあらかじめ記憶装置５００に記憶しておいてもよい。さらに、撮像装置２００あるいはネットワークを通じて、ターゲット顔画像となる静止画像を取得し、記憶装置５００に記憶してもよい。
　なお、以下では、メイクパーツ画像が重畳されたユーザ顔画像を「メイク後ユーザ顔画像」といい、メイクパーツ画像が重畳されたターゲット顔画像を「メイク後ターゲット顔画像」という。なお、メイク後ユーザ顔画像は、「シミュレーション画像」と言い換えてもよい。
　操作装置４００は、ユーザによる各種操作（例えば、後述するメイク後ターゲット顔画像の選択操作など）を受け付け、操作の内容をメイクアップ支援装置１００へ通知する。
　記憶装置５００は、例えばネットワーク上のサーバ装置（図示略）に備えられ、種々の情報を記憶する。例えば、記憶装置５００は、メイクパーツ画像テーブル（詳細は後述。図３参照）を記憶する。また、例えば、記憶装置５００は、ユーザ（ユーザ識別情報）毎に、メイク手順情報（詳細は後述）などを記憶する。さらに、記憶装置５００は、複数のターゲット顔画像及び複数のメイク後ターゲット顔画像を記憶する。これらのメイク後ターゲット顔画像は、あらかじめ記憶装置５００に記憶されていてもよいし、ネットワーク等を通じて取得し、記憶させるようにしてもよい。
　端末装置６００は、例えば、ユーザによって使用される、スマートフォンやタブレット等のユーザ端末である。端末装置６００は、メイクアップ支援装置１００と通信可能である。
　なお、撮像装置２００、表示装置３００、操作装置４００、および記憶装置５００のうち少なくとも１つの装置は、メイクアップ支援装置１００に備えられてもよい。
　＜装置の構成＞
　次に、メイクアップ支援装置１００の構成について、図１を用いて説明する。
　図１に示すように、メイクアップ支援装置１００は、画像取得部１０１、画像解析部１０２、画像決定部１０３、および情報生成部１０４を有する。
　図示は省略するが、メイクアップ支援装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図１に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
　画像取得部１０１は、撮像装置２００からユーザ顔画像を取得し、そのユーザ顔画像を、記憶装置５００に記憶させるとともに画像解析部１０２へ出力する。記憶装置５００に記憶されたユーザ顔画像は、ユーザ識別情報と関連付けられる。
　画像解析部１０２は、画像取得部１０１からユーザ顔画像を受け取ると、そのユーザ顔画像から顔特徴量を抽出する。例えば、画像解析部１０２は、複数の顔特徴点（図５、図９、図１０参照）を抽出し、それらの顔特徴点に基づいて顔パーツ（例えば、目、まぶた、頬、鼻、唇、おでこ、あご等）の形状および位置等を抽出する。また、例えば、画像解析部１０２は、ユーザの髪、肌、瞳、唇の色を抽出する。
　なお、顔特徴点の抽出方法および顔パーツの抽出方法としては、既知の分類方法、パターン認識方法、クラスタリング方法、および最適化方法を採用することができる。既知の分類方法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識方法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング方法としては、例えば、ｋ－Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ（ｋ－ＮＮ、ｋ近傍法）、ｋ－ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化方法としては、例えば、遺伝的アルゴリズムが挙げられる。
　画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。顔特徴情報は、例えば、抽出された各顔パーツの形状および位置（顔特徴点）、髪、肌、瞳、唇の色（ＲＧＢ、輝度）などの内容を含む。
　画像決定部１０３は、画像解析部１０２から顔特徴情報を受け取ると、その顔特徴情報をユーザ識別情報と関連付けて記憶装置５００に記憶させる。
　そして、画像決定部１０３は、記憶装置５００から複数のメイク後ターゲット顔画像を取得し、それらを表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
　ここで、ユーザは、選択肢として表示された複数のメイク後ターゲット顔画像から所望のものを選択する操作（メイク後ターゲット顔画像の選択操作）を行う。例えば、ユーザは、自分が希望するメイクのイメージに合ったメイク後ターゲット顔画像を選択する。なお、選択肢として表示されるメイク後ターゲット顔画像は、モデルの顔画像にメイクパーツ画像を重畳した画像でもよいし、または、実際にメイクが施されたモデルの顔を撮影した写真の画像でもよい。なお、ユーザは、メイク後ターゲット顔画像の一覧から、自身のなりたいイメージに近いメイク後ターゲット顔画像を手動で選択することができる。あるいは、「二重」「面長」「シャープな印象」といった「なりたい顔」のイメージを表すキーワードをユーザに選択させ、後述するメイクパーツ画像テーブル中のターゲット顔画像及びアレンジ顔画像から最も近いものを「なりたい顔」として抽出してもよい。
　画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、メイクパーツ画像決定処理を行う。メイクパーツ画像決定処理とは、ユーザに選択されたメイク後ターゲット顔画像、そのメイク後ターゲット顔画像に関連付けられた少なくとも１以上のアレンジ顔画像（詳細は後述）に基づいて、ユーザに提示する各メイクパーツ画像（メイクアイテム）を決定する処理である。メイクパーツ画像決定処理については、図３、図４を用いて後述する。
　そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称の情報（以下「アイテム名情報」という）と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）の情報（以下「メイク手法情報」という）とを含む決定結果情報を情報生成部１０４へ出力する。
　なお、メイク手法情報は、例えば、ブラシ等の筆圧を示す情報、塗布方向を示す情報、ぼかしの程度を示す情報、メイクパーツ画像の作成者（メイクアイテムの描画者）のコメントを示す情報などを含んでもよい。
　情報生成部１０４は、画像決定部１０３から決定結果情報を受け取ると、その決定結果情報と、記憶装置５００から取得したユーザ顔画像とに基づいてメイク手順情報を生成し、端末装置６００へ出力する。メイク手順情報は、各メイクパーツ画像に示されるメイクアイテムを使用する際の手順などをユーザに提示する内容を含む。メイク手順情報の詳細については、後述する。
　＜装置の動作＞
　次に、メイクアップ支援装置１００の全体動作（メイク手順情報の生成動作）について、図２を用いて説明する。
　図２は、メイクアップ支援装置１００の全体動作の一例を示すフローチャートである。
　ステップＳ１０１において、画像取得部１０１は、撮像装置２００からユーザ顔画像を取得する。そして、画像取得部１０１は、ユーザ顔画像を画像解析部１０２へ出力する。また、画像取得部１０１は、ユーザ顔画像にユーザ識別情報を関連付けて記憶装置５００に記憶させる。
　ステップＳ１０２において、画像解析部１０２は、画像取得部１０１から受け取ったユーザ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報を画像決定部１０３へ出力する。
　ステップＳ１０３において、画像決定部１０３は、記憶装置５００から、複数のメイク後ターゲット顔画像を取得し、それらを選択肢として表示装置３００に表示させる。画像決定部１０３における処理の詳細については、図４等を用いて後述する。
　ステップＳ１０４において、画像決定部１０３は、操作装置４００がユーザによるメイク後ターゲット顔画像の選択操作を受け付けると、後述するメイクパーツ画像決定処理を行う。そして、画像決定部１０３は、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、アイテム名情報と、メイク手法情報とを含む決定結果情報を情報生成部１０４へ出力する。
　ステップＳ１０５において、情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。そして、情報生成部１０４は、メイク手順情報を端末装置６００へ出力する。
　以上、メイクアップ支援装置１００の全体動作の一例について説明した。
　次に、メイクアップ支援装置１００のメイクパーツ画像決定処理（図２のステップＳ１０４）の一例について、図３、図４を用いて説明する。
　図３は、メイクパーツ画像決定処理に用いられるメイクパーツ画像テーブルの一例を示す図である。図４は、メイクアップ支援装置１００のメイクパーツ画像決定処理の流れの一例を示すフローチャートである。
　まず、図３を参照して、メイクパーツ画像テーブルについて説明する。
　メイクパーツ画像テーブルは、図３に示すように、１つのテンプレートデータに対して、複数のアレンジデータ（図３の例では、３つのアレンジデータ）が関連付けて登録されている。
　テンプレートデータは、例えば、ターゲット顔画像１０、メイクパーツ画像１１～１５、顔特徴情報を含む。
　ターゲット顔画像１０は、メイクが施されていないモデルの正面顔の顔画像（静止画像）である。ターゲット顔画像１０は、メイクパーツ画像１１～１５が重畳されてメイク後ターゲット顔画像となり、上述したとおり、選択肢として表示装置３００に表示される。
　メイクパーツ画像１１は、眉毛（顔パーツの一例）に施されるアイブロウ（メイクアイテムの一例）の形状と色を示す画像である。
　メイクパーツ画像１２は、目（顔パーツの一例）に施されるアイシャドウ（メイクアイテムの一例）の形状と色を示す画像である。
　メイクパーツ画像１３は、目（顔パーツの一例）に施されるアイライン（メイクアイテムの一例）の形状と色を示す画像である。
　メイクパーツ画像１４は、目（顔パーツの一例）に施されるマスカラ（メイクアイテムの一例）の形状と色を示す画像である。
　メイクパーツ画像１５は、頬（顔パーツの一例）に施されるチーク（メイクアイテムの一例）の形状と色を示す画像である。
　なお、ここではメイクパーツ画像１１～１５がメイクアイテムの形状と色を示す場合を例に挙げたが、メイクパーツ画像１１～１５を形状のみを示す画像とし、メイクパーツ画像１１～１５の色を示す情報は別途登録されてもよい。
　顔特徴情報は、ターゲット顔画像１０から抽出された顔特徴量を示す情報である。図３の例では、顔パーツ（例えば、輪郭、目、口）の形状、肌の色、髪の色を例示しているが、これらに限定されず、顔パーツの位置、唇の色などを含んでもよい。また、図３の例では、説明を簡便にするため、顔特徴量の内容を文章で示しているが、顔特徴量を示す値（例えば、顔特徴点の座標、ＲＧＢ値、輝度値等）が登録されてもよい。ここで「輪郭」とは毛髪部分を除いた顔の外周の形状であり、目、鼻、口、頬、等の他の顔パーツとともに顔を構成する顔パーツであるとする。
　なお、図示は省略しているが、テンプレートデータには、図３に示したもののほか、メイク手法情報が含まれる。メイク手法情報とは、上述したとおり、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムを使用した肌への塗布方法など）を示す情報である。また、テンプレートデータには、各メイクアイテムに関して付加的に入力された付加情報（詳細は後述）などが含まれてもよい。
　テンプレートデータの作成処理については、図７を用いて後述する。
　各アレンジデータも、テンプレートデータと同様に、顔画像（以下「アレンジ顔画像」という）、各種メイクパーツ画像、各種顔特徴情報を含む。アレンジ顔画像とは、ターゲット顔画像と比較して一部の顔パーツの特徴が異なるモデルの正面顔（メイクが施されていない顔）を撮影した画像である。
　例えば、第１アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）の形状が異なる顔画像として、アレンジ顔画像２０が登録されている。また、第１アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像２３が登録されている。
　また、例えば、第２アレンジデータでは、ターゲット顔画像１０と比較して眉毛と目（まつげ）の形状が異なる顔画像として、アレンジ顔画像３０が登録されている。また、第２アレンジデータでは、眉毛に対応するアイブロウのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１１と異なる形状のメイクパーツ画像３１が登録されている。また、第２アレンジデータでは、目（まつげ）に対応するマスカラのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１４と異なる形状のメイクパーツ画像３４が登録されている。
　また、例えば、第３アレンジデータでは、ターゲット顔画像１０と比較して目（目のキワ）と頬（輪郭の頬部分）の形状が異なる顔画像として、アレンジ顔画像４０が登録されている。また、第３アレンジデータでは、目（目のキワ）に対応するアイラインのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１３と異なる形状のメイクパーツ画像４３が登録されている。また、第３アレンジデータでは、頬（輪郭の頬部分）に対応するチークのメイクパーツ画像として、テンプレートデータのメイクパーツ画像１５と異なる形状のメイクパーツ画像４５が登録されている。
　なお、図示は省略しているが、各アレンジデータには、テンプレートデータと同様に、メイク手法情報が含まれる。また、各アレンジデータには、付加情報（詳細は後述）などが含まれてもよい。
　また、図３の例では、アレンジデータの数を３つとしたが、これに限定されない。ただし、ユーザの顔の特徴により適合したメイクパーツ画像を決定するためには、アレンジデータの数は多い方が好ましい。
　アレンジデータの作成処理については、図８を用いて後述する。
　このようなメイクパーツ画像テーブルは、例えば、１つのターゲット顔画像（１つのテンプレートデータ）につき１つ作成される。よって、メイクパーツ画像テーブルは、選択肢としてユーザに提示されるメイク後ターゲット顔画像の数に応じて作成される。
　以上、メイクパーツ画像テーブルについて説明した。
　次に、図４を参照して、メイクパーツ画像決定処理の流れについて説明する。メイクパーツ画像決定処理では、メイクパーツ画像テーブルに登録されているメイクパーツ画像（メイクアイテム）の種類毎に、テンプレートデータまたはアレンジデータのいずれかに登録されているメイクパーツ画像が決定される。
　ステップＳ２０１において、画像決定部１０３は、第ｉの顔パーツについて第１の差分値を算出する。
　ｉは、メイクパーツ画像テーブルに登録されている顔パーツの種類の数である。図３のメイクパーツ画像テーブルの場合、眉毛（ｉ＝１）、まぶた（ｉ＝２）、目のキワ（ｉ＝３）、まつ毛（ｉ＝４）、頬（ｉ＝５）の５種類の顔パーツが登録されている。
　第１の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、ターゲット顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合（例えば、アイシャドウの画像、アイラインの画像、マスカラの画像を決定する場合）、ユーザ顔画像における目の形状と、ターゲット顔画像における目の形状とを比較する処理を行う。この具体例について、図５を用いて説明する。
　図５は、例えば、ユーザ顔画像から抽出された左目周辺の顔特徴点の一例を示している。図５において、画像決定部１０３は、上まぶたの顔特徴点５１、目尻の顔特徴点５２、目頭の顔特徴点５３の３点から成る三角形の相似度を算出する。図示は省略するが、同様に、画像決定部１０３は、ターゲット顔画像において、上まぶたの顔特徴点、目尻の顔特徴点、目頭の顔特徴点の３点から成る三角形の相似度を算出する。そして、画像決定部１０３は、算出された２つの相似度の差分を算出する。
　なお、特徴量の比較による第１の差分値の算出方法は、図５で説明したものに限定されない。その他の例については、後述する。
　ステップＳ２０２において、画像決定部１０３は、第１の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、比較される２つの顔パーツの特徴が類似するとみなすことができる上限値である。
　第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、フローはステップＳ２０５へ進む。ステップＳ２０５以降については後述する。
　第１の差分値が閾値以下である場合（ステップＳ２０２：ＹＥＳ）、フローはステップＳ２０３へ進む。
　ステップＳ２０３において、画像決定部１０３は、第ｉの顔パーツについては、ターゲット顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝１である場合（顔パーツが眉毛である場合）、画像決定部１０３は、ターゲット顔画像１０に関連付けられているメイクパーツ画像１１（アイブロウの画像）を採用する。
　ステップＳ２０４において、画像決定部１０３は、全ての顔パーツに対してメイクパーツ画像を採用したか否かを判定する。
　全ての顔パーツに対してメイクパーツ画像を採用した場合（ステップＳ２０４：ＹＥＳ）、一連の処理は終了する。
　一方、全ての顔パーツに対してメイクパーツ画像を採用していない場合、換言すれば、メイクパーツ画像が採用されていない顔パーツが残っている場合（ステップＳ２０４：ＮＯ）、フローはステップＳ２０１へ戻る。
　ステップＳ２０２において、第１の差分値が閾値より大きい場合（ステップＳ２０２：ＮＯ）、ユーザ顔画像における第ｉの顔パーツの特徴と、ターゲット顔画像における第ｉの顔パーツの特徴とが類似していないこととなる。この場合、画像決定部１０３は、テンプレートデータに関連付けられたアレンジデータから、第ｉの顔パーツに対応するメイクパーツ画像を選択する。
　ステップＳ２０５において、画像決定部１０３は、第ｊのアレンジ顔画像を選択する。
　ｊは、メイクパーツ画像テーブルに登録されているアレンジ顔画像の数である。図３のメイクパーツ画像テーブルの場合、アレンジ顔画像２０、３０、４０の３つが登録されている。
　ステップＳ２０６において、画像決定部１０３は、第ｉの顔パーツについて第２の差分値を算出する。ここで、画像決定部１０３は、算出された第２の差分値を一時的に記憶しておく。
　第２の差分値とは、ユーザ顔画像から抽出された第ｉの顔パーツに関する特徴量と、第ｊのアレンジ顔画像から抽出された第ｉの顔パーツに関する特徴量との差分を示す値である。例えば、顔パーツが目である場合、ユーザ顔画像における目の形状と、第ｊのアレンジ顔画像における目の形状とを比較する。この具体例については、図５を用いた上記説明と同様であるので、ここでの説明は省略する。
　ステップＳ２０７において、画像決定部１０３は、第２の差分値が予め定められた閾値以下であるか否かを判定する。この閾値は、例えば、ステップＳ２０２で用いた閾値と同じである。
　第２の差分値が閾値より大きい場合（ステップＳ２０７：ＮＯ）、フローはステップＳ２０５へ進む。
　第２の差分値が閾値以下である場合（ステップＳ２０７：ＹＥＳ）、フローはステップＳ２０８へ進む。
　ステップＳ２０８において、画像決定部１０３は、全てのアレンジ顔画像を選択したか否かを判定する。
　全てのアレンジ顔画像を選択していない場合（ステップＳ２０８：ＮＯ）、フローはステップＳ２０５へ進む。
　全てのアレンジ顔画像を選択した場合（ステップＳ２０８：ＹＥＳ）、フローはステップＳ２０９へ進む。
　ステップＳ２０９において、画像決定部１０３は、第ｉの顔パーツについて、第２の差分値が最小であるアレンジ顔画像に関連付けられたメイクパーツ画像を採用する。例えば、図３において、ｉ＝３である場合（顔パーツが目（目のキワ）である場合）、画像決定部１０３は、メイクパーツ画像２３またはメイクパーツ画像４３のいずれかのうち、第２の差分値が小さい方のアレンジ顔画像に関連付けられたメイクパーツ画像（アイラインの画像）を採用する。
　なお、ステップＳ２０９において、複数の第２の差分値が最小である場合、所定の重み付けに基づいてアレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像が採用されてもよい。この例については、後述する。
　ステップＳ２０９の後、フローはステップＳ２０４へ進む。
　なお、既に説明したとおり、図４に示したメイクパーツ画像決定処理の終了後、画像決定部１０３は、採用された各メイクパーツ画像、アイテム名情報、およびメイク手法情報等を含む決定結果情報を情報生成部１０４へ出力する。
　このように、メイクパーツ画像決定処理では、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応してターゲット顔画像に関連付けられているメイクパーツ画像を採用する。一方、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対応してアレンジ顔画像に関連付けられているメイクパーツ画像を採用する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
　以上、メイクパーツ画像決定処理の一例について説明した。
　次に、情報生成部１０４により生成されるメイク手順情報の一例について説明する。
　情報生成部１０４は、記憶装置５００から取得したユーザ顔画像と、画像決定部１０３から受け取った決定結果情報とに基づいて、メイク手順情報を生成する。決定結果情報は、少なくとも、メイクパーツ画像決定処理により決定された各メイクパーツ画像と、各メイクパーツ画像に対応するメイクアイテムの名称を示すアイテム名情報と、各メイクアイテムの使用方法（例えば、各メイクアイテムの使用順序、各メイクアイテムの肌への塗布方法など）を示すメイク手法情報を含む。
　例えば、情報生成部１０４は、メイク手法情報の一例として画面情報を生成し、端末装置６００へ出力する。画面情報は、端末装置６００の表示部（図示略）に表示される。
　端末装置６００における画面情報の表示例について説明する。図６は、画面情報の表示例を示す図である。
　図６に示すように、メイクアイテム毎に、ユーザ顔画像７０に重畳されたメイクパーツ画像７１、アイテム名情報７２、メイクアイテムの使用順序を示す使用順序情報７３、メイクアイテムの肌への塗布方法を示す塗布方法情報７４が表示される。なお、図示は省略しているが、メイク手法情報に含まれる各種情報（例えば、ブラシ等の筆圧を示す情報、塗布方向（ブラシ等を動かす方向）を示す情報、ぼかしの程度を示す情報、メイクアイテムの描画者のコメントを示す情報など）が、所定の態様で表示されてもよい。
　また、図６に示すように、メイクアイテム毎に、製品情報７５、アドバイス情報７６が表示されてもよい。製品情報７５は、例えば、メイクアイテムの型番やメイクアイテムの特徴などを示す情報である。アドバイス情報７６は、メイクアイテムを使用する際のアドバイスを示す情報である。製品情報７５およびアドバイス情報７６は、付加情報の一例であり、例えば、化粧品売場等の店員により入力され、メイクパーツ画像テーブルに登録される。この場合、情報生成部１０４へ出力される決定結果情報には、製品情報７５およびアドバイス情報７６が含まれる。
　なお、図６では図示を省略しているが、ユーザ顔画像７０に全てのメイクパーツ画像（図６の例では、アイブロウの画像、アイシャドウの画像、チークの画像、口紅の画像）を重畳した、メイク後ユーザ顔画像（シミュレーション画像）をメイク後顔見本として表示してもよい。
　このように画面情報には、メイクアイテムの使用順序や塗布方法などの詳細な内容が含まれるため、ユーザは、端末装置６００に表示された図６の画面情報を参照してメイクを行うことで、所望のメイクを再現することができる。
　なお、メイク手順情報（例えば、画面情報）には、図６に示した各種情報以外にも、例えば、メイクのイメージを示す情報、ユーザ識別情報、画面情報を識別可能な情報、メイクアイテムを識別可能な情報などが含まれてもよい。
　以上、メイク手順情報の一例について説明した。
　次に、テンプレートデータの作成処理の一例について、図７を用いて説明する。
　図７は、テンプレートデータの作成処理の流れを示すフローチャートである。
　ステップＳ３０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたターゲット顔画像を取得する。そして、画像取得部１０１は、ターゲット顔画像を画像解析部１０２へ出力する。
　ステップＳ３０２において、画像解析部１０２は、ターゲット顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、ターゲット顔画像とを画像決定部１０３へ出力する。
　ステップＳ３０３において、画像決定部１０３は、画像解析部１０２から受け取ったターゲット顔画像を表示装置３００に表示させる。
　ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたターゲット顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
　操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる描画の内容は、例えば、各メイクアイテムが描画された順序、各メイクアイテムの形状と色、各メイクアイテムのぼかしの程度、各メイクアイテムの位置、各メイクアイテムが描画されたときの筆圧、各メイクアイテムが描画されたときの塗布方向などである。
　ステップＳ３０４において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、各メイクパーツ画像を抽出する。
　ステップＳ３０５において、画像決定部１０３は、操作装置４００から受け取った描画情報に基づいて、メイク手法情報を抽出する。
　また、例えば、作成者により各種メイクアイテムが描画された後、必要に応じて、例えば、化粧品売場等の店員は、付加情報を入力する操作を行う。付加情報は、例えば、図６に示した製品情報７５およびアドバイス情報７６などである。
　操作装置４００は、上記操作を受け付け、付加情報を画像決定部１０３へ出力する。
　ステップＳ３０６において、画像決定部１０３は、操作装置４００から付加情報を取得する。
　ステップＳ３０７において、画像決定部１０３は、ターゲット顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてテンプレートデータを作成する。そして、画像決定部１０３は、作成されたテンプレートデータを記憶装置５００に記憶させる。
　以上、テンプレートデータの作成処理の一例について説明した。
　次に、アレンジデータの作成処理の一例について、図８を用いて説明する。
　図８は、アレンジデータの作成処理の流れを示すフローチャートである。
　ステップＳ４０１において、画像取得部１０１は、例えば、撮像装置２００により撮影されたアレンジ顔画像を取得する。そして、画像取得部１０１は、アレンジ顔画像を画像解析部１０２へ出力する。
　ここで取得されるアレンジ顔画像は、上述したとおり、ターゲット顔画像の顔特徴量と比較して、一部の顔特徴量が異なるものである。例えば、画像取得部１０１は、ターゲット顔画像の所定の顔パーツ（例えば、目）の特徴と比べてその顔パーツの特徴が異なるモデルを撮影した顔画像を、アレンジ顔画像として撮像装置２００から取得する。
　なお、記憶装置５００に予め用意された複数の顔画像から、所定の条件を満たしたものをアレンジ顔画像として取得してもよい。この例については、後述する。
　ステップＳ４０２において、画像解析部１０２は、アレンジ顔画像から顔特徴量を抽出する。そして、画像解析部１０２は、抽出された顔特徴量を示す顔特徴情報と、アレンジ顔画像とを画像決定部１０３へ出力する。
　ステップＳ４０３において、画像決定部１０３は、画像解析部１０２から受け取ったアレンジ顔画像を表示装置３００に表示させる。
　ここで、メイクパーツ画像の作成者（メイクアイテムの描画者。例えば、プロのメイクアップアーティスト）は、表示されたアレンジ顔画像上に、各種メイクアイテムを所定の形状と所定の色で描画する操作を行う。また、必要に応じて、作成者は、描画されたメイクアイテムについてのコメントを入力する操作を行う。
　なお、ステップＳ４０３において、アレンジ顔画像にターゲット顔画像の各メイクパーツ画像を重畳して表示してもよい。ここで重畳表示されるメイクパーツ画像は、アレンジ顔画像の顔特徴量との差分が閾値以下となる顔特徴量を有する顔パーツに対応するものである。よって、アレンジ顔画像において、ターゲット顔画像の顔特徴量との差分が閾値より大きい顔特徴量を有する顔パーツには、メイクパーツ画像は表示されない。この場合、作成者は、アレンジ顔画像において、メイクパーツ画像が表示されていない顔パーツに対して、メイクアイテムを描画すればよい。したがって、作成者は、全てのメイクアイテムを描画する必要が無く、手間が省ける。
　操作装置４００は、上記操作を受け付け、描画の内容やコメントなどを示す描画情報を画像決定部１０３へ出力する。描画情報に含まれる内容は、上記テンプレートデータの作成処理で説明した内容と同様であるため、ここでの説明は省略する。
　ステップＳ４０４～ステップＳ４０６における各処理は、図７のステップＳ３０４～ステップＳ３０６と同様であるため、ここでの説明は省略する。
　ステップＳ４０７において、画像決定部１０３は、アレンジ顔画像に対して顔特徴情報、各メイクパーツ画像、メイク手法情報、および付加情報を関連付けてアレンジデータを作成する。
　ステップＳ４０８において、画像決定部１０３は、作成されたアレンジデータをテンプレートデータに関連付けてメイクパーツ画像テーブルを作成し、記憶装置５００に記憶させる。
　複数のアレンジデータをテンプレートデータに関連付ける場合は、図８に示したフローを繰り返し行えばよい。これにより、例えば図３に示したメイクパーツ画像テーブルが作成される。
　以上、アレンジデータの作成処理の一例について説明した。
　＜本実施の形態の効果＞
　以上説明したように、本実施の形態のメイクアップ支援装置１００は、ユーザ顔画像と、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色のメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部１０１と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められたメイクアイテムを採用し、差分値が閾値より大きい場合、アレンジ顔画像に定められたメイクアイテムを採用する画像決定部１０３と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部１０４と、を有する。
　すなわち、本実施の形態のメイクアップ支援装置１００によれば、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似する場合、その顔パーツに対応するメイクパーツ画像をターゲット顔画像に関連付けられているものに決定し、ユーザ顔画像とターゲット顔画像とで所定の顔パーツの特徴が類似しない場合、その顔パーツに対するメイクパーツ画像をアレンジ顔画像に関連付けられているものに決定する。これにより、ユーザの各顔パーツの特徴に合わせたメイクパーツ画像が採用されるので、顔全体の調和がとれた自然なメイクをユーザに提示できる。
　＜本実施の形態の変形例＞
　以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
　（変形例１）
　上記実施の形態では、顔パーツの特徴量の比較処理の一例として、図５を用いて目の形状を比較する場合を例に挙げて説明したが、これに限定されない。
　例えば、ユーザ顔画像とターゲット顔画像とにおける輪郭の形状を比較してもよい。この場合、画像決定部１０３は、図９に示すように、顔の横幅ｗ１（顔特徴点５４と顔特徴点５５との間の距離）の長さ、顔の縦幅ｗ２（顔特徴点５５と顔特徴点５６との間の距離）の長さ、あごの顔特徴点５７、右頬の顔特徴点５８、左頬の顔特徴点５９を結んだ逆三角形ｔ１の形状（相似度）についてユーザ顔画像とターゲット顔画像とを比較し、それぞれの第１の差分値を算出する。
　そして、顔の横幅ｗ１、顔の縦幅ｗ２、逆三角形ｔ１のそれぞれに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで輪郭が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、チーク、ハイライト、シェーディング等、輪郭に対応するメイクアイテムを表す画像）を採用する。
　なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
　（変形例２）
　上記実施の形態および変形例１では、顔パーツの特徴量の比較処理の一例として、図５、図９を用いて顔パーツ（目、輪郭）の形状を比較する場合を例に挙げて説明したが、これに限定されない。
　例えば、ユーザ顔画像とターゲット顔画像とにおける顔パーツ間の相対関係を比較してもよい。この場合、画像決定部１０３は、図１０に示すように、目尻の顔特徴点６０と眉山の顔特徴点６１との間の距離Ｌ（まぶたの上下方向の幅）の長さについてユーザ顔画像とターゲット顔画像とを比較し、第１の差分値を算出する。
　そして、距離Ｌに関する第１の差分値が所定の閾値以下である場合、画像決定部１０３は、ユーザ顔画像とターゲット顔画像とで目（まぶた）が同じ（または類似する）と判定し、ターゲット顔画像に関連付けられているメイクパーツ画像（例えば、アイシャドウ等、まぶたに対応するメイクアイテムを表す画像）を採用する。
　なお、上記輪郭の形状の比較処理は、ユーザ顔画像とターゲット顔画像とを比較する場合だけでなく、ユーザ顔画像とアレンジ顔画像とを比較する場合にも適用できる。
　また、上記説明では、顔パーツ間の相対関係の一例として、顔パーツ間（眉と目の間）の距離を例に挙げて説明したが、これに限定されない。例えば、顔の縦幅または横幅に対する各顔パーツの位置の比、または、顔パーツの大きさの比率などを比較対象としてもよい。
　また、上記顔パーツ間の相対関係（例えば、顔パーツ間の距離、顔の縦幅または横幅に対する各顔パーツの位置の比、顔パーツの大きさの比率など）を、メイクパーツ画像決定処理（例えば、図４のステップＳ２０９）における重み付けに利用してもよい。例えば、ユーザ顔画像と複数のアレンジ顔画像とにおいて所定の顔パーツの形状の比較（例えば、図５、図９で説明した処理）を行った結果、複数の第２の差分値が同じとなった場合、画像決定部１０３は、顔パーツ間の相対関係に関する第２の差分値が小さい方のアレンジ顔画像からメイクパーツ画像を採用するようにしてもよい。
　（変形例３）
　上記実施の形態において、画像決定部１０３は、ユーザ顔画像から抽出された髪、肌、唇等の色情報（例えば、色相、彩度、明度）とターゲット顔及びアレンジ顔の色情報を比較し、所定のメイクアイテム（例えば、ファンデーション、コンシーラ、アイブロウ、チーク、口紅等）を表すメイクパーツ画像の色を、差分値が閾値以上、または最少となる顔画像に設定されている色に決定／変更してもよい。
　（変形例４）
　上記実施の形態では、メイクアップ支援装置１００がアレンジ顔画像を撮像装置２００から取得する場合を例に挙げて説明したが、これに限定されない。
　例えば、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、ターゲット顔画像の所定の顔パーツ（例えば、輪郭）の顔特徴量に対して差分が最も大きくなる顔パーツ（例えば、輪郭）の顔特徴量を有する顔画像を、アレンジ顔画像として取得してもよい。
　また、例えば、メイクアップ支援装置１００は、顔パーツ毎の顔特徴量の差分の大きさの設定操作を受け付け、その設定に基づいて、アレンジ顔画像を取得してもよい。例えば、メイクアップ支援装置１００は、輪郭についての第２の差分が閾値以下であり、輪郭以外の顔パーツ（例えば、目、鼻、唇等）についての第２の差分が閾値より大きいという内容の設定を受け付ける。その場合、メイクアップ支援装置１００は、記憶装置５００に記憶されている複数の顔画像の中から、設定された条件を満たすアレンジ顔画像を取得する。設定される条件は、メイクアップ支援装置１００のユーザが任意に設定できる。
　（変形例５）
　上記実施の形態では、図６に示したように、両目が開いた状態を示すユーザ顔画像にアイシャドウのメイクパーツ画像を重畳して表示する場合を例に挙げて説明したが、これに限定されない。
　例えば、両目が開いた状態のユーザ顔画像に加えて、片目を閉じた状態のユーザ顔画像も撮影しておき、後者のユーザ顔画像のまぶた（目を閉じている方）に対してアイシャドウのメイクパーツ画像を重畳して表示してもよい。このメイクパーツ画像は、目を閉じた状態のまぶたに対して描画されたアイシャドウを示す画像である。
　なお、アイシャドウのメイクパーツ画像は、目を閉じた状態に対応するものおよび目を開いた状態に対応するものを用いてもよいし、顔特徴点に基づいて変形することで目を閉じた状態と目を開いた状態の両方に対応するものを用いてもよい。
　（変形例６）
　上記実施の形態では、図６に示したように、ユーザ顔画像に重畳される各メイクパーツ画像は、メイクアイテムの形状と色を表す画像である場合を例に挙げて説明したが、メイクアイテムの形状のみを表す画像であってもよい。メイクアイテムの形状のみを表す画像は、例えば、メイクアイテムの外周を点線または実線で示す画像である。
　（変形例７）
　上記実施の形態では、メイク手順情報を静止画像で画面表示する場合を例に挙げて説明したが、静止画像の画面表示に加えて、音声または動画などを用いてメイク手順情報の所定の内容をユーザに通知してもよい。
　（変形例８）
　上記実施の形態では、図４に示したメイクパーツ画像決定処理（例えば、図４のステップＳ２０９）において、第２の差分値が最小となるアレンジ顔画像からメイクパーツ画像を採用する場合を例に挙げて説明したが、複数の第２の差分値が最小となる場合、ユーザに関する情報（以下「ユーザ関連情報」という）を重み付けに利用して、メイクパーツ画像の採用対象となるアレンジ顔画像を選択してもよい。
　ユーザ関連情報は、例えば、ユーザのメイクの好み（メイクアイテムの色の種類、メイクアイテムの色の濃淡など）、ユーザのメイクアイテム（化粧品）の購買履歴、ユーザが現在保持しているメイクアイテム（化粧品）などの内容を含む。
　例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、ユーザ関連情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
　（変形例９）
　上記実施の形態において、メイクパーツ画像決定処理で決定されたメイクパーツ画像に対して、例えば化粧品売場等の店員が手動操作でアレンジを加えてもよい。アレンジの内容は、例えば、決定された所定のメイクパーツ画像の形状、色、または位置の変更、決定されたメイクパーツ画像以外のメイクパーツ画像の追加などである。メイクアップ支援装置１００は、メイク手順情報を生成する際、アレンジの内容を反映させる。
　なお、メイクアップ支援装置１００は、アレンジの内容を示す情報（以下「アレンジ情報」という）をユーザ毎に記憶装置５００に記憶させてもよい。例えば、１人のユーザにつき同じアレンジ（例えば、アイシャドウのメイクパーツ画像の色の変更）が複数回行われた場合、メイクアップ支援装置１００は、複数のアレンジ情報に基づいてアレンジの傾向を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した傾向に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
　（変形例１０）
　上記実施の形態において、１人のユーザがメイクアップ支援装置１００を複数回利用することで、そのユーザにつき複数のメイク手順情報が生成される場合、メイクアップ支援装置１００は、ユーザ毎に複数のメイク手順情報を記憶装置５００に記憶させてもよい。
　メイクアップ支援装置１００は、複数のメイク手順情報に基づいて、採用される各メイクパーツ画像の特徴（例えば、色の種類、色の濃淡等）を学習する。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習した特徴に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
　（変形例１１）
　上記実施の形態において、ユーザは、メイク手順情報に基づいて実際にメイクを行った後、その感想などを示すフィードバック情報を端末装置６００に入力し、例えば記憶装置５００に送信してもよい。
　フィードバック情報は、例えば、メイク手順情報（例えば、塗布方法情報７４）が参考になったメイクアイテム、ユーザが気に入ったメイクアイテムや製品（型番または商品名）などの内容を含む。
　例えば、図４のステップＳ２０９において、複数の第２の差分値が最小となる場合、メイクアップ支援装置１００は、フィードバック情報に示される内容に合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
　なお、１人のユーザにつき複数のフィードバック情報が記憶装置５００に記憶されている場合、メイクアップ支援装置１００は、複数のフィードバック情報に基づいて、ユーザの好み（例えば、各メイクアイテムの色の種類や濃淡等）を学習してもよい。そして、メイクアップ支援装置１００は、次のメイクパーツ画像決定処理（図４のステップＳ２０９）において、複数の第２の差分値が最小となる場合、学習したユーザの好みに合致する（例えば、色の種類および色の濃淡が類似する）アレンジ顔画像を選択し、そのアレンジ顔画像からメイクパーツ画像を採用してもよい。
　ここで、ユーザがフィードバック情報を送信する手段の一つとして、ユーザがソーシャル・ネットワーキング・サービス（ＳＮＳ）へフィードバック情報を投稿できるようにしてもよい。ユーザによる投稿を促進するため、例えば、図６のメイク手順情報にフェイスブック、ツイッター（登録商標）、インスタグラム、グーグルプラス等のＳＮＳへのリンク情報を含ませておいてもよい。ユーザがSNSに投稿する際には、投稿内容に自動的にハッシュタグを埋め込んでもよい。これにより、後から投稿情報を収集し、ユーザに人気のメイクデザインや人気の商品の分析を可能にすることができる。
　（変形例１２）
　変形例８で説明したユーザ関連情報には、上述した内容のほか、例えば、ユーザの年齢、性別、国籍、居住地、出身地、肌の悩み、理想の肌状態、医療機関（皮膚科、美容皮膚科、美容整形外科など）で受けた治療の履歴（医療機関名、治療日、治療箇所等）といった内容が含まれてもよい。
　これらの内容は、例えば、店舗、医療機関等の関係者またはユーザ自身によって所定の装置（例えば、メイクアップ支援装置１００、端末装置６００等）から入力される。そして、入力された内容を含むユーザ関連情報は、所定の装置から記憶装置５００に送信され、記憶装置５００においてユーザ識別情報に紐付けられて記憶される。
　そして、メイクアップ支援装置１００は、例えば、メイク手順情報を生成した際に、ユーザ関連情報（例えば、国籍、年齢、性別など）と、生成されたメイク手順情報とを対応付けて、所定の装置（例えば、化粧品の開発会社や販売店舗）へ出力してもよい。これらの情報の対応付けにより、どのような属性のユーザがどのようなメイクが好みであるかが分かる。そのため、化粧品の開発、接客の際のアドバイスや商品の推薦等に活用できる。
　（変形例１３）
　上記実施の形態では、メイクパーツ支援装置１００が、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理、および、メイク手順情報の生成処理の両方を行う場合を例に挙げて説明したが、テンプレートデータおよびアレンジデータ（メイクパーツ画像テーブル）の作成処理は、メイクアップ支援装置１００以外の装置で行われてもよい。
　（変形例１４）
　メイクアップ支援装置１００の構成要素（画像取得部１０１、画像解析部１０２、画像決定部１０３、情報生成部１０４）の一部は、他の構成要素と物理的に離隔していてもよい。この場合、離隔された構成要素同士は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、メイクアップ支援装置１００の機能の一部は、クラウド化されていてもよい。
　（変形例１５）
　また、図６のメイク手順情報に記載の製品情報７５には、各製品の購入サイトへのリンク情報が含まれていてもよい。これにより、ユーザはメイク手順情報から任意の製品情報を選択して製品購入サイトを表示し、オンラインで製品を購入することができる。この時、ユーザは、製品情報から製品購入サイトに直接アクセスするのではなく、製品情報から購入サイトアクセス情報取得サイトを経由して製品購入サイトへアクセスする。購入サイトアクセス情報取得サイトにおいて、各ユーザがメイク手順情報から製品購入サイトへアクセスしたことを記録する。これにより、複数のユーザによる製品購入サイトへのアクセス情報が記録され蓄積されるため、特定のユーザの好みの製品や、複数のユーザに人気の製品やトレンドを分析することが可能になる。
　（変形例１６）
　図１の情報生成部１０４により生成されたメイク手順情報は、メイクアップ支援装置１００と物理的に接続された端末装置６００で表示されてもよいし、メイクアップ支援装置１００と物理的に接続されていない別の端末装置（以下、表示端末という）で表示されてもよい。表示端末がメイクアップ支援装置１００と物理的に接続されていない場合であっても、さまざまな無線通信の手法によりネットワーク接続可能である。メイクアップ支援装置１００と物理的に接続されていない表示端末でメイク手順情報を表示する手法としては、生成されたメイク手順情報を情報生成部１０４がクラウド上にアップロードし、表示端末がクラウド上のメイク手順情報にアクセスして取得し、表示してもよい。この場合、表示端末がメイク手順情報へアクセスするための方法として、電子メールでメイク手順情報へのURLを表示端末に通知する、または、QRコード（登録商標）を表示端末で読み取ることにより、表示端末がメイク手順情報へのリンクを取得するようにしてもよい。
　＜本開示のまとめ＞
　本開示のメイクアップ支援装置は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が前記閾値より大きい場合、一部の顔パーツについては、アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用する画像決定部と、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、を有する。
　なお、上記メイクアップ支援装置において、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、ターゲット顔画像から抽出された所定の顔パーツに関する顔特徴量との第１の差分値が、閾値以下であるかを判定し、第１の差分値が閾値以下である場合、ターゲット顔画像において所定の顔パーツに定められているメイクアイテムを採用し、第１の差分値が閾値より大きい場合、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、アレンジ顔画像から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下である場合、アレンジ顔画像において所定の顔パーツに定められているメイクアイテムを採用する。
　また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、閾値以下である第２の差分値のうち最小値のアレンジ顔画像に定められているメイクアイテムを採用する。
　また、上記メイクアップ支援装置において、画像取得部は、複数のアレンジ顔画像を取得し、画像決定部は、ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、複数のアレンジ顔画像の各々から抽出された所定の顔パーツに関する顔特徴量との第２の差分値が、閾値以下であるかを判定し、第２の差分値が閾値以下であるアレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められているメイクアイテムを採用する。
　また、上記メイクアップ支援装置において、重み付けは、ユーザの属性を示す情報、ユーザのメイクの嗜好を示す情報、または、ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される。
　また、上記メイクアップ支援装置において、画像決定部は、採用されたメイクアイテムの画像をユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する。
　また、上記メイクアップ支援装置において、メイク手順情報は、少なくとも、採用されたメイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む。
　また、上記メイクアップ支援装置において、メイクアイテムの画像は、予め定められたメイクアイテムの形状と色を示す画像、または、予め定められたメイクアイテムの形状のみを示す画像のいずれかである。
　本開示のメイクアップ支援方法は、ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得し、ユーザ顔画像から抽出された顔特徴量と、ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、ターゲット顔画像に定められた顔パーツ毎のメイクアイテムを採用し、差分値が閾値より大きい場合、上記一部の顔パーツについては記アレンジ顔画像に定められたメイクアイテムを採用し、その他の顔パーツについては、ターゲット顔画像に定められたメイクアイテムを採用し、採用されたメイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する。
　本開示に係るメイクアップ支援装置およびメイクアップ支援方法は、ユーザのメイクを支援するメイクアップ支援装置およびメイクアップ支援方法として有用である。
　１　メイク支援システム
　１００　メイクアップ支援装置
　１０１　画像取得部
　１０２　画像解析部
　１０３　画像決定部
　１０４　情報生成部
　２００　撮像装置
　３００　表示装置
　４００　操作装置
　５００　記憶装置
　６００　端末装置

Claims (9)

  1. 　ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得する画像取得部と、
    　前記ユーザ顔画像から抽出された顔特徴量と、前記ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、前記ターゲット顔画像に定められた前記顔パーツ毎の前記メイクアイテムを採用し、前記差分値が前記閾値より大きい場合、前記一部の顔パーツについては、前記アレンジ顔画像に定められた前記メイクアイテムを採用し、その他の顔パーツについては、前記ターゲット顔画像に定められた前記メイクアイテムを採用する画像決定部と、
    　採用された前記メイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成し、所定の装置へ出力する情報生成部と、
    　を有する、メイクアップ支援装置。
  2. 　前記画像決定部は、
    　前記ユーザ顔画像から抽出された所定の顔パーツに関する顔特徴量と、前記ターゲット顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第１の差分値が、前記閾値以下であるかを判定し、
    　前記第１の差分値が前記閾値以下である場合、前記ターゲット顔画像において前記所定の顔パーツに定められている前記メイクアイテムを採用し、
    　前記第１の差分値が前記閾値より大きい場合、前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記アレンジ顔画像から抽出された前記所定の顔パーツに関する顔特徴量との第２の差分値が、前記閾値以下であるかを判定し、
    　前記第２の差分値が前記閾値以下である場合、前記アレンジ顔画像において前記所定の顔パーツに定められている前記メイクアイテムを採用する、
    　請求項１に記載のメイクアップ支援装置。
  3. 　前記画像取得部は、
    　複数の前記アレンジ顔画像を取得し、
    　前記画像決定部は、
    　前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
    　前記閾値以下である前記第２の差分値のうち最小値の前記アレンジ顔画像に定められている前記メイクアイテムを採用する、
    　請求項２に記載のメイクアップ支援装置。
  4. 　前記画像取得部は、
    　複数の前記アレンジ顔画像を取得し、
    　前記画像決定部は、
    　前記ユーザ顔画像から抽出された前記所定の顔パーツに関する顔特徴量と、前記複数のアレンジ顔画像の各々から抽出された前記所定の顔パーツに関する顔特徴量との前記第２の差分値が、前記閾値以下であるかを判定し、
    　前記第２の差分値が前記閾値以下である前記アレンジ顔画像のうち、予め重み付けがされた前記アレンジ顔画像に定められている前記メイクアイテムを採用する、
    　請求項２に記載のメイクアップ支援装置。
  5. 　前記重み付けは、
    　前記ユーザの属性を示す情報、前記ユーザのメイクの嗜好を示す情報、または、前記ユーザ顔画像から抽出された所定の顔パーツ間の相対関係を示す情報に基づいて設定される、
    　請求項４に記載のメイクアップ支援装置。
  6. 　前記画像決定部は、
    　採用された前記メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を生成し、所定の表示装置へ出力する、
    　請求項１に記載のメイクアップ支援装置。
  7. 　前記メイク手順情報は、
    　少なくとも、採用された前記メイクアイテムの名称の情報、該メイクアイテムの使用方法の情報、該メイクアイテムの画像を前記ユーザ顔画像に重畳したシミュレーション画像を含む、
    　請求項１に記載のメイクアップ支援装置。
  8. 　前記メイクアイテムの画像は、
    　予め定められた前記メイクアイテムの形状と色を示す画像、または、予め定められた前記メイクアイテムの形状のみを示す画像のいずれかである、
    　請求項７に記載のメイクアップ支援装置。
  9. 　ユーザ顔画像と、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたターゲット顔画像と、前記ターゲット顔画像と比較して一部の顔パーツの特徴が異なり、所定形状と所定色とを有するメイクアイテムが顔パーツ毎に定められたアレンジ顔画像と、を取得し、
    　前記ユーザ顔画像から抽出された顔特徴量と、前記ターゲット顔画像から抽出された顔特徴量との差分値が閾値以下である場合、前記ターゲット顔画像に定められた前記顔パーツ毎の前記メイクアイテムを採用し、前記差分値が前記閾値より大きい場合、前記一部の顔パーツについては、前記アレンジ顔画像に定められた前記メイクアイテムを採用し、その他の顔パーツについては、前記ターゲット顔画像に定められた前記メイクアイテムを採用し、
    　採用された前記メイクアイテムを使用する際の手順をユーザに提示するメイク手順情報を生成する、
    　メイクアップ支援方法。
PCT/JP2017/020453 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法 Ceased WO2018012136A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018527432A JP6956389B2 (ja) 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法
EP17827269.6A EP3485762A4 (en) 2016-07-14 2017-06-01 MAKE-UP ASSISTANCE AND MAKE-UP ASSISTANCE PROCEDURES
CN201780037788.5A CN109310196B (zh) 2016-07-14 2017-06-01 化妆辅助装置以及化妆辅助方法
US16/209,075 US10799010B2 (en) 2016-07-14 2018-12-04 Makeup application assist device and makeup application assist method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-139500 2016-07-14
JP2016139500 2016-07-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/209,075 Continuation US10799010B2 (en) 2016-07-14 2018-12-04 Makeup application assist device and makeup application assist method

Publications (1)

Publication Number Publication Date
WO2018012136A1 true WO2018012136A1 (ja) 2018-01-18

Family

ID=60952570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020453 Ceased WO2018012136A1 (ja) 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法

Country Status (5)

Country Link
US (1) US10799010B2 (ja)
EP (1) EP3485762A4 (ja)
JP (1) JP6956389B2 (ja)
CN (1) CN109310196B (ja)
WO (1) WO2018012136A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
JP2021103555A (ja) * 2020-07-21 2021-07-15 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
JP2022534458A (ja) * 2020-04-29 2022-08-01 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 画像処理の方法及び装置
JP2022538094A (ja) * 2019-08-21 2022-08-31 ロレアル メイクアップパレットまたは染毛配色の少なくとも一方を推奨するためのコンピューティングデバイス、方法、および装置
WO2023166910A1 (ja) * 2022-03-04 2023-09-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
WO2023166911A1 (ja) * 2022-03-04 2023-09-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP2024003087A (ja) * 2018-04-24 2024-01-11 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
JP7413691B2 (ja) * 2019-09-24 2024-01-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2021131852A1 (ja) * 2019-12-26 2021-07-01
US11636391B2 (en) * 2020-03-26 2023-04-25 International Business Machines Corporation Automatic combinatoric feature generation for enhanced machine learning
CN115171182A (zh) * 2022-06-06 2022-10-11 青岛海信智慧生活科技股份有限公司 一种妆容指导方法、装置、设备及介质
US20250166770A1 (en) * 2023-11-22 2025-05-22 Ronen Yair System and method for generating a body modification protocol

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5772484A (en) 1980-10-22 1982-05-06 Toshiba Corp Conversational design device
JP2000194835A (ja) * 1998-12-28 2000-07-14 Kao Corp 化粧アドバイスシステム
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックＩｐマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324126A (ja) * 2001-04-25 2002-11-08 Sharp Corp メイクアップアドバイス情報供給システム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
US10321747B2 (en) * 2013-02-01 2019-06-18 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014149677A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
EP2988486B1 (en) * 2013-04-17 2020-03-11 Panasonic Intellectual Property Management Co., Ltd. Selection of a suitable image for receiving on-screen control
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US10324739B2 (en) * 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5772484A (en) 1980-10-22 1982-05-06 Toshiba Corp Conversational design device
JP2000194835A (ja) * 1998-12-28 2000-07-14 Kao Corp 化粧アドバイスシステム
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックＩｐマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3485762A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7703613B2 (ja) 2018-04-24 2025-07-07 エルジー・エイチアンドエイチ・カンパニー・リミテッド 移動端末機及び化粧品自動認識システム
US12282986B2 (en) 2018-04-24 2025-04-22 Lg Household & Health Care Ltd. Mobile terminal and cosmetics automatic recognition system
JP2024003087A (ja) * 2018-04-24 2024-01-11 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
CN109165571B (zh) * 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
US11205290B2 (en) 2018-08-03 2021-12-21 Beijing Bytedance Network Technology Co., Ltd. Method and device for inserting an image into a determined region of a target eye image
JP2022538094A (ja) * 2019-08-21 2022-08-31 ロレアル メイクアップパレットまたは染毛配色の少なくとも一方を推奨するためのコンピューティングデバイス、方法、および装置
JP7183414B2 (ja) 2020-04-29 2022-12-05 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 画像処理の方法及び装置
JP2022534458A (ja) * 2020-04-29 2022-08-01 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 画像処理の方法及び装置
US11798193B2 (en) 2020-07-21 2023-10-24 Beijing Baidu Netcom Science And Technology Co., Ltd. Multi-dimensional image detection on at least two acquired images
JP7051267B2 (ja) 2020-07-21 2022-04-11 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
JP2021103555A (ja) * 2020-07-21 2021-07-15 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
WO2023166910A1 (ja) * 2022-03-04 2023-09-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
WO2023166911A1 (ja) * 2022-03-04 2023-09-07 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
CN109310196B (zh) 2021-08-10
CN109310196A (zh) 2019-02-05
US10799010B2 (en) 2020-10-13
EP3485762A4 (en) 2019-07-24
JPWO2018012136A1 (ja) 2019-04-25
US20190104827A1 (en) 2019-04-11
JP6956389B2 (ja) 2021-11-02
EP3485762A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
JP6956389B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
Zhang et al. Computer models for facial beauty analysis
TWI573093B (zh) 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
JP7661380B2 (ja) 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法
US8208694B2 (en) Method and system for image and video analysis, enhancement and display for communication
US20220414958A1 (en) Digital makeup artist
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
CN109840825A (zh) 基于用户的物理特征的推荐系统
WO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
US11178956B1 (en) System, method and mobile application for cosmetic and skin analysis
CN107944093A (zh) 一种口红配色选择方法、电子设备及存储介质
CN104951770B (zh) 人脸图像数据库的构建方法、应用方法及相应装置
KR102532561B1 (ko) 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법
JPWO2022002961A5 (ja)
Dantcheva et al. Assessment of female facial beauty based on anthropometric, non-permanent and acquisition characteristics
JP6320844B2 (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
JP2002324126A (ja) メイクアップアドバイス情報供給システム
JP7550355B2 (ja) 服装学習方法、服装学習システム、及び、プログラム
KR20210019182A (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
HK1261761A1 (zh) 化妆辅助装置以及化妆辅助方法
KR20230117240A (ko) 디지털 메이크업 팔레트
JP7809315B2 (ja) 顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法、同適合度合いを評価するシステム、推奨システム及び眼鏡の設計システム
US20250391288A1 (en) Look Suggester System Utilizing Favorited, Saved, and Liked Photos and Videos to Recreate Flattering Looks Based on User's Unique Facial Features
US20250391122A1 (en) Accurate Cosmetic Application through Advanced Facial Mapping

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018527432

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827269

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017827269

Country of ref document: EP

Effective date: 20190214