[go: up one dir, main page]

JP2012181688A - 情報処理装置、情報処理方法、情報処理システムおよびプログラム - Google Patents

情報処理装置、情報処理方法、情報処理システムおよびプログラム Download PDF

Info

Publication number
JP2012181688A
JP2012181688A JP2011044274A JP2011044274A JP2012181688A JP 2012181688 A JP2012181688 A JP 2012181688A JP 2011044274 A JP2011044274 A JP 2011044274A JP 2011044274 A JP2011044274 A JP 2011044274A JP 2012181688 A JP2012181688 A JP 2012181688A
Authority
JP
Japan
Prior art keywords
makeup
image
unit
face
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2011044274A
Other languages
English (en)
Inventor
Mari Saito
真里 斎藤
Tatsuoki Kashiwatani
辰起 柏谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011044274A priority Critical patent/JP2012181688A/ja
Priority to US13/400,980 priority patent/US20120223956A1/en
Publication of JP2012181688A publication Critical patent/JP2012181688A/ja
Priority to US14/980,630 priority patent/US10945514B2/en
Priority to US17/189,915 priority patent/US20210177124A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】化粧支援技術を向上させる情報処理装置、情報処理方法、情報処理システムおよびプログラムを提供する。
【解決手段】画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。
化粧を支援する技術として、化粧完成後の状態をシミュレーションする化粧シミュレーションが様々提案されている。
例えば、特許文献１では、ユーザの肌画像において小じわや毛穴等の肌の表面凹凸状態を変化させたシミュレーション画像を表示する方法が提案されている。これにより、特定の化粧品を使用することにより改善される小じわや毛穴の目立ち具合を提示することができる。また、特許文献２では、屋内の人工光下と屋外の自然光下では化粧の印象が異なることを考慮し、様々な光の状態の下で化粧の印象を映像化する補助装置が提案されている。これによりユーザは任意のイベントに最適な化粧を選ぶことができる。
さらに、特許文献３では、被写体の二次元の顔画像を取得し、標準塗布形状を被写体の顔画像に変形合成することにより、所望する化粧品を塗布した状態を生成する化粧シミュレーション装置が提案されている。
特開２００６−１３３８５６号公報 特開２００１−１８６９２３号公報 特開２００９−５３９８１号公報
しかし、上記化粧シミュレーションにより生成される合成画像は、顔正面からの静止画像であるため、リアルタイムに様々な角度からの化粧シミュレーションを確認することが出来ないという問題があった。また、化粧完成後の状態を確認できても、実際にユーザ自ら化粧を実践してシミュレーションされた状態にすることは困難であった。したがって、化粧シミュレーションなどの化粧支援技術をさらに向上することが求められる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、化粧支援技術を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、情報処理システムおよびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置が提供される。
また、前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示してもよい。
また、前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示してもよい。
また、前記情報処理装置は、前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備えてもよい。
また、前記情報処理装置は、前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、をさらに備え、前記化粧パターンは、前記化粧技術情報から構成され、前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成してもよい。
また、前記情報処理装置は、前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示してもよい。
また、前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更されてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するステップと、前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、を含む情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；を備え、前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する情報処理システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像を撮像する撮像部と、前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、化粧支援技術を向上させることが可能である。
第１の実施形態に係る化粧支援装置の概要を示す図である。 第１の実施形態に係る化粧支援装置の構成の一例を示すブロック図である。 第１の実施形態に係る化粧支援装置により実行される化粧支援処理を示すフローチャートである。 図３に示すシミュレーション提示処理について説明するためのフローチャートである。 第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。 第１の実施形態に係る化粧支援装置とユーザとの位置関係を示す図である。 化粧技術情報の一例を示す図である。 第１の実施形態に係る化粧支援装置の表示制御の一例を説明するための図である。 変形例１の化粧支援装置の構成の一例を示すブロック図である。 変形例２の化粧支援装置の表示画面を示す図である。 第２の実施形態に係る化粧支援システムの概要を示す図である。 第２の実施形態に係る化粧支援装置の構成の一例を示す図である。 第３の実施形態に係る化粧支援システムの概要を示す図である。 第３の実施形態に係る化粧支援装置の構成の一例を示す図である。 第４の実施形態に係る化粧支援システムの概要を示す図である。 第４の実施形態に係る化粧支援装置の構成の一例を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
（１−１）化粧支援装置の概要
（１−２）化粧支援装置の構成例
（１−３）処理の流れの例
（１−４）ＡＲ画像の例
（１−５）変形例
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．まとめ
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を化粧支援技術に適用する。これによれば、ユーザの化粧技術を向上させることができる。
ＡＲ技術を利用した化粧支援技術は、化粧完成後の状態をシミュレーションしてユーザに示す化粧支援のためのシステムに適用可能である。また、前記システムでは、実際にシミュレーション通りに化粧を行うことは一般のユーザにとって困難であることを考慮して、ＡＲ技術を利用した化粧支援技術は、化粧完成後だけでなく化粧途中の手順を表示し、これにより、化粧支援技術をさらに向上させることが可能である。
以下の＜１．第１の実施形態＞〜＜６．第６の実施形態＞の説明では、情報処理装置の一例である化粧支援装置を用いて、化粧技術を向上させるシステムについて説明する。
＜１．第１の実施形態＞
（１−１）化粧支援装置の概要
まず、第１実施形態に係る化粧支援装置１の概要を、図１を参照しながら説明する。図１に示すように、本実施形態に係る化粧支援装置１は、タッチパネルディスプレイを備えたタブレット型の端末である。よって、表示部１８は、表示機能だけでなく、ユーザからの操作入力を受け付ける操作部１９としても機能する。図１に示す例では、化粧支援装置１に設けられるカメラ１０によりユーザの顔画像を撮像する。表示部１８には当該顔画像に仮想的な化粧画像が重畳されたＡＲ画像が表示される。ここでは、ユーザの顔画像が実空間の映像であり、化粧画像が、実空間の映像に重畳される仮想的なオブジェクトである。
仮想的な化粧画像とは、例えば化粧完成の状態を示す化粧完成画像や、化粧の途中において化粧の手順や仕方を示すために使用される化粧動作画像を含む。ユーザは、自分の顔画像に化粧完成画像が重畳されたＡＲ画像を見ることで、事前に化粧完成後の状態を確認することができる。特に、化粧動作画像は、化粧の手順や仕方を静的又は動的に表示するために、化粧の途中においてユーザの実際の顔パーツに重畳して表示される。化粧の手順を、ユーザの顔パーツに重畳して動的に表示することにより、ユーザは化粧の際の手の動きを知ることができる。よって、ユーザは、自分の顔画像に化粧動作画像が重畳されたＡＲ画像を見ながら、化粧動作画像と同様に手を動かすだけで容易に自ら化粧を行うことができる。これにより、言語での化粧アドバイスに比べて、ユーザの化粧技術がより向上する。ここで、表示部１８には、カメラ１０で撮像した画像の左右が反転して表示される。これにより、ユーザは自分の顔を化粧鏡で写したように見える。なお、表示部１８に表示されるＡＲ画像については、後述する「（１−４）ＡＲ画像の例」において図６〜図８を参照して詳細に説明する。
（１−２）化粧支援装置の構成例
次に、図２を参照して、本実施形態に係る化粧支援装置１の構成の一例について説明する。図２に示すように、化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
カメラ１０は、実空間を撮像することにより画像（映像）を取得する撮像部の一例である。カメラ１０は、ユーザの顔画像を撮像する。ユーザは、化粧支援装置１を利用して化粧を行う際、化粧支援装置１に顔を向ける。よって、化粧支援装置１に設けられたカメラ１０は、ユーザの顔を撮像することになる。カメラ１０は、撮像した画像を画像認識部１１へ出力する。例えばユーザの顔を撮像した画像の一例として、図５の左図に示した画像（映像）１８１を画像認識部１１へ出力する。
画像認識部１１は、カメラ１０から取得した撮像画像に対して画像認識処理を実行する。具体的には、画像認識部１１の顔・パーツ認識部１１０により、まず撮像画像内の顔を認識し、顔を認識できた場合は、次いで、顔パーツを認識する。顔・パーツ認識部１１０は、パターン認識などの公知の画像認識手法を用いて顔および顔パーツを認識してもよい。顔・パーツ認識部１１０は、認識結果（顔パーツ、顔パーツ位置情報）をユーザ顔情報分析部１２に出力する。なお、顔・パーツ認識部１１０は、撮像画像内にユーザの顔の一部や肩や首、頭、髪等が存在することを認識した場合にも、撮像画像内の顔を認識したと判断することができる。
また、画像認識部１１のＳＬＡＭ処理部１１１により、例えば、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されているＳＬＡＭ（Simultaneous Localization and Mapping）技術の原理に従って、顔・顔パーツの３次元位置、姿勢や、カメラ１０の３次元位置、姿勢が認識される。これにより、ユーザが自ら化粧を行う間、目や口などの顔パーツが手で隠れたり、顔の向きを変えたりした場合でも、ＳＬＡＭ処理部１１１は、最初やその後に認識された目や口などの顔パーツが、次の画像でどこに移動したかをトラッキングすることにより、顔の動きに追従して顔パーツの位置を認識することができる。
ユーザ顔情報分析部１２は、顔・パーツ認識部１１０から出力された認識結果（顔パーツ情報）に基づいて、顔情報を分析する。具体的には、顔パーツ情報に含まれる顔パーツ位置および顔パーツ画像から、肌の質、肌理および髪質などの質感に関する情報や、輪郭、パーツの配置および髪型などの形状に関する情報を分析する。ユーザ顔情報分析部１２は、分析した顔情報を推薦化粧パターン判断部１３に出力する。
化粧技術ＤＢ１４には、パターン毎に化粧技術情報が格納されている。推薦化粧パターン判断部１３は、化粧技術ＤＢ（データベース）１４に格納されている化粧技術情報に基づいて、ユーザ顔情報分析部１２から取得した顔情報に対して推薦する化粧パターンを判断する。
推薦する化粧パターンは、一般的な流行だけでなく、地域的、年代的など、ユーザの所属する小規模なコミュニティにふさわしい化粧パターンを推薦することも可能である。ユーザが所属する地域、年代等はユーザ自らユーザ情報として入力する。また、性別を入力し、男性に適した化粧パターンを推薦することも可能である。
図３は、化粧技術情報の一例を示す図である。化粧技術情報は、図３に示すように、Ｐａｔｔｅｒｎ ＩＤ：化粧パターンのＩＤ、Ｃｏｎｔｅｘｔ ＩＤ：Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒなど化粧目的や環境などのＩＤ、Ｐｒｏｃｅｓｓ：手順の番号、Ｉｔｅｍ ＩＤ: 化粧品（商品）のＩＤ、Ｔｏｏｌ ＩＤ:パフ、筆のような道具のＩＤ、Ａｃｔｉｏｎ ＩＤ：道具につける、描く、はたく、押しつけるなどの動作ＩＤ、Ｐａｒｔｓ ＩＤ：目、眉毛など、顔上にあるパーツのＩＤ、Ｐｒｅｓｓｕｒｅ：道具への圧力、Ｄｉｒｅｃｔｉｏｎ：道具の動作方向、Ｍｏｔｉｏｎ：道具の動き、Ｄｉｓｔａｎｃｅ：基準となる顔パーツからのズレ、Ｌｅｎｇｔｈ：化粧品を付ける長さ（距離）のデータを有する。
Ｃｏｎｔｅｘｔ ＩＤは、ユーザが予め化粧目的や環境を設定するモード設定を行った場合に利用される情報であり、推薦化粧パターン判断部１３は、顔情報に加えて設定されたモードを参照して推薦化粧パターンを判断する。なお、推薦化粧パターンの判断は、推薦の順序を決める判断でもよい。この場合、例えば上位３つの化粧パターンを推薦化粧パターンとしてユーザに提示し、ユーザがいずれの化粧パターンも選択しなかった場合にさらに次の３つの化粧パターンを推薦化粧パターンとして提示する。
図３に示す化粧技術情報は化粧の仕方（動作）を示す情報であるが、これらは化粧完成画像の生成にも利用され得る。推薦化粧パターン判断部１３は、推薦化粧パターンの化粧技術情報を画像生成部１５に出力する。若しくは、推薦化粧パターンのＩＤを出力し、画像生成部１５が当該ＩＤに基づいて化粧技術ＤＢから推薦化粧パターンの化粧技術情報を取得してもよい。
画像生成部１５は、推薦化粧パターンの化粧技術情報に基づいて撮像画像に重畳する仮想情報である化粧画像を描画し、ＳＬＡＭ処理部１１１の認識結果（３次元位置・姿勢）に含まれる顔パーツの位置、姿勢に対応させて化粧画像を変形させる。また、画像生成部１５は、顔・パーツ認識部１１０から出力される認識結果（顔パーツ情報）を利用して化粧画像を変形させてもよい。画像生成部１５が生成する化粧画像については、「（１−４）ＡＲ画像の例」で詳述する。画像生成部１５は、生成した化粧画像を表示制御部１７に出力する。
表示制御部１７は、実空間を撮像した画像に、仮想的な化粧画像を重畳したＡＲ画像を表示部１８に表示させる。これにより、ユーザは表示部１８に表示される自分の顔画像に対して行われる化粧の動作や、化粧後の自分の顔を見ることができる。
（１−３）処理の流れの例
次に、図４および図５のフローチャートを用いて、第１実施形態に係る化粧支援装置１における処理の流れを説明する。
まず、ステップＳ６２において、カメラ１０によりユーザの顔を撮像した画像（撮像画像）が入力される。次いで、ステップＳ６４において、撮像画像が表示部１８に表示される。次いで、ステップＳ６５において、ユーザによるモード設定を行ってもよい。モード設定により、Ｕｓｕａｌ、Ｐａｒｔｙ、Ｏｕｔｄｏｏｒ、Ｄａｔｅなど化粧目的や環境などの情報を入力することで（ステップＳ６６）、ユーザの所望するモードに適した化粧パターンが推薦されるよう設定する。
一方、ユーザによるモード設定が行われなかった場合は（ステップＳ６５／Ｎｏ）、ステップＳ６７において、画像認識部１１により撮像画像から顔パーツが認識される。続いて、ステップＳ６８において、ユーザ顔情報分析部１２は、画像認識部１１で認識された顔パーツから顔情報を分析する。
次に、ステップＳ７０において、推薦化粧パターン判断部１３により推薦する化粧パターンを判断し、ユーザの顔に重畳して提示する。推薦化粧パターン判断部１３は、ユーザ顔情報分析部１２から出力された顔情報、又はユーザによりモード設定が行われた場合は設定されたモードを考慮し、化粧技術ＤＢ１４に格納される各化粧パターンからユーザに適する化粧パターンを推薦化粧パターンとして判断する。推薦化粧パターンは、表示部１８に表示されることによりユーザに提示される。ここで、表示部１８に提示される化粧推薦パターンは、図６に示す見本画像１８２ａ〜ｃのように、予め生成されたモデルの顔に化粧が施された画像でもよい。
ステップＳ７２で複数の推薦化粧パターンが提示された場合は（ステップＳ７２／Ｙｅｓ）、ステップＳ７４においてユーザにより任意の推薦化粧パターンが選択される。
次に、ステップＳ７６において、化粧支援装置１は、推薦化粧パターンから生成される仮想的な化粧画像を実空間の顔を撮像した画像に重畳したＡＲ画像を表示部１８に表示させる処理を行う（図６に示すＡＲ画像１８３参照）。かかるシミュレーション提示処理（ＡＲ画像表示処理）については、図５のフローチャートを用いて後述する。
次に、ステップＳ７８において、シミュレーション提示された推薦化粧パターンの決定確認がユーザによりＯＫされると、ステップＳ８０において、決定された化粧パターンの化粧動作画像が提示される。化粧動作画像については図８を参照して後述する。
一方、提示された推薦化粧パターン中に好みの化粧パターンが無かった場合は（ステップＳ７８／Ｎｏ）、次の推薦化粧パターンが提示される（ステップＳ７０）。例えば推薦化粧パターン判断部１３により推薦リストが生成されている場合は、リストの上位から順に推薦化粧パターンとして提示される。ステップＳ７０〜Ｓ７８は、好みの化粧パターンが選択されるまで繰り返し処理される。なお、ステップＳ６６におけるモード設定からやりなおしてもよい。
以上、本実施形態に係る化粧支援装置１における処理について説明した。続いて、上述したステップＳ７６に示すシミュレーション提示処理について図５を参照して説明する。
まず、図５に示すように、ステップＳ８４において、顔・パーツ認識部１１０により撮像画像から顔パーツ位置を認識する処理が行われる。顔パーツ位置が認識された場合は（ステップＳ８６／Ｙｅｓ）、ステップＳ８８において、顔特徴点の属性が更新される。顔特徴点とは、ＳＬＡＭ処理で３次元認識のために追跡する画像中の認識対象であるオブジェクト（本実施形態では、顔・顔パーツ）上のランドマークである。
さらに、ステップＳ９０において、ＳＬＡＭ処理部１１１により撮像画像中の認識対象である顔パーツの３次元位置、姿勢を認識する処理を行う。
上記各認識処理によって撮像画像中の顔パーツの位置が認識出来ると（ステップＳ９２／Ｙｅｓ）、続いてステップＳ９４において、化粧画像生成部１５により仮想的な化粧画像を生成する。次いで、ステップＳ９６において、実空間の撮像画像であるユーザの顔に仮想情報である化粧画像を重畳させたＡＲ画像を表示する。
以上、本実施形態に係る化粧支援装置１におけるシミュレーション提示処理について説明した。次に、本実施形態に係る化粧支援装置１の表示部１８に表示されるＡＲ画像の例について図面を参照して説明する。
（１−４）ＡＲ画像の例
本実施形態に係るＡＲ画像は、実空間を撮像した撮像画像に仮想的な化粧画像を重畳させた画像である。重畳させる化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧完成画像でもよい。例えば、図６のＡＲ画像１８３のように、仮想的な化粧完成画像１８５がユーザの顔画像１８１に重畳される。これにより、ユーザは推薦化粧パターンで化粧を行った場合の完成状態を事前に確認することができる。
さらに、ユーザは様々な角度からＡＲ画像を確認することが可能である。以下、図６および図７を参照して説明する。
ユーザは、図６のＡＲ画像１８３で顔正面からの化粧状態を確認した後、次に横顔の化粧状態を確認したい場合は、例えば図７に示すように横を向く。これにより、カメラ１０で撮像する画像中のユーザの顔の位置、姿勢が変化する。ここで、図４に示すシミュレーション提示処理は繰り返し行われているため、画像内のユーザの顔の位置、姿勢が変化した場合には、その変化をリアルタイムにトラッキングすることができ、これにより、画像内のユーザの変化に伴って仮想情報である化粧画像を重畳する位置や形状を変化させることができる。したがって図６のＡＲ画像１８４に示すように、仮想的な化粧完成画像は、認識される顔パーツの位置をトラッキングして形状を変化させながら表示される。よって、ユーザはリアルタイムに様々な角度からＡＲ画像を確認することができる。
また、重畳させる仮想的な化粧画像は、化粧パターンの化粧技術情報に基づいて生成される化粧動作画像でもよい。例えば図３に示す化粧技術情報のパターンＩＤ「Ｐ−００００１」の化粧パターンの場合は、プロセス００１；Ｔ−２２１の道具に、２０の圧で、Ｉ−２０１の化粧品を付け、次に、プロセス００２；Ｐ−００２の顔パーツ（例えば頬）に、ズレなしで（Ｄｉｓｔａｎｃｅ＝０）、１２の圧力で、直線（Ｍｏｔｉｏｎ＝２）で、長さ（Ｌｅｎｇｔｈ）２１でＩ−２０１の化粧品を塗る手順を示す化粧動作画像が重畳表示される。重畳表示される化粧動作画像は上記プロセスの番号順に表示されるが、次の手順の化粧動作画像を表示するタイミングについては後述する変形例で一例を説明する。
化粧動作画像は、図６を用いて説明した化粧完成画像と同様に、画像内のユーザの顔パーツの位置、姿勢の変化に応じて重畳位置が変化する（トラッキング表示）。したがって、例えば図８に示すように、アイブローペンシルを持った手が点線で示された化粧領域に沿って動く化粧動作画像１８７ａは、画像内のユーザの顔パーツの位置、姿勢の変化に応じて、化粧動作画像１８７ｂに変化する。すなわち、化粧動作画像は顔パーツにトラッキングする。よって、ユーザはリアルタイムに様々な角度から化粧手本とする化粧動作画像を確認することができ、より忠実に化粧を行うことができる。
以上、ＡＲ画像の例について説明した。なお、仮想的な化粧画像は２次元情報でもよいし、３次元情報でもよい。
（１−５）変形例
次に、上述した第１の実施形態に係る化粧支援装置１の変形例について図９を参照して説明する。図９は、本変形例に係る化粧支援装置の構成を示すブロック図である。本変形例に係る化粧支援装置は、図９に示すように、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧技術ＤＢ１４、化粧画像生成部１５、化粧進行度判断部１６、表示制御部１７、表示部１８および操作部１９を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
化粧進行度判断部１６は、画像認識部１１から出力された認識結果と、予め生成された化粧完成画像とを比較することにより、ユーザによる現実の化粧進行度を判断する。化粧画像生成部１５は、化粧進行度判断部１６から出力された進行度に応じて、重畳表示する化粧動作画像を変化させる。その他の構成は前述と同様であるため、詳細な説明は省略する。
上記構成により、例えば、ユーザが行っている化粧が完成に近付くほど、化粧動作画像を透明化させることができる。これにより、ユーザは現在行っている化粧がどの程度完成に近付いているか視覚的に確認することができる。また、次の手順の化粧動作画像を表示するタイミングを、ユーザが行った化粧の進行度に応じて決定してもよい。これにより、示した手順による化粧が完成すると自動的に次の手順の化粧動作画像が表示される。
上述した次の手順の化粧動作画像を表示するタイミングは、ユーザの操作をトリガとしてもよい。例えば、次の手順の表示が指示された場合は、強制的に次の手順の化粧動作画像を表示する。また、ユーザの操作により手順をスキップすることも可能である。さらに、ユーザの手が近付いた顔パーツの化粧動作画像を表示してもよい。なお、化粧手順的に手順を変更することが好ましくない場合は、その旨の警告を表示してもよい。
また、図１０に示すように、化粧動作画像を重畳させたＡＲ画像１９０に加えて、化粧完成画像を重畳した画像１９１を表示していてもよい。これにより、ユーザは化粧完成状態も確認しながら化粧を行うことができる。
＜２．第２の実施形態＞
次に、本発明の第２の実施形態による化粧支援システムについて図１１および図１２を参照して説明する。本実施形態により、所望するメークアップアーティストの化粧サービスを受けることができる。
図１１は、本実施形態による化粧支援システムの概要を示す図である。図１１に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３０および化粧技術取得装置４がネットワーク６を介して接続されて構成される。
化粧技術取得装置４は、カメラ４０、モーションセンサ４１および圧力センサ４２などの各種情報取得部を有する。かかる化粧技術取得装置４により、メークアップアーティストの化粧技術を取得し、サーバ３０が有する化粧技術ＤＢ３０２に格納する。具体的には、メークアップアーティストの腕や手指に各種センサを付けて、化粧道具を化粧品に付ける時の圧力、顔に化粧を施すときの圧力、軌跡などの情報を取得する。また、カメラ４０で化粧手順を撮像する。さらに、化粧品や化粧道具、マネキンに各種センサを付けて、メークアップアーティストの化粧技術情報を取得してもよい。また、使用する化粧品ＩＤや、複数の化粧品を混合して使う場合はその旨も入力する。
サーバ３０は、技術解析部３０１と化粧技術ＤＢ３０２を有する。技術解析部３０１は、化粧技術取得装置４で取得した各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。化粧技術ＤＢ３０２は、技術解析部３０１で解析された化粧技術情報を格納する。
次に、本実施形態による化粧支援装置１の構成を図１２に示す。図１２に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
通信部２０はサーバ３０と通信接続を確立する。通信部２０による通信は、有線でも無線でもよいが、通常は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信によりサーバ３０との間で情報をやり取りする。これにより、ユーザが所望するメークアップアーティストによる化粧サービスを受けるための通信が可能となる。具体的には、通信部２０は、サーバ３０から化粧技術情報を受信する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
上述したように、サーバ３０の化粧技術ＤＢ３０２には、各メークアップアーティストから取得した化粧技術情報が格納されている。一方、化粧支援装置１では、図１１に示すように、選択可能なメークアップアーティストのリストを表示部１８に表示し、ユーザに選択されたアーティストの化粧技術情報をサーバ３０から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザが所望するメークアップアーティストの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。
なお、本実施形態では少なくとも化粧技術ＤＢにメークアップアーティストから取得した化粧技術情報が格納されていればよいため、図１１に示す化粧技術取得装置４は必ずしも必須の構成ではない。
＜３．第３の実施形態＞
次に、本発明の第３の実施形態による化粧支援システムについて図１３および図１４を参照して説明する。本実施形態により、ユーザ間で化粧技術情報を交換することができる。
図１３は、本実施形態による化粧支援システムの概要を示す図である。図１３に示すように、本実施形態による化粧支援システムは、各ユーザの化粧支援装置１Ａ〜１Ｄおよびサーバ３１がネットワーク６を介して接続されて構成される。
本実施形態による化粧支援装置１の構成を図１４に示す。図１４に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９および通信部２０を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
カメラ１０は、ユーザが自ら化粧を行っている画像を取得し通信部２０に出力する。通信部２０はサーバ３０と通信接続を確立し、カメラ１０から出力された撮像画像をサーバ３０に送信する。さらに通信部２０は、サーバ３０の化粧技術ＤＢ３１２から他ユーザの化粧技術情報を受信する。これにより、他ユーザと化粧技術情報を交換することができる。推薦化粧パターン判断部１３は、通信部２０が取得した他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断する。その他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
サーバ３１は、技術解析部３１１と化粧技術ＤＢ３１２を有する。技術解析部３１１は、各化粧支援装置１から送信されたユーザの化粧動作を撮像した撮像画像から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。技術解析部３１１は、例えばプロの化粧動作画像や基準とする化粧動作画像とユーザの化粧動作画像を比較することにより、その差分を算出して化粧技術を数値化する。化粧技術ＤＢ３１２は、技術解析部３１１で解析された化粧技術情報を格納する。
なお、化粧支援装置１が、モーションセンサ、圧力センサなどの各種センサを備え、ユーザが自ら化粧を行った際に各種センサで取得した情報をサーバ３１に送信してもよい。この場合、技術解析部３１１は、化粧支援装置１から送信された各種情報から化粧技術を解析し、一般化した顔画像を基準として化粧技術を数値化する。
上述したように、サーバ３１の化粧技術ＤＢ３１２には、各ユーザから取得した化粧技術情報が格納されている。一方、化粧支援装置１Ａでは、図１３に示すように、選択可能な他ユーザのリストを表示部１８に表示し、ユーザに選択された他のユーザの化粧技術情報をサーバ３１から取得する。したがって、化粧支援装置１の推薦化粧パターン判断部は、ユーザの友人など他ユーザの化粧技術情報に基づいた化粧パターンからユーザに適した化粧パターンを判断することができる。これにより、友人と化粧技術を切磋琢磨したり、他ユーザの化粧技術を真似したり、プロでなくともアマチュア間で有名になれるなど、化粧支援システムをより活用することができる。
＜４．第４の実施形態＞
次に、本発明の第４の実施形態による化粧支援システムについて図１５および図１６を参照して説明する。本実施形態により、適切な化粧品の情報と化粧品の販売サービスを提供することができる。
図１５は、本実施形態による化粧支援システムの概要を示す図である。図１５に示すように、本実施形態による化粧支援システムは、化粧支援装置１、サーバ３２および各化粧品販売店の売買管理装置５が、ネットワーク６を介して接続されて構成される。
本実施形態による化粧支援装置１の構成を図１６に示す。図１６に示すように、本実施形態による化粧支援装置１は、カメラ１０、画像認識部１１、ユーザ顔情報分析部１２、推薦化粧パターン判断部１３、化粧画像生成部１５、表示制御部１７、表示部１８、操作部１９、通信部２０および化粧品情報提供部２１を有する。画像認識部１１は、顔・パーツ認識部１１０とＳＬＡＭ処理部１１１を有する。
通信部２０はサーバ３２と通信接続を確立し、サーバ３２との間で情報をやり取りする。具体的には、化粧技術情報の受信、化粧ＩＤの送信および化粧品情報の受信をサーバ３２との間で行う。
推薦化粧パターン判断部１３は、通信部２０が受信した化粧技術情報に基づいて推薦化粧パターンを判断する。また、推薦化粧パターン判断部１３は、推薦化粧パターンと判断した化粧パターンの化粧品ＩＤ（図７参照）を、通信部２０を介してサーバ３２に出力する。
化粧品情報提供部２１は、化粧推薦パターン判断部１３から出力された化粧品ＩＤに応じてサーバ３２から送信された化粧品情報をユーザに提供する。例えば、図１５に示すように、表示部１８に化粧品情報として、メーカ、ブランド名、商品名、価格、商品説明などを表示する。これにより、推薦化粧パターンによる化粧をユーザが実施する際に使用すべき適切な化粧品の情報が提供される。さらに、図１５に示すように、表示部１８に化粧品情報と共に購入ボタン１９２を表示することで、ユーザは容易に適切な化粧品の購入手続きを行なうことができる。
なお、本実施形態に係る化粧支援装置１のその他の構成の説明は上記第１の実施形態による化粧支援装置１の構成と同様であるため省略する。
サーバ３２は、化粧技術ＤＢ３２２と化粧品情報ＤＢ３２３を有する。化粧技術ＤＢ３２２は、上記各実施形態における化粧技術ＤＢと同様に化粧技術情報を格納する。化粧情報ＤＢ３２３は、化粧技術ＤＢ３２２に格納される化粧技術情報に含まれる化粧品ＩＤ毎の化粧品情報を格納する。
売買管理装置５は、化粧支援装置１からの化粧品購入要求に応じて商品売買の管理を行う。売買管理装置５は各化粧品販売店が有してもいてもよい。なお、通常のネット販売システム（オンラインショッピング）を利用してもよい。
以上説明したように、本実施形態による化粧支援装置１は、ユーザが推薦化粧パターンを実施するのに必要な化粧品を販売することで化粧支援を行う。
＜５．第５の実施形態＞
次に、本発明の第５の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、化粧による肌への影響を考慮して推薦化粧パターンが判断される。
具体的には、５年後、１０年後等に理想とする肌の質感、肌理等を設定し（将来の顔画像予測値）、現在の顔情報から予想される５年後、１０年後等の肌の質感、肌理等（現状のままによる顔画像予測値）を算出し、その差分を埋められる化粧パターンを推薦化粧パターンとして判断する。なお、現在の顔情報の他、年齢、性別、人種、生活パターンなど肌に影響のある情報をユーザ自ら入力してもよい。
これにより、長期的な視野に立ち、肌の経年変化を考慮した化粧パターンを推薦することができる。
＜６．第６の実施形態＞
次に、本発明の第６の実施形態による化粧支援システムについて説明する。本実施形態による化粧支援装置１は、ユーザがタレントの顔写真などユーザの好む顔画像を入力し、かかる顔画像の分析結果と、ユーザの顔情報から、ユーザの顔がなるべくユーザの好む顔に近付く化粧パターンを推薦化粧パターンと判断する。
これにより、ユーザの好む顔に近付く化粧パターンを推薦することができる。
＜７．まとめ＞
以上説明したように、本発明の実施形態による化粧支援装置１は、ＡＲ技術を利用し、化粧完成後の状態のシミュレーションを行うことにより、化粧支援技術を向上させる。また、ＡＲ技術を利用し、化粧途中の手順を表示することで化粧支援技術をさらに向上させる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記各実施形態では、化粧支援装置１においてすべての処理を実行することとしたが、本発明はかかる例に限定されない。例えば、化粧支援装置１において実行される処理のうち、負荷の高い処理をネットワークで接続されたサーバで実行するようにしてもよい。例えば、カメラ１０で撮像された撮像画像を化粧支援装置１からサーバへ送信して、サーバにより撮像画像のユーザ顔情報分析を行い、推薦化粧パターン判断を行うようにしてもよい。この場合、サーバは、化粧支援装置１から送信された撮像画像から、推薦化粧パターンと判断された化粧パターンの化粧技術情報を化粧支援装置１に送信する。また、サーバで推薦化粧パターンから化粧画像を生成して化粧支援装置１に送信してもよい。また、化粧技術情報を記憶する化粧技術ＤＢ１４をサーバに配置してもよい。
このように、負荷の高い処理をサーバで実行することにより、化粧支援装置１の消費電力を削減することができ、化粧支援装置１で必要となるハードウェア資源を圧縮することができる。また、化粧技術を記憶する化粧技術ＤＢ１４をサーバに配置した場合には、化粧支援装置１の記憶容量を圧縮できるとともに、化粧支援装置間で同一の化粧技術情報を利用したり管理したりすることが容易になる。
１ 化粧支援装置
１０ カメラ
１１ 画像認識部
１２ ユーザ顔情報分析部
１３ 推薦化粧パターン判断部
１４ 化粧技術ＤＢ
１５ 化粧画像生成部
１６ 化粧進行度判断部
１７ 表示制御部
１８ 表示部
１９ 操作部
２０ 通信部
２１ 化粧品情報提供部
３０、３１、３２ サーバ
３０１、３１１ 技術解析部
３０２、３１２、３２２ 化粧技術ＤＢ
３２３ 化粧品技術ＤＢ
４ 化粧技術取得装置
４０ カメラ
４１ モーションセンサ
４２ 圧力センサ
５ 売買管理装置
６ ネットワーク

Claims (10)

  1. 画像を撮像する撮像部と、
    前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
    前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、
    を備える、情報処理装置。
  2. 前記表示制御部は、前記仮想的な化粧画像として化粧完成画像を表示する、請求項１記載の情報処理装置。
  3. 前記表示制御部は、前記仮想的な化粧画像として化粧動作画像を表示する、請求項１記載の情報処理装置。
  4. 前記情報処理装置は、
    前記仮想的な化粧画像を、化粧技術情報に基づいて生成する画像生成部をさらに備える、請求項１記載の情報処理装置。
  5. 前記情報処理装置は、
    前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
    前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、
    をさらに備え、
    前記化粧パターンは、前記化粧技術情報から構成され、
    前記画像生成部は、前記推薦化粧パターン判断部により推薦化粧パターンと判断された化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、請求項４記載の情報処理装置。
  6. 前記情報処理装置は、
    前記撮像部で撮像された画像と予め生成された化粧完成画像とを比較することにより、化粧の進行度を判断する化粧進行度判断部をさらに備え、
    前記表示制御部は、前記化粧進行度判断部による判断結果に応じて変化する化粧動作画像を前記画像に順次重畳表示する、請求項４記載の情報処理装置。
  7. 前記表示制御部により順次表示される化粧動作画像の順序は、ユーザの操作に応じて変更される、請求項６記載の情報処理装置。
  8. 画像を撮像するステップと、
    前記撮像するステップにより順次画像を取得し、前記取得した画像内の顔パーツを認識するステップと、
    前記認識するステップにより出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示するステップと、
    を含む、情報処理方法。
  9. 画像を撮像する撮像部と、
    前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
    前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置と；
    前記画像認識部から出力される認識結果に基づいて、顔情報を分析する分析部と、
    前記分析部から出力される分析結果に応じて、推薦する化粧パターンを判断する推薦化粧パターン判断部と、を備える、サーバと；
    を備え、
    前記情報処理装置は、前記サーバから取得した推薦化粧パターンの化粧技術情報に基づいて前記仮想的な化粧画像を生成する、情報処理システム。
  10. コンピュータを、
    画像を撮像する撮像部と、
    前記撮像部から順次画像を取得し、前記取得した画像内の顔パーツを認識する画像認識部と、
    前記画像認識部から出力される認識結果に含まれる前記顔パーツの位置に基づいて、前記画像内の顔にトラッキングする仮想的な化粧画像を、前記画像に重畳させて表示する表示制御部と、を備える、情報処理装置として機能させるためのプログラム。
JP2011044274A 2011-03-01 2011-03-01 情報処理装置、情報処理方法、情報処理システムおよびプログラム Ceased JP2012181688A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011044274A JP2012181688A (ja) 2011-03-01 2011-03-01 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US13/400,980 US20120223956A1 (en) 2011-03-01 2012-02-21 Information processing apparatus, information processing method, and computer-readable storage medium
US14/980,630 US10945514B2 (en) 2011-03-01 2015-12-28 Information processing apparatus, information processing method, and computer-readable storage medium
US17/189,915 US20210177124A1 (en) 2011-03-01 2021-03-02 Information processing apparatus, information processing method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011044274A JP2012181688A (ja) 2011-03-01 2011-03-01 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Publications (1)

Publication Number Publication Date
JP2012181688A true JP2012181688A (ja) 2012-09-20

Family

ID=46753026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011044274A Ceased JP2012181688A (ja) 2011-03-01 2011-03-01 情報処理装置、情報処理方法、情報処理システムおよびプログラム

Country Status (2)

Country Link
US (3) US20120223956A1 (ja)
JP (1) JP2012181688A (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014119244A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
WO2014119242A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2014132566A1 (ja) * 2013-02-28 2014-09-04 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
WO2015029371A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015146566A (ja) * 2013-12-20 2015-08-13 フリュー株式会社 画像生成装置および方法、並びにプログラム
JP2015176181A (ja) * 2014-03-13 2015-10-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2016055203A (ja) * 2016-01-26 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2016055202A (ja) * 2016-01-26 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2016055201A (ja) * 2016-01-25 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016064307A (ja) * 2016-01-22 2016-04-28 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
JP2016116876A (ja) * 2016-01-25 2016-06-30 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016181280A (ja) * 2016-06-20 2016-10-13 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
WO2017073001A1 (ja) * 2015-10-26 2017-05-04 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
WO2017149778A1 (ja) * 2016-03-04 2017-09-08 株式会社オプティム 鏡、画像表示方法及びプログラム
JP2017201550A (ja) * 2017-06-23 2017-11-09 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
JP2017208051A (ja) * 2016-05-20 2017-11-24 日本電信電話株式会社 技術支援装置、方法、プログラムおよびシステム
KR20180003237A (ko) * 2016-06-30 2018-01-09 주식회사 엘지생활건강 전자 거울 장치 및 그 제어 방법
WO2018012136A1 (ja) * 2016-07-14 2018-01-18 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
WO2018029963A1 (ja) * 2016-08-08 2018-02-15 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2018086307A (ja) * 2018-02-06 2018-06-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、及びメイクアップ支援方法
JP2019025288A (ja) * 2017-07-25 2019-02-21 麗寶大數據股▲フン▼有限公司 リペア領域を標示可能な生体情報解析装置
CN110136272A (zh) * 2018-02-09 2019-08-16 英属开曼群岛商玩美股份有限公司 用于向远程用户虚拟应用彩妆效果的系统和方法
JP2019162219A (ja) * 2018-03-19 2019-09-26 株式会社Ｎｏｖｅｒａ 情報処理装置、ミラーデバイス、プログラム
CN110575001A (zh) * 2018-06-11 2019-12-17 卡西欧计算机株式会社 显示控制装置、显示控制方法及存储显示控制程序的介质
JP2020516984A (ja) * 2016-12-06 2020-06-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ガイダンス・インジケータのユーザに対する表示
KR20210018399A (ko) * 2020-02-20 2021-02-17 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
JPWO2021140655A1 (ja) * 2020-01-10 2021-07-15
JP2021518785A (ja) * 2018-04-27 2021-08-05 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 表面適用製品のユーザーコンプライアンスを改善するための方法及びシステム
KR20210098315A (ko) 2020-01-31 2021-08-10 유니챰 가부시키가이샤 표시 제어 장치, 표시 제어 방법 및 비일시적 컴퓨터 판독가능한 기억 매체
JP2021519992A (ja) * 2018-04-24 2021-08-12 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP2022516287A (ja) * 2019-01-04 2022-02-25 ザ プロクター アンド ギャンブル カンパニー アプリケータの使用をユーザに案内するための方法及びシステム
KR20220051328A (ko) * 2021-02-08 2022-04-26 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
US11321764B2 (en) 2016-11-11 2022-05-03 Sony Corporation Information processing apparatus and information processing method
WO2022190954A1 (ja) * 2021-03-11 2022-09-15 株式会社資生堂 情報処理装置、方法、プログラム、システム、および美容方法
WO2024034537A1 (ja) * 2022-08-10 2024-02-15 株式会社 資生堂 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463955B (zh) * 2012-02-20 2014-12-11 Zong Jing Investment Inc Eye makeup device
KR101398188B1 (ko) * 2012-03-13 2014-05-30 주식회사 네오위즈블레스스튜디오 캐릭터 화장을 제공하는 온라인 게임 제공 방법 및 그 시스템
US9378574B2 (en) * 2012-04-26 2016-06-28 Electronics And Telecommunications Research Institute Apparatus and method for producing makeup avatar
KR102024903B1 (ko) * 2012-04-26 2019-09-25 한국전자통신연구원 분장 아바타 생성 장치 및 그 방법
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
CN103885461B (zh) * 2012-12-21 2017-03-01 宗经投资股份有限公司 自动彩妆机的彩妆工具的移动方法
KR20140095739A (ko) * 2013-01-25 2014-08-04 한국전자통신연구원 가상 분장 방법 및 장치
JP6128309B2 (ja) * 2013-02-01 2017-05-17 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN109527779A (zh) 2013-03-15 2019-03-29 Matchco公司 用于指定和配制定制的外用制剂的系统和方法
JP5372276B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP5372275B1 (ja) * 2013-03-22 2013-12-18 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9542595B2 (en) * 2013-03-25 2017-01-10 Brightex Bio-Photonics Llc Systems and methods for recommending cosmetic products for users with mobile devices
CN111985344B (zh) * 2013-12-17 2025-02-07 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
CN104333566A (zh) * 2013-12-23 2015-02-04 乐视网信息技术（北京）股份有限公司 一种信息的获得、推荐方法、装置及系统
US9504925B2 (en) 2014-02-14 2016-11-29 Right Foot Llc Doll or action figure with facial features customized to a particular individual
US20150234942A1 (en) * 2014-02-14 2015-08-20 Possibility Place, Llc Method of making a mask with customized facial features
CN103870821A (zh) * 2014-04-10 2014-06-18 上海影火智能科技有限公司 一种虚拟试妆的方法和系统
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
KR102322034B1 (ko) * 2014-09-26 2021-11-04 삼성전자주식회사 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
EP3201834B1 (en) * 2014-09-30 2021-05-12 TCMS Transparent Beauty LLC Precise application of cosmetic looks from over a network environment
KR102214918B1 (ko) * 2014-10-21 2021-02-10 삼성전자주식회사 얼굴 인식 방법 및 장치
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
US9412034B1 (en) * 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
JP6583660B2 (ja) * 2015-03-26 2019-10-02 パナソニックＩｐマネジメント株式会社 画像合成装置及び画像合成方法
US10083345B2 (en) * 2015-05-05 2018-09-25 Myongsu Choe Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
JP6275086B2 (ja) * 2015-07-25 2018-02-07 株式会社オプティム サーバ、データ提供方法及びサーバ用プログラム
US10671837B2 (en) 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
JP6778877B2 (ja) * 2015-12-25 2020-11-04 パナソニックＩｐマネジメント株式会社 メイクパーツ作成装置、メイクパーツ利用装置、メイクパーツ作成方法、メイクパーツ利用方法、メイクパーツ作成プログラム、およびメイクパーツ利用プログラム
US10162997B2 (en) 2015-12-27 2018-12-25 Asustek Computer Inc. Electronic device, computer readable storage medium and face image display method
TWI630579B (zh) * 2015-12-27 2018-07-21 華碩電腦股份有限公司 電子裝置、電腦可讀取記錄媒體及臉部影像顯示方法
CN114143495B (zh) 2016-01-05 2025-07-15 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
CN107153806B (zh) * 2016-03-03 2021-06-01 炬芯科技股份有限公司 一种人脸检测方法及装置
US10324739B2 (en) * 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
JP6731616B2 (ja) * 2016-06-10 2020-07-29 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
TWI573093B (zh) * 2016-06-14 2017-03-01 華碩電腦股份有限公司 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
US10607372B2 (en) * 2016-07-08 2020-03-31 Optim Corporation Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
WO2018079255A1 (ja) 2016-10-24 2018-05-03 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10354546B2 (en) * 2016-11-25 2019-07-16 Naomi Belhassen Semi-permanent makeup system and method
CN106774879B (zh) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 一种基于ar虚拟现实技术的整形手术体验系统
US12299722B2 (en) 2017-03-07 2025-05-13 Shiseido Company, Limited System and method for adjusting custom topical agents
US11374929B2 (en) * 2017-03-21 2022-06-28 Global E-Dentity, Inc. Biometric authentication for an augmented reality or a virtual reality device
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
CN110431838B (zh) * 2017-03-22 2022-03-29 韩国斯诺有限公司 提供人脸识别摄像机的动态内容的方法及系统
CN108804975A (zh) 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
US10912372B2 (en) 2017-05-16 2021-02-09 Anastasia Beverly Hills, Llc Facial stencils
US12498895B2 (en) 2017-06-16 2025-12-16 Apple Inc. Head-mounted device with publicly viewable display
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
KR20200026808A (ko) 2017-07-13 2020-03-11 시쉐이도 아메리카스 코포레이션 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
EP4293574A3 (en) 2017-08-08 2024-04-03 RealD Spark, LLC Adjusting a digital representation of a head region
CN109508587A (zh) * 2017-09-15 2019-03-22 丽宝大数据股份有限公司 身体信息分析装置及其底妆分析方法
US11533453B2 (en) 2018-01-06 2022-12-20 CareOS Smart mirror system and methods of use thereof
US10607264B2 (en) * 2018-02-02 2020-03-31 Perfect Corp. Systems and methods for virtual application of cosmetic effects to photo albums and product promotion
CN110135930B (zh) * 2018-02-02 2022-02-11 英属开曼群岛商玩美股份有限公司 虚拟应用化妆效果并推广产品的方法、系统及存储媒体
US10431010B2 (en) 2018-02-09 2019-10-01 Perfect Corp. Systems and methods for virtual application of cosmetic effects to a remote user
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US10395436B1 (en) 2018-03-13 2019-08-27 Perfect Corp. Systems and methods for virtual application of makeup effects with adjustable orientation view
CN108600614B (zh) * 2018-04-02 2022-03-08 珠海格力电器股份有限公司 一种图像处理方法及装置
CN108829233B (zh) * 2018-04-26 2021-06-15 深圳市同维通信技术有限公司 一种交互方法及装置
CN108920490A (zh) * 2018-05-14 2018-11-30 京东方科技集团股份有限公司 辅助化妆的实现方法、装置、电子设备以及存储介质
US10762665B2 (en) 2018-05-23 2020-09-01 Perfect Corp. Systems and methods for performing virtual application of makeup effects based on a source image
CN108771316A (zh) * 2018-05-30 2018-11-09 杭州任你说智能科技有限公司 一种人工智能化妆镜系统
CN108932654B (zh) * 2018-06-12 2021-03-26 苏州诚满信息技术有限公司 一种虚拟试妆指导方法及装置
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109090808A (zh) * 2018-08-08 2018-12-28 颜沿（上海）智能科技有限公司 一种智能试妆梳妆镜及方法
CN109246345B (zh) * 2018-10-23 2021-06-08 Oppo广东移动通信有限公司 美瞳拍摄方法、装置、存储介质及移动终端
US11042726B2 (en) * 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
US11093749B2 (en) * 2018-12-20 2021-08-17 L'oreal Analysis and feedback system for personal care routines
TWI708164B (zh) * 2019-03-13 2020-10-21 麗寶大數據股份有限公司 虛擬彩妝系統與虛擬彩妝上色方法
CN113993417A (zh) * 2019-05-06 2022-01-28 凯尔Os公司 智能镜子系统和其使用方法
CN112287744B (zh) * 2019-07-18 2025-03-21 玩美移动股份有限公司 实现化妆效果建议的方法与系统以及存储介质
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
USD949890S1 (en) * 2019-09-05 2022-04-26 Hoffmann-La Roche Inc. Portion of a display screen with a graphical user interface
WO2021102291A1 (en) * 2019-11-21 2021-05-27 General Vibration Corporation Systems and methods for producing a pure vibration force from a synchronized dual array of eccentric rotating masses
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11587358B2 (en) 2020-03-26 2023-02-21 Panasonic Avionics Corporation Managing content on in-flight entertainment platforms
CN115699130A (zh) * 2020-03-31 2023-02-03 斯纳普公司 增强现实美容产品教程
US11676354B2 (en) 2020-03-31 2023-06-13 Snap Inc. Augmented reality beauty product tutorials
CN111507890B (zh) * 2020-04-13 2022-04-19 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11690435B2 (en) * 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
US12062078B2 (en) 2020-09-28 2024-08-13 Snap Inc. Selecting color values for augmented reality-based makeup
US11798202B2 (en) * 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
US12361475B2 (en) 2020-09-28 2025-07-15 Snap Inc. Method, device, and non-transitory computer-readable storage medium for providing augmented reality-based makeup product sets in a messaging system
USD965004S1 (en) 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US12342923B2 (en) * 2021-09-30 2025-07-01 L'oreal Augmented reality cosmetic design filters
US11837019B1 (en) * 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup
CN119090596B (zh) * 2024-09-19 2025-10-31 深圳市美怡雅化妆用具有限公司 一种基于个性化定制的化妆刷设计管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5520203A (en) * 1993-04-26 1996-05-28 Segerstrom; E. Jane Cosmetics and their selection, application, and distribution
ES2085741T3 (es) * 1993-08-03 1996-06-01 Dior Christian Parfums Procedimiento de determinacion del color de un maquillaje de fondo que restituye sensiblemente el color de la piel de una persona y aparato que incluye la aplicacion.
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
FR2799022B1 (fr) 1999-09-29 2002-02-01 Oreal Dispositif d'aide au maquillage et ensemble constitue d'un tel dispositif et d'un dispositif permettant de delivrer un produit ayant une brdf predeterminee, selectionne par le dispositif d'aide au maquillage
JP2002056260A (ja) * 2000-08-10 2002-02-20 Itsuo Kagami 美容院予約システムとその方法
US7079158B2 (en) * 2000-08-31 2006-07-18 Beautyriot.Com, Inc. Virtual makeover system and method
US20020196333A1 (en) * 2001-06-21 2002-12-26 Gorischek Ignaz M. Mirror and image display system
JP2003153739A (ja) * 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd 化粧鏡装置及び化粧方法
US20030065578A1 (en) * 2001-10-01 2003-04-03 Jerome Peyrelevade Methods and systems involving simulated application of beauty products
JP2004094773A (ja) * 2002-09-03 2004-03-25 Nec Corp 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム
US20040110113A1 (en) * 2002-12-10 2004-06-10 Alice Huang Tool and method of making a tool for use in applying a cosmetic
JP3954533B2 (ja) * 2003-06-17 2007-08-08 株式会社モリテックス 肌観察装置
JP4789408B2 (ja) * 2003-06-30 2011-10-12 株式会社 資生堂 目の形態分類方法及び形態分類マップ並びに目の化粧方法
TWI227444B (en) * 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
WO2005073909A1 (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd. 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法
EP1764708A4 (en) * 2004-05-12 2007-11-14 Ajikaori Senryaku Kenkyusyo Co SINN DATABASE
JP4385925B2 (ja) 2004-11-02 2009-12-16 花王株式会社 画像形成方法
FR2881858A1 (fr) * 2005-02-04 2006-08-11 Oreal Systeme interactif utile en cosmetique et procede de construction d'une base de donnees
US20060281053A1 (en) * 2005-06-13 2006-12-14 Medcalf Rochelle R Mannequin head sensor
JP4696778B2 (ja) * 2005-08-23 2011-06-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
CN101371272B (zh) * 2006-01-17 2012-07-18 株式会社资生堂 化妆模拟系统，化妆模拟装置，化妆模拟方法
US8044989B2 (en) * 2006-12-12 2011-10-25 General Instrument Corporation Mute function for video applications
KR100851981B1 (ko) * 2007-02-14 2008-08-12 삼성전자주식회사 비디오 영상에서 실 객체 판별 방법 및 장치
US7629757B2 (en) * 2007-03-19 2009-12-08 The Electric Lipstick Company, Llc Powered cosmetic dispenser
JP2009053981A (ja) 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
US20090309826A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8562352B2 (en) * 2008-07-09 2013-10-22 Andrea B. Fairweather Systems, methods and apparatus involving Fairweather faces cosmetics brushes and face charts
FR2942403A1 (fr) * 2009-02-23 2010-08-27 Oreal Procede de photomaquillage avec application d'une couche de base et ensemble pour la mise en oeuvre d'un tel procede
US8823934B2 (en) * 2009-03-27 2014-09-02 Brightex Bio-Photonics Llc Methods and systems for imaging and modeling skin using polarized lighting
KR101604846B1 (ko) * 2009-11-27 2016-03-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
TWI426450B (zh) * 2010-10-27 2014-02-11 Hon Hai Prec Ind Co Ltd 電子化妝品盒

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10028569B2 (en) 2013-02-01 2018-07-24 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance system, and makeup application assistance method
WO2014119242A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014147560A (ja) * 2013-02-01 2014-08-21 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014147561A (ja) * 2013-02-01 2014-08-21 Panasonic Corp メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
US9615647B2 (en) 2013-02-01 2017-04-11 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US9986812B2 (en) 2013-02-01 2018-06-05 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance system, and makeup application assistance method
US9681736B2 (en) 2013-02-01 2017-06-20 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US10264870B2 (en) 2013-02-01 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Makeup application assistance device, makeup application assistance system, and makeup application assistance method
WO2014119244A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援システム、およびメイクアップ支援方法
WO2014132566A1 (ja) * 2013-02-28 2014-09-04 パナソニック株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014166218A (ja) * 2013-02-28 2014-09-11 Panasonic Corp メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10660425B2 (en) 2013-02-28 2020-05-26 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance method, and makeup assistance program
WO2015029371A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JPWO2015029371A1 (ja) * 2013-08-30 2017-03-02 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2015146566A (ja) * 2013-12-20 2015-08-13 フリュー株式会社 画像生成装置および方法、並びにプログラム
JP2015176181A (ja) * 2014-03-13 2015-10-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2016110416A (ja) * 2014-12-08 2016-06-20 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
WO2017073001A1 (ja) * 2015-10-26 2017-05-04 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
JPWO2017073001A1 (ja) * 2015-10-26 2018-08-30 パナソニックＩｐマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
JP2016064307A (ja) * 2016-01-22 2016-04-28 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016116876A (ja) * 2016-01-25 2016-06-30 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016055201A (ja) * 2016-01-25 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置
JP2016055202A (ja) * 2016-01-26 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JP2016055203A (ja) * 2016-01-26 2016-04-21 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JPWO2017149778A1 (ja) * 2016-03-04 2018-10-04 株式会社オプティム 鏡、画像表示方法及びプログラム
WO2017149778A1 (ja) * 2016-03-04 2017-09-08 株式会社オプティム 鏡、画像表示方法及びプログラム
JP2017208051A (ja) * 2016-05-20 2017-11-24 日本電信電話株式会社 技術支援装置、方法、プログラムおよびシステム
JP2016181280A (ja) * 2016-06-20 2016-10-13 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
KR20180003237A (ko) * 2016-06-30 2018-01-09 주식회사 엘지생활건강 전자 거울 장치 및 그 제어 방법
KR102178566B1 (ko) * 2016-06-30 2020-11-13 주식회사 엘지생활건강 전자 거울 장치 및 그 제어 방법
WO2018012136A1 (ja) * 2016-07-14 2018-01-18 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
JPWO2018012136A1 (ja) * 2016-07-14 2019-04-25 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
WO2018029963A1 (ja) * 2016-08-08 2018-02-15 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
US11321764B2 (en) 2016-11-11 2022-05-03 Sony Corporation Information processing apparatus and information processing method
JP2020516984A (ja) * 2016-12-06 2020-06-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ガイダンス・インジケータのユーザに対する表示
JP7121034B2 (ja) 2016-12-06 2022-08-17 コーニンクレッカ フィリップス エヌ ヴェ ガイダンス・インジケータのユーザに対する表示
JP2017201550A (ja) * 2017-06-23 2017-11-09 株式会社メイクソフトウェア 画像処理装置、画像処理方法及びコンピュータプログラム
JP2019025288A (ja) * 2017-07-25 2019-02-21 麗寶大數據股▲フン▼有限公司 リペア領域を標示可能な生体情報解析装置
JP2018086307A (ja) * 2018-02-06 2018-06-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、及びメイクアップ支援方法
CN110136272A (zh) * 2018-02-09 2019-08-16 英属开曼群岛商玩美股份有限公司 用于向远程用户虚拟应用彩妆效果的系统和方法
CN110136272B (zh) * 2018-02-09 2023-05-30 英属开曼群岛商玩美股份有限公司 用于向远程用户虚拟应用彩妆效果的系统和方法
JP2019162219A (ja) * 2018-03-19 2019-09-26 株式会社Ｎｏｖｅｒａ 情報処理装置、ミラーデバイス、プログラム
JP7064022B2 (ja) 2018-04-24 2022-05-09 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP7379582B2 (ja) 2018-04-24 2023-11-14 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP2021519992A (ja) * 2018-04-24 2021-08-12 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
US12282986B2 (en) 2018-04-24 2025-04-22 Lg Household & Health Care Ltd. Mobile terminal and cosmetics automatic recognition system
JP2022090005A (ja) * 2018-04-24 2022-06-16 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP2021518785A (ja) * 2018-04-27 2021-08-05 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 表面適用製品のユーザーコンプライアンスを改善するための方法及びシステム
CN110575001B (zh) * 2018-06-11 2022-09-06 卡西欧计算机株式会社 显示控制装置、显示控制方法及存储显示控制程序的介质
JP7135472B2 (ja) 2018-06-11 2022-09-13 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
CN110575001A (zh) * 2018-06-11 2019-12-17 卡西欧计算机株式会社 显示控制装置、显示控制方法及存储显示控制程序的介质
JP2019213617A (ja) * 2018-06-11 2019-12-19 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2022516287A (ja) * 2019-01-04 2022-02-25 ザ プロクター アンド ギャンブル カンパニー アプリケータの使用をユーザに案内するための方法及びシステム
JP7457027B2 (ja) 2019-01-04 2024-03-27 ザ プロクター アンド ギャンブル カンパニー アプリケータの使用をユーザに案内するための方法及びシステム
JPWO2021140655A1 (ja) * 2020-01-10 2021-07-15
KR20210098315A (ko) 2020-01-31 2021-08-10 유니챰 가부시키가이샤 표시 제어 장치, 표시 제어 방법 및 비일시적 컴퓨터 판독가능한 기억 매체
KR20210018399A (ko) * 2020-02-20 2021-02-17 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
KR102391026B1 (ko) * 2020-02-20 2022-04-26 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
KR102455058B1 (ko) 2021-02-08 2022-10-17 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
KR20220051328A (ko) * 2021-02-08 2022-04-26 주식회사 엘지생활건강 이동 단말기 및 화장품 자동인식 시스템
JPWO2022190954A1 (ja) * 2021-03-11 2022-09-15
WO2022190954A1 (ja) * 2021-03-11 2022-09-15 株式会社資生堂 情報処理装置、方法、プログラム、システム、および美容方法
WO2024034537A1 (ja) * 2022-08-10 2024-02-15 株式会社 資生堂 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20120223956A1 (en) 2012-09-06
US10945514B2 (en) 2021-03-16
US20160128450A1 (en) 2016-05-12
US20210177124A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
JP2012181688A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
Park et al. Deep learning-based smart task assistance in wearable augmented reality
KR102399289B1 (ko) 안경의 가상 시착 시스템 및 방법
CN113610612B (zh) 一种3d虚拟试衣方法、系统及存储介质
KR100722229B1 (ko) 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN103793060B (zh) 一种用户交互系统和方法
JP7713949B2 (ja) ライブフィッティングを含む眼鏡フレームのフィッティング
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
GB2535302A (en) Methods for generating a 3D virtual body model of a person combined with a 3D garment image, and related devices, systems and computer program products
Vitali et al. Acquisition of customer’s tailor measurements for 3D clothing design using virtual reality devices
CN117292097B (zh) Ar试穿互动体验方法及系统
CN116523579A (zh) 一种显示设备、虚拟试衣系统及方法
CN104881526A (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN108664884B (zh) 一种虚拟试妆方法及装置
Rahman et al. Augmented rendering of makeup features in a smart interactive mirror system for decision support in cosmetic products selection
Treepong et al. Makeup creativity enhancement with an augmented reality face makeup system
WO2025082015A1 (zh) 一种虚拟现实的显示画面生成方法、装置、设备和介质
CN115965769A (zh) 基于ar场景下的业务处理方法、系统、设备及存储介质
CN105184622A (zh) 利用虚拟技术帮助消费者网络购物
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of Eyo
CN110349269A (zh) 一种目标穿戴物试戴方法及系统
JP2017146577A (ja) 技術支援装置、方法、プログラムおよびシステム
EP2455895A1 (en) A device for supporting a user in selecting clothes
CN114638920A (zh) 会客方法、会客装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20150825