JP2001268594A - 三次元ビューティーシミュレーション用クライアントサーバシステム - Google Patents

Abstract

(57)【要約】 【課題】 利用者の顔を三次元的に扱うことができ、よ
り実感的なビューティーシミュレーションを提供するこ
とができる三次元ビューティーシミュレーション用クラ
イアントサーバシステムを提供する。 【解決手段】 利用者の三次元形状データを取得して送
信する店舗用クライアントと、前記店舗用クライアント
から前記三次元形状データを受信して格納するととも
に、利用者の要求に応じて前記三次元形状データに基づ
きメイクアップシミュレーションを行うメイクアップシ
ミュレーション部と、前記利用者の操作記録を分析して
管理情報を生成するデータ管理部とを含むサーバとを備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、利用者の三次元
フェイスモデルデータに基づきビューティーシミュレー
ションを行うための三次元ビューティーシミュレーショ
ン用クライアントサーバシステムに関する。

【０００２】

【従来の技術】従来のビューティーシミュレーション用
の装置として、例えば、特開平６−３１９６１３号公報
に記載されたものが知られている。これには、画像表示
装置に表示された顔の画像において、口紅とパウダーと
眉のカットをシミュレーションすることにより、表示さ
れた顔のメークアップができるようにした顔のメークア
ップ支援装置が開示されている。

【０００３】

【発明が解決しようとする課題】従来のビューティーシ
ミュレーション装置は、平面的な画像処理しか行うこと
ができず、リアリティーの点で問題があった。また、コ
ンピュータネットワークを通じて利用することもできな
かった。この発明は、係る課題を解決するためになされ
たもので、利用者の顔を三次元的に扱うことができ、よ
り実感的なビューティーシミュレーションを提供するこ
とができる三次元ビューティーシミュレーション用クラ
イアントサーバシステムを提供することを目的とする。

【０００４】

【課題を解決するための手段】この発明に係る三次元ビ
ューティーシミュレーション用クライアントサーバシス
テムは、利用者の三次元形状データを取得して送信する
店舗用クライアントと、前記店舗用クライアントから前
記三次元形状データを受信して格納するとともに、利用
者の要求に応じて前記三次元形状データに基づきメイク
アップシミュレーションを行うメイクアップシミュレー
ション部と、前記利用者の操作記録を分析して管理情報
を生成するデータ管理部とを含むサーバとを備えるもの
である。

【０００５】好ましくは、前記サーバは、前記店舗用ク
ライアント以外のクライアントからの要求に応じ、メイ
クアップシミュレーションを提供する。

【０００６】好ましくは、前記店舗用クライアントは、
複数の視点から見た利用者の画像を得るための複数のカ
メラと、前記複数のカメラにより得られた各画像データ
を受け、前記複数の画像を解析して相互に対応する対応
点を検索する対応点検索部と、検索された前記対応点を
解析して対象物の三次元形状を認識する三次元形状認識
部と、前記三次元形状認識部の認識結果に基づき視線を
設定するとともに、設定された視線に基づきデータに幾
何学的変換を行うことにより、所定の視線からの画像を
生成する幾何学的計算部と、前記幾何学的計算部により
生成された画像を表示する表示部と、前記幾何学的計算
部により生成された画像データを前記サーバに送信する
通信手段とを備える。

【０００７】好ましくは、前記サーバの前記メイクアッ
プシミュレーション部は、前記三次元形状データを受信
する受信部と、受信した前記三次元形状データを格納す
るデータベースと、要求に応じてメイクアップシミュレ
ーションを提供するメイクアップシミュレーション提供
部とを備え、前記サーバの前記データ管理部は、利用者
の操作履歴を受けてその傾向を分析するユーザ情報分析
部と、分析したデータを格納する管理データベースと、
外部からの要求に応じて管理データベースからデータを
読み出して前記要求に適合するようにデータを加工する
情報処理部と、要求元に前記情報処理部の出力を送信す
るとともに前記要求元からの要求を受信する送受信部と
を備える。

【０００８】好ましくは、前記対応点検索部乃至前記幾
何学的計算部は、前記複数の画像から特徴点をそれぞれ
抽出する特徴点抽出部と、前記複数の画像の特徴点の間
で相関を求めて、前記特徴点の組み合わせを求める相関
演算部と、前記複数の視点から見た画像であるという条
件の下で、前記特徴点の組み合わせのうちで可能性の低
いものを除去するマッチング部と、前記複数の視点の位
置及び視線の方向を求めるカメラ方向決定部と、前記カ
メラ方向決定部により得られた前記複数の視点の位置及
び視線の方向の条件のもとで、前記特徴点の組み合わせ
を、幾何学的・統計学的信頼性の優位なものから選択
し、前記対象物の映像の解析範囲を調整するマッチ伝播
部とを備える。

【０００９】好ましくは、前記対応点検索部乃至前記幾
何学的計算部は、前記複数の画像から特徴点をそれぞれ
抽出する特徴点抽出部と、前記複数の画像の特徴点の間
で相関を求めて、前記特徴点の組み合わせを求める相関
演算部と、前記複数の視点から見た画像であるという条
件の下で、前記特徴点の組み合わせのうちで可能性の低
いものを除去するマッチング部と、前記複数の視点の位
置及び視線の方向を求めるカメラ方向決定部と、前記カ
メラ方向決定部により得られた前記複数の視点の位置及
び視線の方向の条件のもとで、前記特徴点の組み合わせ
を、幾何学的・統計学的信頼性の優位なものから選択
し、前記対象物の映像の解析範囲を調整するマッチ伝播
部と、前記マッチ伝播部により得られたマッチングマッ
プを正則化するリサンプリング部と、正則化されたマッ
チングマップに基づき前記対象物の三次元空間における
位置を求める三次元位置測定部と、求められた前記対象
物の三次元位置に基づき前記複数の視点とは異なる視点
から見た画像を生成する視野補間部とを備える。

【００１０】好ましくは、前記対応点検索部乃至前記幾
何学的計算部は、前記複数の画像から特徴点をそれぞれ
抽出する特徴点抽出部と、前記複数の画像の特徴点の間
で相関を求めて、前記特徴点の組み合わせを求める相関
演算部と、前記複数の視点から見た画像であるという条
件の下で、前記特徴点の組み合わせのうちで可能性の低
いものを除去するマッチング部と、視線の幾何学的な拘
束条件のもとで、前記特徴点の組み合わせを、幾何学的
・統計学的信頼性の優位なものから選択し、前記対象物
の映像の解析範囲を調整するマッチ伝播部とを備える。

【００１１】好ましくは、前記対応点検索部乃至前記幾
何学的計算部は、前記複数の画像から特徴点をそれぞれ
抽出する特徴点抽出部と、前記複数の画像の特徴点の間
で相関を求めて、前記特徴点の組み合わせを求める相関
演算部と、前記複数の視点から見た画像であるという条
件の下で、前記特徴点の組み合わせのうちで可能性の低
いものを除去するマッチング部と、視線の幾何学的な拘
束条件のもとで、前記特徴点の組み合わせを、幾何学的
・統計学的信頼性の優位なものから選択し、前記対象物
の映像の解析範囲を調整するマッチ伝播部と、前記マッ
チ伝播部により得られたマッチングマップを正則化する
リサンプリング部と、正則化されたマッチングマップに
基づき前記対象物の三次元空間における位置を求める三
次元位置測定部と、求められた前記対象物の三次元位置
に基づき前記複数の視点とは異なる視点から見た画像を
生成する視野補間部とを備える。

【００１２】この発明に係る記録媒体は、コンピュータ
を、上記各装置として機能させるためのプログラムを記
録したものである。

【００１３】媒体には、例えば、フロッピー（登録商
標）ディスク、ハードディスク、磁気テープ、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、
バッテリバックアップ付きのＲＡＭメモリカートリッ
ジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカ
ートリッジ等を含む。

【００１４】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００１５】媒体とは、何等かの物理的手段により情報
（主にデジタルデータ、プログラム）が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。

【００１６】

【発明の実施の形態】この発明の実施の形態について説
明する。まず、概念について説明する。この発明の実施
の形態により実現される、インターネット上のトータル
ビューティーサイトに消費者がアクセスすると、当該消
費者の商品クリック数等のデータを採取するとともに分
析してデータベースを生成する。店舗におかれた装置に
より消費者の３Ｄフェイスモデルデータ（顔に限らず全
身のデータも含む）を採取し、トータルビューティーサ
イトのサーバに保管する。当該店舗からは、装置の技術
料、データ料とともに出店料、売上マージン、コンサル
ティング料として所定の費用がサイトの運営者に支払わ
れる。サイトの運営者は、メーカー、雑誌社等に対して
データベースに蓄積された（１）クリック数による消費
者の興味情報、（２）年齢別等の付加情報、を提供す
る。逆に、メーカー、雑誌社等は、コンサルティング
料、データ料をサイトの運営者に支払う。

【００１７】次に、この発明の実施の形態の概要につい
て、図１乃至図４を用いて説明する。図１において、イ
ンターネット１１には、トータルビューティーサイトを
運営するためのサーバ１０、３Ｄフェイスモデルデータ
を採取するための店舗用クライアント１２、シミュレー
ションを行うための店舗用クライアント１３、消費者が
自宅でシミュレーションを行うためのクライアント１
４、３Ｄフェイスモデルを採取するためのカメラ１５ａ
を備えるインターネット携帯電話１５が接続されてい
る。また、サーバ１０には、メーカ、雑誌社等のコンピ
ュータ１６が接続されている。なお、店舗用クライアン
ト１２、１３はサーバ１０にインターネット１１を介さ
ずに接続されてもよい。

【００１８】図１において、消費者は店舗に赴いて店舗
用クライアント１２に設けられた３Ｄ画像撮影装置１２
ａ、３Ｄ画像処理装置１２ｂを用いて、自分の３Ｄフェ
イスモデルデータを採取する。その具体的な手順につい
ては後に詳述する。店舗用クライアント１２は、得られ
た３Ｄフェイスモデルデータをサーバ１０に送る。サー
バ１０は受けたデータを保管する。サーバにデータが保
管されれば、消費者は、店舗用クライアント１２、撮影
装置をもたない店舗用クライアント１３、自宅のパソコ
ン１４、インターネット携帯電話１５のいずれからで
も、サーバ１０のトータルビューティーサイトにアクセ
スし、メイクアップシミュレーションを実行させること
ができる。メイクアップシミュレーションの詳細につい
ては後に詳述する。消費者がトータルビューティーサイ
トにアクセスしている間の行動はデータ管理部１０ｃに
より分析され、データベースに蓄積される。これらデー
タは消費者の消費行動を理解するための重要な情報にな
るので、サーバ１０からメーカ，雑誌社１６等に提供さ
れる。なお、カメラ付きのパソコン、カメラ付きのイン
ターネット携帯電話がある場合には、これらから採取し
た複数の画像をサーバにおくり、サーバ１０が３Ｄフェ
イスモデルデータを構築するようにしてもよい。以上の
説明は、サーバ１０がメイクアップシミュレーションを
行うものであった。シミュレーション処理は３次元処理
を含む高度な処理を行うので、処理能力が高いサーバ１
０により実行することで、消費者側のパソコンの負担を
軽減することができる。なお、店舗用クライアント１２
がメイクアップシミュレーションを行うようにしてもよ
い。

【００１９】図２はサーバ１０の概略構成を示す。図１
の会員登録部１０ａは、図２の会員登録部１００、会員
データベース１０１を含む。図１のメイクアップシミュ
レーション部１０ｂは、図２の３Ｄフェイスモデルデー
タ受信部１０２、３Ｄフェイスモデルデータベース１０
３、メイクアップシミュレーション提供部１０４を含
む。図１のデータ管理部１０ｃは、図２のユーザ情報分
析部１０５、管理データベース１０６、情報処理部１０
７、送受信部１０８を含む。

【００２０】メイクアップシミュレーションを行うに
は、まず会員登録を行う必要がある。店舗用クライアン
ト１２あるいは自宅のパソコン１４から会員登録要求を
サーバ１０に送る。会員登録要求を受けて、会員登録部
１００は会員情報を会員データベース１０１に書き込
む。

【００２１】店舗用クライアント１２から送られてきた
３Ｄフェイスモデルデータは、受信部１０２により受信
され、３Ｄフェイスモデルデータベース１０３に格納さ
れる。店舗用クライアント１２、１３あるいは自宅のパ
ソコンからシミュレーション提供要求がサーバ１０に対
して送られると、メイクアップシミュレーション提供部
１０４は要求が会員からのものであるかどうか判別し、
会員からのものであるときは要求内容を分析し、当該会
員のデータをデータベース１０３から読み出して当該要
求に対応するシミュレーションを行い、要求者に対して
提供する。

【００２２】一方、消費者がこのトータルビューティー
サイトにいる間に行った行動、例えば、シミュレーショ
ンの内容、特定の商品のクリック、バナー広告のクリッ
ク等は、ユーザ情報分析部１０５により分析され、消費
者の消費行動として整理されて管理データベース１０６
に格納される。メーカー等からの情報提供の要求を送受
信部１０８が受けると、情報処理部１０７が管理データ
ベース１０６から所定のデータを読み出すとともに、要
求内容に応じた加工を施して要求元に送信する。ユーザ
情報分析部１０５、情報処理部１０７の動作の詳細は後
述する。

【００２３】図３は、店舗用クライアント１２の構成を
示す。店舗用クライアント１２は、複数のカメラ１ａ，
１ｂ，・・・、３Ｄフェイスモデル生成部２、メイクア
ップシミュレーション部３、表示部４、表示部上に設け
られたタッチパネル４ａ、３Ｄフェイスモデルデータを
格納するデータベース５、マウス等のポインティングデ
バイス６、サーバ１０あるいはインターネット１１と接
続するための通信手段７を備える。３Ｄフェイスモデル
生成部２は、対応点検索部２ａ、三次元形状認識部２
ｂ、幾何学的計算部２ｃを備える。これらの動作の詳細
は後述する。

【００２４】図４は、表示装置４を示し、符号４ｂの部
分には消費者の３次元画像が表示され、タッチパネル４
ａにはカラーあるいはパターンのパレットが表示され
る。この表示装置４には３次元画像が表示されるので、
リアルなメイクアップシミュレーションを体験すること
ができる。例えば、タッチパネル４ａによりワンタッチ
でどんなメイクにも対応することができる。パーティー
メイク、通勤メイク等のさまざまなシーンに対応したメ
イクパターンを用意しておき、ワンタッチで自分の顔に
再現できる。あるいは、マニュアルでメイクシミュレー
ションを行うことができる。なお、これらのシミュレー
ションは、３Ｄフェイスモデルデータをサーバ１０に送
った後は、自宅のパソコンからでも可能である。

【００２５】メイクアップシミュレーション メイクアップシミュレーション提供部１０４、メイクア
ップシミュレーション部３によるシミュレーションの内
容について説明する。このシミュレーションによれば、
３Ｄ情報に基づいて、化粧、エステ、洋服、香水、小物
類、アクセサリー、ヘアスタイルなどのシミュレーショ
ンが可能である。また、後述のモーフィング技術を用い
て、自分を気に入ったモデルに似せるための情報を得る
ことができる。例えば、自分と気に入ったモデルの間の
中間の画像をモーフィング技術で作成し、希望の画像を
選択する。選択された画像が自分から何％、モデルから
何％の位置にあるかを調べることもできる。なお、本シ
ミュレーションによれば、顔（頭部）ばかりでなく、全
身についてもシミュレーション可能である。

【００２６】次に、シミュレーションのいくつかの具体
例を説明する。顔の美形度や老化度などを診断したり顔
を識別するシミュレーションについて説明する。顔にお
ける肌の性状と凹凸を反映するところの明暗の状態、つ
まり明領域と暗領域の状態を分析することで、美形度や
老化度などをかなりの程度で客観的に評価したり、個人
の顔の識別を行ったり、情動の判定と定量化などに有用
な表情の客観的評価を行ったりできる。

【００２７】各個人の顔にはその個人に特有な明領域乃
至暗領域の形状やその乱れなどの状態がある。このこと
から、明領域乃至暗領域の形状やその乱れなどに基づく
ことにより、各個人の顔の識別が可能であることを意味
する。また、明領域乃至暗領域の形状は、それへの着目
の仕方により、そこに表情の変化に伴う変化を見ること
ができる。つまり表情には表情筋の収縮や弛緩が伴う
が、この表情筋の変化は顔における凹凸の変化つまり明
領域乃至暗領域の変化をもたらす。したがってこれに着
目することで表情という曖昧なものについても、それを
定量化し客観的評価を行うことが可能となる。

【００２８】そこで、顔像を明暗的に加工した判定用顔
画像を用いる。そのために先ず判定対象の顔を撮像して
顔画像を得る。次いでこの顔画像に画像強調処理、特に
明暗に関する画像強調処理を施すことにより、明るさに
関して区別した複数の領域で表される判定用顔画像を作
成する。それから判定用顔画像における前記領域の輪郭
形状やこれら領域間の境界の状態に基づいて顔の美形度
や老化度などの各目的事項について顔の判定を行なう。

【００２９】また、しわ取り手術を施す前の顔について
の判定用顔画像と、しわ取り手術を施した後の判定用顔
画像とを比較することにより、老化度の判定を行うこと
ができる。以上の手順によれば、エステや化粧のシミュ
レーションを行うことができる。

【００３０】次に、顔画像を修正する手順について説明
する。先ず希望顔を決定し、この希望顔の画像に対し、
原顔画像を画像処理で近づけることにより、希望顔に対
する相似レベルの異なる複数の修正候補顔の画像を作成
し、次いでこれら複数の修正候補顔の画像から選択する
ことで修正顔画像を得る。希望顔の決定にはモデル顔を
用いることができる。モデル顔には、好みのタレントや
俳優などの顔を用いることができる。

【００３１】先ず希望顔を決定する。希望顔の決定は、
例えばメークアップ・インストラクターが被化粧者に化
粧の仕方を指導する場合であれば、インストラクターが
被化粧者にその望みを聞くなどしてなす。また希望顔の
決定にはモデル顔を用いることができる。モデル顔に
は、被化粧者が好きなタレントや俳優などの顔を用いる
ことができる。

【００３２】希望顔を決定したら、次に希望顔を基にし
た想定化粧顔、つまり好ましい化粧を施すとして想定さ
れる化粧顔の画像を作成する。それには被化粧者の顔の
画像に形状融合などの画像処理を加えることで被化粧者
の顔と希望顔とを混合して近づける処理を行なう。それ
から、この想定化粧顔から被化粧者が望ましいと思う理
想化粧顔を決定する。具体的には、上記画像処理により
希望顔との混合率乃至相似レベルの異なる複数の想定化
粧顔の画像が得られるので、その中から好ましいもの
を、化粧で求め得る相似レベルの範囲内で、理想化粧顔
として選択する。これにより最終的に得られると予想さ
れる理想的な化粧顔が事前に与えられることになる。つ
まり被化粧者は、短時間で最終的な化粧の仕上がり状態
を知ることができる。このように化粧の仕方の基になる
希望顔を決め、これに関して理想化粧顔を求めることに
より、短時間で最終的な化粧の仕上がり状態を提示でき
る。

【００３３】以上のような化粧のシミュレーション過程
により理想化粧顔が決まったら、この理想化粧顔から化
粧の仕方を導く。つまり理想化粧顔にするための例えば
眉毛を剃るべき部位、眉毛を書き入れる部位、アイライ
ナーとアイシャドーを書き入れる線や範囲、アイシャド
ーの色、口紅を書き入れるべき範囲、それにファンデー
ションの塗り分け方などの一連の化粧の仕方を予め設定
してある化粧プログラムにより導く。そしてこの化粧の
仕方に基づいて被化粧者の顔に化粧を施す。この結果、
理想化粧顔つまり事前に被化粧者が納得している化粧状
態を正確に被化粧者の顔に実現することができる。すな
わち被化粧者が望みとする化粧を自在に施すことがで
き、しかもその化粧を短時間で行なうことができる。

【００３４】上記のように本発明の化粧方法は、希望顔
つまりモデル顔を基にして理想化粧顔を画像処理により
作成することに特徴があるが、このようにするには、被
化粧者の現在の顔とモデル顔とを画像処理により混合し
て近づける得るようにすることが重要なことになる。以
上の手順によれば、顔画像の高度な修正を短時間で簡単
に行なうことが可能となる。また、被化粧者が望みとす
る化粧を短時間で自在に施すことが可能となり、多種多
様な化粧品による化粧の可能性を有効に活用できるよう
になる。

【００３５】次に、美容院、化粧販売、美容学校におけ
る化粧顔画像のシミュレーションについて説明する。化
粧シミュレーション描画を行うソフトウェアでは、個々
の個所をメイクして顔全体のメイクを完成させる方法が
とられている。それも、求めるメイクの形を張り合わせ
る手法である。たとえば、眉毛は、眉の形を選びそれを
単に顔画像の眉の大きさに合わせて元の眉の上に張り合
わせる方法が使われている。唇に口紅を塗る場合も同様
に、あらかじめ用意された型を張り合わせる手法などが
用いられている。

【００３６】モデルのメイクとして眉、唇への口紅、肌
へのパウダー（ファンデーション、アイシャドウ、頬紅
等を含む）、およびカラーコンタクトの描画を行う。そ
れぞれの描画は以下のように行う。 ・眉……眉の領域を定義し、眉領域の元も眉毛を剃り落
として周辺の肌色を描画する。眉型を選び、その眉型を
眉領域に描く。このとき、眉領域の画素単位に処理し、
眉を一定の計算式に従って眉毛を描いていく。 ・口紅……口紅を着ける唇領域を定義し、唇領域に選択
した口紅色を塗る。この場合、描画処理は色相、明度、
彩度の３原色で行い、唇領域を口紅の色相に置き換え、
なおかつ元の唇の明度と彩度を口紅の明度と彩度に変換
し、唇領域に口紅の描画を行う。またこのとき、ツヤ出
しなどの操作を行う。さらに唇と肌の境界線付近では肌
と唇の境が連続的な色になるようにする。 ・肌のパウダーメイク……肌のカラー値とパウダーのカ
ラー値を指定した比率で混ぜ合わせて描画する。なお、
パウダーメイクにはファンデーション、アイシャドウ、
頬紅等のメイキャップを含む。 ・カラーコンタクト……カラーコンタクトをはめ込む位
置（カラーコンタクトのカラー部分を描く位置）の定義
をしたのちに、カラーコンタクトのカラー値と虹彩のカ
ラー値をある比率で混ぜ合わせて表示する。

【００３７】以上の方法でメイキャップしたモデルに対
して、メイキャップ情報として以下のものを記録してお
く。 ・眉……眉型、眉の色（カラー値）、顔に対応する相対
的な位置と大きさ ・口紅……口紅のカラー値、ツヤ出し度 ・パウダー……画素ごとのパウダーのカラー値と塗られ
た濃さ ・カラーコンタクト……カラーコンタクトのカラー値お
よび、 ・顔画像定義点

【００３８】一方、ユーザーの顔画像に選択したモデル
のメイキャップを施す処理は以下の手順で行う。まず、
前段階として、デジタルカメラなどでユーザーの顔画像
をコンピュータに取り込み、モデルに設定されていると
同じ形態でユーザーの顔画像の定義を行う。以下、モデ
ルのメイキャップと同じメイキャップの属性値を取り込
み、定義したユーザーの顔画像に施す。メイキャップは
各個所によって異なるが、眉、口紅、カラーコンタクト
については、モデルに施してあるメイキャップの素材を
使い、モデルで描画した方法に準じてユーザーの顔に描
画する。しかしパウダーは、場所場所によって濃さやパ
ウダーの種類が異なる可能性があるために、モデルとユ
ーザーの顔画像の各画素の対応を取り、ユーザーの顔画
像にメイクしていく。具体的にはモーフ技術を用いて、
ユーザーの顔画像の画素がモデルの顔画像の画素のどの
部分に対応するかを算出し、モデルの画素に施されたと
同じパウダーをユーザーの肌属性の各画素に施す。

【００３９】画面に表示される複数のモデルの顔画像
（同じモデルでもメイクが異なるときは別メニューとし
て表示）を選ぶと、メイキャップ属性から眉、口紅、カ
ラーコンタクトについてはモデルのメイクで説明した方
法で自動的にメイクされる。しかし、パウダーについて
は画素ごとにメイクが異なるので、モーフィング技術を
利用してメイクを行う。モーフィングにはワープとディ
ゾルブの２種類がある。前者は、ある形態から別の形態
に形状を変えるときに、対応する点を求めて変形させる
やり方であり、後者は、変形前の色と変形後の色をある
比率で混ぜ合わせることによって変形させる方法であ
る。本発明のパウダーの描画にはワープを利用する。

【００４０】化粧と一言でいって、どのような化粧をす
ればよいか、なかなかわからないものである。このよう
なときに、モデルのメイキャップが手助けとなる。予め
いくつかのモデルを登録しておけば、モデルを選択する
だけでモデルと同じメイキャップがユーザーの顔画像に
施されるから、自分の望むもの、あるいは自分に似合い
そうなモデルのメイキャップを選んで数多くのメイキャ
ップを試みることができる。

【００４１】モデルの顔画像に施されたメイキャップが
ユーザーの顔画像に単に移植されるだけでなく、ユーザ
ーの顔の輪郭や肌の特性をそのまま活かした状態でメイ
キャップされるために、同じメイキャップでも異なった
印象を表現することができる。たとえば、白い肌のモデ
ルに施したパウダーと、日焼けしたユーザーの肌が施し
たパウダーでは、パウダーの映え方が違う。したがっ
て、自分に合ったメイキャップはどれかを、実際に画面
上でシミュレートして探すことができる。

【００４２】ユーザーの顔画像はイメージデータ入力装
置でコンピュータに取り込み、最初に一度だけ顔領域の
定義をしておけば、何度でもモデルを替えてシミュレー
トできる。また、夏に取り込んだ顔画像と冬に取り込ん
だ顔画像では、肌の色や唇の状態、あるいはその時々の
表情が異なる。このような違った状態での顔画像に対し
ても、本発明は元の顔画像の特性をそのまま活かした形
でメイキャップするために、同じ自分の顔画像に同じメ
イキャップ（同じモデルの選択）をしても、その時々の
状態でメイキャップの効果を確かめることができる。た
とえば本発明の唇に口紅を描画する方法は、唇の皺や影
などがそのまま口紅を着けたあとも表現されるので、冬
の唇の荒れた時期と夏の瑞々しい唇とでは、口紅の効果
が違うことが確かめられる。とくに肌の場合には、夏と
冬では肌の色に差があるために、パウダーの種類によっ
てその効果が異なる。このように、本発明の自動メイキ
ャップはユーザーの顔の状態で化粧の乗り具合が違うこ
とが、直接画面上で確かめることができる。したがっ
て、四季それぞれの、その時々の顔画像を用いることに
よって、場合に応じた化粧を、多くのモデルのメイキャ
ップを自分の顔画像に施すことによって短時間に見つけ
出すことができる。

【００４３】ユーザ情報分析部 次に、ユーザ情報分析部１０５、情報処理部１０７につ
いて説明する。これらは次のような処理を行う。 （１）消費者のＷｅｂ閲覧情報（クリック数等）の全て
を統計する。 （２）閲覧情報を解析し、購買情報でなく興味情報を解
析する。 （３）購買情報と総合し、商品嗜好情報の新しい形を提
供する。 （４）年齢別情報や地域情報等の情報と併せて解析す
る。

【００４４】ユーザ情報分析部１０５は、会員データベ
ース１０１の内容に基づき、ユーザーデータの全体像を
俯瞰するためのデータを抽出し整理して提供する。登録
ユーザーの全体集計を行って、登録者総数、性別の比
率、年齢層の分布、居住エリアの分布などの基本的な項
目について、ユーザー特性をつかむ。アンケートヘの協
力の度合い、ホームページでの商品購買頻度など、ユー
ザーの行動履歴を組み合わせて読むことで、どの層がタ
ーゲット層であるを知ることができる。

【００４５】ターゲット層のイメージが明確になれば、
サーバ１０により提供されるトータルビューティーサイ
トのコンテンツの作り方、語り口、商品の品揃えなどの
基本要素をそのターゲット層の嗜好に適合させていくこ
とで、ビジネスを効率よく進めることができる。また、
女性を狙っていたのに、思った以上に女性の登録者が少
ないなど、問題点も浮き彫りになってくる。その場合
は、女性が多くアクセスしている情報サイトにバナー広
告を重点出稿してみる、といった対策につなげることが
できる。

【００４６】トータルビューティーサイトで扱っている
商品の中で、最も適した商品の情報を前面に出すなど、
グループ属性に特化したメールマガジンの原稿を複数用
意して、グループごとに発送することも考えられる。一
律に同じ文面のものよりも、より高い効果が期待でき
る。

【００４７】ユーザ情報分析部１０５は、アクセス分析
を行う。「アクセス分析」はどれだけの人数がそのサイ
トを訪れたかについて測定するもっとも基本的な分析で
ある。サイトを店に例えるならば、来店者数にあたる。
曜日、時間によって来店者の増減はどうなつているの
か、玄関だけ覗いて帰っていった人の数や、各コーナー
ごとの顧客の数など、さまざまな視点での分析が可能で
ある。

【００４８】アクセス分析は、HIT数、PV（ページビュ
ー）、訪問者数の三つの指標で行われる。HIT数は、そ
のサイトに対してどれだけの「データ数」の送信要求が
されたかという数値である。ここでいう「データ数」の
単位は、コンピュータ上でのデータファイルの数であ
る。ホームページ一ページでもその中にグラフィック情
報が多くあるとその分HIT数は多くなる。逆に一ページ
の中に非常に多くの情報がぎつしり詰まっていても、そ
れがテキストのみの一ファイルならば、あくまでHIT数
は「1」とカウントされる。

【００４９】より実感に近い指標はPV（ページビユー）
という指標である。そのサイトで延べ何ページのホーム
ページが見られたかを表わす。情報量が多くても少なく
ても同じ1PVになるという欠点はあるが、バナー広告の
ようにページ単位で露出する広告の媒体価値や効果測定
指標としては標準的なものである。

【００５０】そのサイトのトップページだけのPVの数を
訪問者数という場合がある。PVはあくまで延べ視聴ペー
ジ数なので、何人の人がそれを見たかについては把握で
きない。それを補うための指標である。もちろん一人の
人が何度もトップページにアクセスした場合はその分も
カウントされてしまうので、ここでの訪問者数はあくま
でも概数である。

【００５１】より正確なアクセス人数を測定するために
は、「クッキー」や「登録システム」といった方法を使
う必要がある。

【００５２】クッキーは、行動分析を可能にするだけで
なく、ワン・トゥ・ワンマーケティングのためにも有効
な方法となる。クッキーを使うことで、同一の人（正確
にはブラウザー）がサイト内でどのような行動を行った
かの追跡が可能になる。

【００５３】たとえば、メイクアップシミュレーション
において、口紅のシミュレーションを利用した消費者
は、それを利用しなかった人よりも口紅のカタログ請求
の比率が顕著に高いという傾向がわかったとする。この
傾向をうまく利用すれば、ターゲットに対する効果的な
アプローチが可能となる。口紅のシミュレーションを利
用した人に対して、カタログ請求のページを強制的に見
せることができれば、その応募比率を飛躍的に向上させ
ることができる。

【００５４】クッキーを利用することで、その人の行動
や嗜好に添った形で情報をカスタマイズして提供するこ
とが可能になる。以上のようなことを実現するために
は、サイト側にクッキーを発行するための機能とデータ
ベースの機能が必要である。

【００５５】クッキーを使ったパーソナライズは、個人
を完全に特定できないが、登録システムはその点を克服
することができる。住所、電話番号、電子メールアドレ
スと氏名を予め登録し、トータルビューティーサイト専
用のIDやパスワードを発行しておく。会員になった人は
アクセスのつどID、パスワードを入力して、会員専用の
ページに入っていく。

【００５６】サイト側から見れば、ログインさせること
で、それ以降どの人が、どのページに行き、どのような
行動をしたかをすべて捕捉することができる。同時に、
ログインした時からその個人専用のページを表示させる
ことも可能である。登録時に自分のほしい情報分野をア
ンケート形式で回答させ、その個人の興味にあったニュ
ースをページに配信することができる。登録時の情報だ
けでなく、その個人がサイトの中のどのコーナーをよく
見ているかといった行動情報から、その個人の嗜好を推
察し、それにあった情報を提示することができる。

【００５７】３次元フェイスモデル生成部 ３次元フェイスモデル生成部２について説明する。画像
処理のひとつとしてモーフィング（Morphing）が知られ
ている。モーフィングとは、米国のハリウッドで開発さ
れたコンピュータグラフィックス（CG）技術であり、2
つの異なる画像、例えば、二人の人物の顔の画像がある
とき、一方の画像から他方の画像へ徐々に画面を変化さ
せること、及びそのような一連の画像を提供する技術で
ある。モーフイングにより、例えば、白い虎が若い女性
に変身していくような一連の画像が得られる。

【００５８】2つの画像A、Bが与えられたとき、モーフ
イング処理は概ね次のように行われる。まず、画像A内
の特徴点（feature point）と画像B内の特徴点との対応
関係（例えば、目と目、鼻と鼻）を求めることがなされ
る。この作業は、通常は、作業者によりなされる。対応
関係が求められれば、画像Aの特徴点pを、時間をかけて
画像Bの特徴点qに少しづつ変化させていく。すると、前
述のような一連の画像が得られる。

【００５９】CGにおいては、一般に画像は多数の三角形
の要素からなる。したがって、モーフイングは、画像A
の特徴点pの三角形を、画像Bの特徴点qの三角形に対応
関係を維持しつつ変形することにより行われる。このこ
とを、図１５を参照しつつ説明する。この図において、
三角形Aが画像Aの一部であり、三角形Bが画像Bの一部で
あるとする。三角形Aの頂点p1，p2，p3は三角形Bの項点
q1，q2，q3にそれぞれ対応する。三角形Aを三角形Bに変
換するには、頂点p1とq1の差分、項点p2とq2の差分、項
点p3とq3の差分を求めて、これら差分を三角形Aの各項
点p1，p2，p3にそれぞれ加えればよい。これら差分のす
べて（100％）を加えることにより、三角形Aが三角形B
に変換される。ところで、これら差分のすべてではな
く、その一部、例えば、その30％、60％を加えることも
可能である。この場合、三角形Aと三角形Bの中間の図形
が得られる。例えば、図１５において、三角形A，は差
分の30％を加算した場合の模式的例であり、三角形B’
は差分の60％を加算した摸式的例である。

【００６０】図５は、３Ｄフェイスモデルの生成方法の
処理の概略を示すフローチャートである。図３の複数の
カメラ1a，1b，・‥により得られた各画像データ（信
号）は、正面画像生成部2に入力される。正面画像生成
部2において、対応点検索部2aが、前記複数の画像を解
析して相互に対応する対応点を検索する。これら対応点
を三次元形状認識部2bが解析して対象物の三次元形状を
認識する。その認識結果に基づき視線を設定するととも
に、設定された視線に基づきデータに幾何学的変換を行
うあるいは変形することにより、あたかも鏡を見るかの
ような正面画像を生成する。これら各処理については後
に詳しく述べる。なお、カメラ1は複数であれば良く、2
台、3台、4台、あるいはそれ以上であってもよい。実用
性の観点からは、2台あるいは3台が望ましいと考えられ
る。

【００６１】図６及び図７に基づき、正面画像生成部の
処理をさらに詳しく説明する。図６は、板状の液晶表示
装置（LCD）4の左右上端と下辺中央にそれぞれカメラ1
を備える３Ｄ画像撮影装置の模式図を示す。LCD4のほぼ
中央を通る法線上に対象物100が配置される。通常はこ
の位置に使用者の顔が位置するが、説明の便宜上、四角
錐を例にとる。四角錐100をカメラ1a，1b，1cにより撮
像すると、図７の100a，100b，100cのような画像がそれ
ぞれ得られる。画像100aはカメラ1aによるもので、LCD4
から見て、四角錐100を左から見た画像である。画像100
bはカメラ1bによるもので、四角錐100を右から見た画像
である。画像100cはカメラ1cによるもので、四角錐100
を下から見た画像である。比較的近接した異なる視点か
ら見た少なくとも2つの画像があれば、いわゆるステレ
オ視に準じた幾何学的計算処理によって複数の二次元画
像から唯一の三次元形状を認識することができる。この
処理をコンピュータに行わせるためには、特徴点を特定
する必要がある。この例では、四角錐100の各演点が選
択される。各画像において特徴点が特定されると、これ
ら特徴点のうちで互いに対応関係が求められる。このよ
うにして、四角錐100の同じ部分が、各画像でどの位置
にあるかが解析される。この解析に基づき、四角錐100
の三次元形状が認識される。画像100aによれば、項点が
左側にあるから四角錐100はカメラ1aの左側にあること
がわかる。このようにして、三次元形状が認識される。
そこで、視点を例えばLCD4のほぼ中央に設定し、この視
点に基づき四角錐100を見た画像を生成する。例えば、
図７の画像100が得られる。

【００６２】図３の信号処理部3は、正面画像生成部2か
ら上述のように処理された正面画像を受けて、各種処理
を行う。つまり、表示（反射）時に、さまざまな処理・
加工が行われる。例えば、ズーム処理、及びワイド処理
である。鏡に映った全体の画像のうちの所定の部分を瞬
時に拡大・縮小する処理である。どの部分を拡大・縮小
するか、どちらの処理を選択するかなどは、例えば、マ
ウス等のポインティングデバイス6により指定される。L
CD4の表面がタッチパネルであれば、画像の任意の部分
に触れることにより、その部分を瞬時に拡大・縮小する
ことが可能である。

【００６３】図３の装置の形態として、図８に示すもの
が考えられる。LCD4の周囲に3つのCCDカメラ1a，1b，1c
が設けられている。また、LCD4の背面には、正面画像生
成部2及び信号処理部3として機能するコンピュータが設
けられている。これらは一体のケースに収納されてい
る。

【００６４】次に、この発明の実施の形態の装置／方法
の全体処理の概略について述べる。図５のフローチャー
トによれば、まず、2つ以上の異なる視点から見た2つ以
上の画像A，B,・・・を得る（Sl）。次に、画像Aと画像
Bの間で特徴点の対応関係を求める（S2）。特徴点とし
て、エッジ、コーナ、テクスチヤ‥・などが考えられ
る．画像Aと画像Bの聞で対応関係にある特徴点の移動量
を求める（S3）。これらの処理により、モーフイング処
理に必要な特徴点の抽出及びその移動量（変化量）を求
めることができる。

【００６５】この発明の実施の形態では、さらに三次元
物体の画像をモーフイングするための描画装置／方法に
ついても説明する。三次元物体の画像を描画するために
は、空間におけるその物体の位置を求めなければならな
いが、この描画装置／方法によれば三次元位置を直接扱
うことなく、三次元物体の画像の描画が可能になる。

【００６６】その動作原理について、図９及び図１０を
用いて説明する。図９（a）（b）に示すように、ある空
間に円錐201と立方体202が配置され、これらを2台のカ
メラ1a，1bで撮影しているとする。これらカメラ1a，1b
の視点は異なるから、これらにより得られる画像も異な
る。これらカメラ1a，1bにより、図１０（a），（b）の
画像が得られたとする。これらの画像を比較すると、円
錐201及び立方体202の位置が変化していることがわか
る。円錐201の相対位置変化量をy、立方体202の相対位
置変化量をxとすると、図１０から、x＜yであることが
わかる。この大小関係は物体とカメラの間の距離に関係
する。移動量が大きいとき、その特徴点はカメラから近
い位置にある。一方、移動量が小さいとき、その特徴点
はカメラから遠い位置になる。このように移動量に応じ
て距離がわかる。そこで、特徴点を、その移動量に応じ
て分類（ソーティング）し（S4）、移動量が小さなもの
（遠くにあるもの）から順に画像を書き込んでいく（S
5）。すると、近くにあるものは上書きされるので表示
されるが、遠いもの（隠れる部分）は上書きにより消さ
れるので見えない。このように奥行き情報を用いること
なく、三次元空間画像を適切に再現できる。

【００６７】図３乃至図８の装置は、カメラ1により得
られた画像を図５のように処理することにより、カメラ
1の視点とは異なる視点から見た画像を表示することが
できる。例えば、右から見た顔、左から見た顔、及び下
から見た顔の画像から、正面から見た顔を画像を表示す
ることができる。また、右から見た顔と左から見た顔に
モーフイング処理を適用することにより、あたかもカメ
ラの視点を連続的に移動したかのように、さまざまな角
度から見た顔を表示することができる。図３乃至図８の
装置は、いわば、デジタルミラーとして用いることがで
きる。

【００６８】あるいは、図３乃至図８の装置は、実際の
窓を模擬するデジタルウィンドウとして用いることもで
きる。液晶テレビにさまざまな風景を表示することによ
り、実際の窓に代えて表示装置を用いることができる。
この発明の実施の形態の装置／方法を用いると、人の位
置すなわち視点の位置を知ることができるので、視点の
位置に合わせて表示を変えることにより、より実感的な
風景表示が可能になる。例えば、図１１に、液晶表示装
置（デジタルウィンドウ）Wがあり、その前にひとりの
人がいるとする。図１１（a）のように、仮想空間中に
円錐と立方体が配置され、この様子が液晶表示装置Wに
表示されるとする。その人の位置がbのとき、液晶表示
装置W上に図１１（b）のような表示がなされ、位置がc
のとき、図１１（c）のような表示がなされる。このよ
うに、視点の位置に応じて適切な画面が表示されること
により、あたかも実際の窓のまわりで頭を巡らしている
ような感覚を得ることができる。

【００６９】上記デジタルミラー及びデジタルウィンド
ウの処理において共通するものとして、複数の画像間で
特徴点の対応関係を求めることにより、三次元空間内の
物体の位置を求める処理がある。しかし、デジタルミラ
ーにおいては、三次元位置の測定精度が表示される画像
の精度に直接関係するため、位置測定精度は高い方が望
ましいものの、デジタルウインドウにおいては、視点の
位置が多少ずれてもさほど違和感は生じないため、デジ
タルミラー程度の位置測定精度は要求されない。ここ
で、デジタルミラー用の処理装置／方法をフェイシャル
イメージジェネレータと名づける。以下、これについて
詳細に説明する。

【００７０】フェイシャルイメージジェネレータは、3
つのカメラを用いて、制約条件として適する3焦点テン
ソル（triforcal Tensor）を用いて処理を行う。シーナ
リイメージジェネレータは、2つのカメラを用いて、制
約条件としてエピポーラジオメトリーを用いて処理を行
う。3つのカメラを用いることにより、平面対平面では
対応が難しかったが、3つのカメラの空間的制約条件を
取り入れることにより対応点検索を自動化できたのであ
る。

【００７１】フェイシャルイメージジェネレータ 3つのカメラから視点の異なる3つの画像を得て、これら
を処理する場合を例にとり説明する。視点の異なる3つ
の画像が、3つの特徴点検出器10a〜10cに入力される。
特徴点検出器10a〜10cは、注目点（interest point）と
も呼ばれる特徴点のリストを出力する。三角形や四角形
のような幾何学的形状であれば、その頂点が特徴点とな
る。通常の写真画像における、明確に区別可能なテクス
チヤーを有する非常に鮮明な注目点は、特徴点のための
良い候補である。

【００７２】相関ユニット11a、11b及びロバストマッチ
ングユニット12は、シード（Seed）発見ユニットを構成
する。これは、信頼性の高い初期的な三眼マッチ（trin
ocular match：3つのカメラ位置からなる制約条件）の
集合を見出すためのものである。これは、注目点の三つ
のリストを受けて、シードマッチと呼ばれる注目点の三
眼マッチのリストを出力する。相関ユニット11a，11b
は、仮の三眼マッチのリストを確立する。ロバストマッ
チングユニットは、三つの視野の幾何的拘束に適用し用
いて、信頼性の高いシードマッチのリストを完成させ
る。

【００７３】相関ユニット11a，11bの動作について説明
する。これらのユニットは、三つの画像間での三対の各
々に対して処理を行う。対応関係を求めるために、ZNCC
（ゼロ平均正規化相互相閑）相関測度が用いられる。ZN
CC相関測度は、対象の大きさが画像間で多少異なってい
たり、画像が多少変形しているときでも、画像間の対応
関係を求めることができる。このため、ZNCC相関測度が
マッチングシードのために用いられる。

【００７４】シフト量が△＝（△x，△y）Tである点、x
＝（x，y）TにおけるZNCCx（△）は以下のように定義さ
れる。

【数1】

【００７５】ここに、I^（x）およびI^’（x）は、xを
中心として与えられた一定処理範囲に対するピクセル輝
度の平均である。

【００７６】次に、ロバストマッチングユニット12によ
り、相関ユニット11によるステレオマッチングの結果
が、単一の三眼マッチに統合される。ロバストマッチン
グユニット12は、相関ユニット11から潜在的な三眼マッ
チの注目点リストを受けて、信頼性の高い三眼マッチの
注目点リストを出力する。三つの画像中における各々の
三眼マッチは当初はランダムサンプリングに基づきなが
らも、三眼マッチ以外のものを取り除くため、三視野拘
束の12の成分を評価することで、統計学的に有意に処理
される。同一の対象を3つカメラが撮影し、異なる視野
の3つの画像が得られたとき、3つの画像それぞれにおけ
るその対象の同一の点（例えば、特徴点）の位置は、所
定のルールに従い、その対象物の位置及びカメラ位置・
カメラ方向から一意に定められる。したがって、相関ユ
ニット11により得られた三眼マッチの注目点リストにつ
いて、それぞれがそのルールを満足するかどうか調べる
ことにより、正しい三眼マッチの注目点リストを得るこ
とができる。

【００７７】ここで、u＝（u，v）、u’＝（u’，v’）
およびu”＝（u”，v”）を、三眼マッチの正規化され
た相対座標とすると、三視野拘束を満足する三眼リスト
は、以下のような、t1ないしt12の12個の成分により決
定される条件式を満たす。

【数2】 次に、カメラ方向の自動決定ユニット12について説明す
る。第1の画像乃至第3の画像を得るための三つのカメラ
が先験的に固定されているとしても、その方向は依然と
して可変であるので、従来のオフラインキャリブレーシ
ョンをここに適用することは困難である。そこで、カメ
ラ方向の自動決定ユニット12は、マッチ伝播の処理に拘
束条件を与えるために、カメラ方向を決定する。すなわ
ち、カメラ方向の自動決定ユニット12は、ロバストマッ
チングユニット12からシードマッチの注目点リストを受
けて、カメラシステムの方向を出力する。

【００７８】カメラ方向の自動決定ユニット12の基本的
な観念について説明する。まず、全ての三視野内部（in
lier）マッチを用いて、三視野拘束t1，・・・t12が最
適に再計算される。後に使用するための三視野拘束から
の直接的なカメラ方向の引き戻しは、アフインカメラ
（affine camera）の問題が、1D（一次元）射影カメラ
の問題に分解可能であるされるという独自の観察に基づ
いてなされる。

【００７９】当業者にとって、L．Quan and T．Kanade
"Affine structure from line correspondences with
uncalibrated affine cameras．"IEEE Transactions on
Pattern Analysis and Machine Intelligence，19
（8）：834−845，August1997に最初に導入された、良
い1D射影カメラのモデルが、通常のアフィンカメラにと
って平面の無限遠に表れることは明らかである。全ての
方向の量が、平面上の無限遠に埋め込まれ（embedded）
ており、したがって、1D射影カメラによりコード化され
ている。1Dカメラは、その3焦点テンソルTijk（強い制
約条件の基になる）であって、T_ijkuⁱu’^ju”^k＝0であ
るようなT_ijkにより完全に定められている。

【００８０】上記観点から、本発明の実施の形態のカメ
ラ方向の決定手順は次のように定められる（図６参
照）。S11 2Dアフィンカメラを、1D射影カメラに変換
する。これには、テンソル成分の間で、4（a−1）＋2
（b−1）＋c→iにより定義されるテンソル−ベクトル写
像を用い、三視野拘束成分により、tiにより表わされる
アフィンカメラの三組（triplet）を、Tabcにより表わ
される1Dカメラの三組に変換される。S12 その上の極
（エピポール：epipole）を取り出す。1Dカメラのエピ
ポールは、たとえば、ABS（Tjke2）＝0（ABSは絶対値記
号）を、エピポールe2およびe3について解くことにより
テンソルから取り出すことができる。他のエピポール
は、同様に、マトリクスTi・ke’1を、e’1およびe’3
について因数分解（factorizing）し、かつ、マトリク
スT_．jke”1を、e”1およびe”2について因数分解する
ことにより得ることができる。S13 カメラマトリクス
M’＝（H，h）およびM”＝（H’，h’）、並びに、カメ
ラ中心c，c’およびc”を決定する。まず直接的にh＝
ｅ’1およびh’＝e”1とする。カメラマトリクスの相同
部分は、Tijk＝Hi^jh^k−h’^jＨi^kから決定される。次い
で、カメラ中心および2D射影を復元することで、その核
（カーネル）としてカメラマトリクスから決定され得
る。S14 射影構造を更新する。アフィンカメラの既知
のアスペクト比は、疑似画像面上の環状点（circularpo
int）の既知のものと等価である。平面上の無限遠での
絶対円錐（absolute conic）の双対（dual）は、各アフ
ィン画像の環状点の視線（viewing rays）が、カメラ中
央を経て絶対円錐に接することを調べることにより、決
定することができる。S15 カメラ方向のパラメータを
決定する。絶対円錐をその正規位置（canonicalpositio
n）に変形することは、全ての射影量を、その真の対応
するユークリッド量に変換することになる。ユークリッ
ド空間でのカメラ中央は、アフィンカメラの方向を与
え、かつ、アフィンエピポーラー幾何（affine epipola
r geometry）は、その上の極（epipoles）から推定され
る。

【００８１】次に、三つの画像中のマッチの最大数を予
測するための、幾何的拘束によるマッチ伝播器14につい
て説明する。このユニット14は、カメラ方向の自動決定
器13からシードマッチの注目点リストおよびカメラ方向
パラメータを受けて、三つの画像の稠密なマッチングを
出力する。

【００８２】初期シードマッチが得られた後、この初期
シードマッチからマッチ伝播の最初の推定を領域成長法
を使って行う。この発明の実施の形態において、領域成
長がマッチ成長に適用され、相関スコアに基づく類似測
度が利用される。伝播によ、る領域拡大は、テクスチャ
の局所最大値をシードマッチさせる方向で行われ、強い
テクスチャを有するが局所最大ではないその近傍まで拡
張され得る。

【００８３】全ての初期シードマッチは、同時に伝播を
開始する。各ステップで、最大のZNCCスコアをもつマッ
チ（a，A）が、シードマッチの現在の組から除去される
（S21）。次いで、その”マッチの近傍”における新た
なマッチを見出すと同時に、全ての新たなマッチが、現
在のシードの組と、構造の下で、受け入れられたマッチ
の組とに加える（S22）。画素aおよびAの近傍は、aおよ
びAを中心とする5×5のウィンドウ内の全ての画索をと
り、マッチング結果の連続的な拘束を保証する。第1の
画像中の近傍画索の各々に対して、第2の画像中の対応
する位置の近傍中の3×3のウィンドウの全ての画素から
なる仮のマッチ候補のリストが構築される。したがっ
て、画素の輝度変化の制限は、1画素を超えない。この
伝播処置は、第1の画像から第2の画像、および、第1の
画像から第3の画像で同時に実行され、各画像の対の間
のカメラ方向によって、この伝播は拘束される。カメラ
系の幾何的拘束を満足するもののみが伝播される。さら
に、これら二つの同次伝播は、カメラ系の三視野拘束を
満足するもののみが保持される。

【００８４】マッチングの一致性の拘束（unicity cons
traint）および処理の終了は、新たなマッチが受け入れ
られない時に発生する。マッチングを行う探索範囲は各
画素に対して減じられるため、ZNCCのために小さな5×5
のウィンドウが用いられ、したがって、小規模な幾何的
変形は許される。

【００８５】悪い伝播のリスクは、全てのマッチしたシ
ード点にわたる全ての最良の最初の計画をも壊す恐れが
あるため、細心の注意が必要である。シードを選択する
ステップは、相関を用いて注目点のマッチングをなす現
存する多くの手法とは違う。すなわち、伝播は、最大の
ものをとるというよりも、むしろ、最も信頼できるもの
を求めているに過ぎない。これにより、この発明の実施
の形態のアルゴリズムは、初期杓なマッチにおいて良好
でないシードの存在にさらされるおそれが小さい。極端
な場合には、興味点の一つの良好なマッチのみが、全て
のテクスチヤ化された画像へと広がる事も有り得る。

【００８６】次に、リサンプリングユニット15について
説明する。マッチ伝播器14により得られた稠密マッチン
グは、依然として、間違いもあり不揃いである。リサン
プリングユニット15は、マッチングマップを正則化する
とともに、更なる処理のためにより効果的な画像表現を
提供する。リサンプリングユニット15は、マッチ伝播器
14から三つの画像の稠密マッチングを受けて、リサンプ
リングされた三眼マッチのリストを出力する。

【００８７】最初の画像は、二つの異なるスケールであ
る8×8および16×16の正方形グリッドによるパッチに細
分される。パッチの各々に対して、稠密マッチングから
全ての矩形のマッチした点が取得される。これらは、矩
形のこれらマッチした点ui←→u’iに仮に適合されて、
潜在的なパッチが見出される。P²中のホモグラフイー
は、射影面の間の射影変換であり、λiu’i＝Huiである
ような、同次的（homogeneous）な3×3の特異でないマ
トリクスにより表わされる。ここに、uおよびu’は、同
次的な座標において表れる。テクスチャ化された細片
は、作られたオブジェクトを除き完全な平面に過ぎない
ため、パッチに対する推定上の相同は、通常の最小自乗
法により推定される。これにより、パッチのマッチした
点のいくつかが、ほとんどが載っている共通平面上に載
っていない場合であっても、信頼性のあるホモグラフイ
ーの概算が提供される。ホモグラフィーに対する一致が
75％に達した場合には、パッチは平面と考えられる。第
2の画像および第3の画像中の対応するパッチの境界は、
第1の画像中のパッチの四隅を、概算されたホモグラフ
ィーHに射影（マッピング）することにより定義され
る。このようにして、三つの画像中の対応するパッチが
得られる。

【００８８】パッチをホモグラフイーに適合させる処理
は、まず、より大きなスケールからより小さなスケール
まで、最初の画像の全てのパッチに対して繰り返され、
最終的に、結果として、全てのホモグラフイーにマッチ
した平面パッチとなる。

【００８９】次に、三視野連携トライアンギュレーショ
ン（三角形分割）ユニット16について説明する。画像の
補間は、専ら、深さ情報のない画像の内容に依拠し、可
視性の変化およびオクルージョンの影響を受けやすい。
三視野連携トライアンギュレーションは、本質的には、
可視性の問題を扱うようにデザインされている。三視野
連携トライアンギュレーション（三角形分割）ユニット
16は、リサンプリングされた三眼マッチを受けて、三視
野連携トライアンギュレーション（三角形分割）を出力
する。各画像のトライアンギュレーション（三角形分
割）は、その最小の粗さの特性（minimal roughness pr
operty）のため、デローネイ（Delaunay）である。デロ
ーネイトライアンギュレーション（三角形分割）は、マ
ッチした領域をマッチしていないものから分離したいと
きに、必然的に拘束される。画像のマッチしたバッチの
連結された成分の境界は、全ての画像中に現れねばなら
ず、したがって、これら境界は、各デローネイトライア
ンギュレーション（三角形分割）に対する拘束となる。

【００９０】三視野連携トライアンギュレーション（三
角形分割）は、以下のものとして定義される。 ・三つの画像中に1対1の頂点の対応がある。 ・拘束エッジ（constraint edge）は、三つの画像中の
マッチした領域の連結された成分の境界エッジである。 ・三つの画像中に、1対1の拘束エッジの対応がある。 ・各画像において、三角測量は、拘束エッジによる拘束
されたデローネイトライアングルである。

【００９１】次に、視野補間ユニット17について説明す
る。視野補間ユニット17により、任意の中間的な画像、
例えば、第1のカメラと第2のカメラの中間の位置から見
た画像を得ることができる。中間的な任意の画像は、元
の三つの画像から生成することができる。視野補間ユニ
ット17は、三視野連携トライアンギュレーション（三角
形分割）の結果を受けて、α＋β＋γ＝1であるような
α、βおよび、γをバラメータとする任意め中間画像工
（α，β，γ）を出力する。

【００９２】視野補間処理は次の手順で行われる。 1．まず、三つの画像から結果として得られる三角形の
位置が補間される。 2．個々の三角形の各々が新たな位置にワープされ、ま
た、歪みの重みが、ワープされた三角形に割り当てられ
る。 3．全画像の各々は、そのトライアンギュレーションか
らワープされる。探さの情報がないため、各三角形に対
するワープの順序は、最大の移動量のものから演繹的に
なされ、Paiter法のように、生成された画像の同じ位置
に写像される任意の画素が、後ろ前の順序で到達するこ
とが予想される。全てのマッチしていない三角形には最
も小さい移動量が割り当てられ、これらは、任意のマッ
チした三角形の前に、ワープされる。 4．最終的なピクセルの色が、3つの重みづけされワープ
された画像を混合することにより得られる。

【００９３】なお、上述の装置／方法は、三つの画像か
らフェイシヤル画像を生成するために開発されたアイデ
アと同様のものが、プロセッシングユニットを合理的に
変更することにより、二つの画像或いはN個の画像にも
拡張することができる。顔の画像以外の他の物体も、同
様の手順で処理することができる。

【００９４】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【００９５】また、本明細書において、手段とは必ずし
も物理的手段を意味するものではなく、各手段の機能
が、ソフトウェアによって実現される場合も包含する。
さらに、一つの手段の機能が、二つ以上の物理的手段に
より実現されても、若しくは、二つ以上の手段の機能
が、一つの物理的手段により実現されてもよい。

【図面の簡単な説明】

【図１】 この発明の実施の形態に係るシステム全体図
である。

【図２】 この発明の実施の形態に係るサーバの概略の
構成を示す図である。

【図３】 この発明の実施の形態に係る店舗用クライア
ントの概略の構成を示す図である。

【図４】 この発明の実施の形態に係る店舗用クライア
ントの表示画面例である。

【図５】 この発明の実施の形態に係る画像処理装置の
処理の概略を示すフローチャートである。

【図６】 この発明の実施の形態に係る画像処理装置の
動作原理の説明図である。

【図７】 この発明の実施の形態に係る画像処理装置の
動作原理の説明図である。

【図８】 この発明の実施の形態に係る画像処理装置の
外観図である。

【図９】 この発明の実施の形態に係る画像処理装置の
動作原理の説明図である。

【図１０】 この発明の実施の形態に係る画像処理装置
の動作原理の説明図である。

【図１１】 この発明の実施の形態に係る他の画像処理
装置の動作原理の説明図である。

【図１２】 この発明の実施の形態に係る画像処理装置
の概略ブロック図である。

【図１３】 この発明の実施の形態に係る画像処理装置
のカメラ方向の決定手順の概略を示すフローチャートで
ある。

【図１４】 この発明の実施の形態に係る画像処理装置
のマッチ伝播順の概略を示すフローチャートである。

【図１５】 モーフイングの原理の説明図である。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 500318391 Ｏｎｅ ５ｔｈ Ａｖｅ． Ｓｕｉｔ 15 Ｊ， Ｎｅｗ Ｙｏｒｋ， ＮＹ10003, Ｕ．Ｓ．Ａ. (72)発明者 宮沢 丈夫 東京都港区元麻布二丁目１番17号 ザワン インフィニット・インコーポレイテッド内 Ｆターム(参考） 5B049 AA02 EE07 EE41 FF01 GG00 5B057 AA20 BA02 BA11 CA01 CA08 CA12 CB01 CB08 CB13 CD14 DA07 DB03 DB06 DB09 5B080 AA18 BA02 FA08 5C061 AA21 AB04 AB08 5C064 BA07 BB10 BC18 BC20 BD02 BD07 BD13

Claims (4)

【特許請求の範囲】
1. 【請求項１】 利用者の三次元形状データを取得して送
   信する店舗用クライアントと、 前記店舗用クライアントから前記三次元形状データを受
   信して格納するとともに、利用者の要求に応じて前記三
   次元形状データに基づきメイクアップシミュレーション
   を行うメイクアップシミュレーション部と、前記利用者
   の操作記録を分析して管理情報を生成するデータ管理部
   とを含むサーバとを備える三次元ビューティーシミュレ
   ーション用クライアントサーバシステム。
2. 【請求項２】 前記サーバは、前記店舗用クライアント
   以外のクライアントからの要求に応じ、メイクアップシ
   ミュレーションを提供することを特徴とする請求項１記
   載の三次元ビューティーシミュレーション用クライアン
   トサーバシステム。
3. 【請求項３】 前記店舗用クライアントは、 複数の視点から見た利用者の画像を得るための複数のカ
   メラと、 前記複数のカメラにより得られた各画像データを受け、
   前記複数の画像を解析して相互に対応する対応点を検索
   する対応点検索部と、 検索された前記対応点を解析して対象物の三次元形状を
   認識する三次元形状認識部と、 前記三次元形状認識部の認識結果に基づき視線を設定す
   るとともに、設定された視線に基づきデータに幾何学的
   変換を行うことにより、所定の視線からの画像を生成す
   る幾何学的計算部と、 前記幾何学的計算部により生成された画像を表示する表
   示部と、 前記幾何学的計算部により生成された画像データを前記
   サーバに送信する通信手段とを備えることを特徴とする
   請求項１記載の三次元ビューティーシミュレーション用
   クライアントサーバシステム。
4. 【請求項４】 前記サーバの前記メイクアップシミュレ
   ーション部は、前記三次元形状データを受信する受信部
   と、受信した前記三次元形状データを格納するデータベ
   ースと、要求に応じてメイクアップシミュレーションを
   提供するメイクアップシミュレーション提供部とを備
   え、 前記サーバの前記データ管理部は、利用者の操作履歴を
   受けてその傾向を分析するユーザ情報分析部と、分析し
   たデータを格納する管理データベースと、外部からの要
   求に応じて管理データベースからデータを読み出して前
   記要求に適合するようにデータを加工する情報処理部
   と、要求元に前記情報処理部の出力を送信するとともに
   前記要求元からの要求を受信する送受信部とを備えるこ
   とを特徴とする請求項１記載の三次元ビューティーシミ
   ュレーション用クライアントサーバシステム。