JP2014089665A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】自然な見え方の合成画像を提示可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置１２の第１取得部２６は、重畳対象の衣服画像を含む第１画像を取得する。第２取得部２２は、衣服画像を重畳する被写体画像を含む第２画像を取得する。第３取得部２８は、衣服画像の輪郭における衣服の開口部以外の第１輪郭を取得する。設定部３０は、第１画像の衣服画像以外の領域における、第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する。生成部３２は、描画禁止領域に対応する領域を除去された被写体画像と、衣服画像と、を合成した合成画像を生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

試着対象の衣服を着用した状態を示す仮想画像を表示する技術が種々開示されている。例えば、人体が複数の衣服を試着した状態を示す合成画像を表示する技術が開示されている。また、自然な見え方の合成画像を提供するために、人体画像上に、第１の衣服画像と第２の衣服画像とをこの順に重ねた合成画像において、第１の衣服画像における第２の衣服画像からはみ出したはみ出し領域を、人体画像までの距離に応じて除去する技術も開示されている。

特開２００３−２６３６３２号公報

しかしながら、従来技術では、合成対象の複数の衣服画像を合成した画像から、第１の衣服画像における第２の衣服画像からはみ出したはみ出し領域を抽出し除去を行って合成画像を生成している。このため、連続して合成画像を生成する必要がある場合、重畳する対象の複数の衣服画像を合成した後にはみ出し領域を抽出し、合成画像を生成する必要があり、自然な見え方の合成画像を低負荷で提供することは困難であった。

本発明が解決しようとする課題は、自然な見え方の合成画像を低負荷で作成することができる、画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。

実施形態の画像処理装置は、第１取得部と、第２取得部と、第３取得部と、設定部と、生成部と、を備える。第１取得部は、重畳対象の衣服画像を含む第１画像を取得する。第２取得部は、前記衣服画像を重畳する被写体画像を含む第２画像を取得する。第３取得部は、前記衣服画像の輪郭における衣服の開口部以外の第１輪郭を取得する。設定部は、前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する。生成部は、前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記衣服画像と、を合成した合成画像を生成する。

実施の形態１の画像処理システムのブロック図。 画像処理システムの模式図。 実施の形態１のテーブルのデータ構造を示す図。 衣服画像及び輪郭情報の一例を示す模式図。 第１画像の変形を示す模式図。 描画禁止領域の説明図。 実施の形態１の画像処理の手順を示すフローチャート。 第２画像取得処理を示すフローチャート。 合成処理を示すフローチャート。 合成画像の生成を示す模式図。 従来の合成画像と、本実施の形態の合成画像との対比を示す模式図。 実施の形態２のテーブルのデータ構造を示す図。 実施の形態３のテーブルのデータ構造を示す図。 実施の形態４のテーブルのデータ構造を示す図。 実施の形態４の画像処理の手順を示すフローチャート。 実施の形態５の画像処理システムを示す模式図。 ハードウェア構成例を示すブロック図。

以下に添付図面を参照して、画像処理装置、画像処理方法、及び画像処理プログラムの一の実施形態を詳細に説明する。

（実施の形態１）
図１は、本実施の形態の画像処理システム１０の機能的構成を示すブロック図である。画像処理システム１０は、画像処理装置１２、撮像部１４、入力部１６、記憶部１８、及び提示部２０を備える。

本実施の形態では、画像処理システム１０は、画像処理装置１２と、撮像部１４、入力部１６、記憶部１８、及び提示部２０と、が別体として設けられた構成である場合を説明する。しかし、画像処理システム１０は、画像処理装置１２と、撮像部１４、入力部１６、記憶部１８、及び提示部２０の内の少なくとも１つと、が一体的に構成された形態であってもよい。

撮像部１４は、被写体を撮像し、被写体の色画像（詳細後述）を得る。撮像部１４は、取得した被写体の色画像を、画像処理装置１２へ出力する。被写体は、衣服を試着させる対象である。被写体は、衣服を試着する対象であればよく、生物であってもよいし、非生物であってもよい。該生物には、例えば、人物が挙げられるが、人物に限られず、犬や猫等のペットであってもよい。また、該非生物には、人体やペットの形状を模したマネキンや、衣服、その他の物体等が挙げられるが、これに限られない。また、被写体は、衣服を着用した状態の生物や非生物であってもよい。

また、衣服とは、被写体が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。

提示部２０は、各種画像を提示する装置である。本実施の形態では、提示部２０は、画像処理装置１２で生成された後述する合成画像を提示する。なお、提示とは、本実施の形態では、表示、印刷、及び送信等を示す。

提示部２０は、例えば、液晶表示装置等の表示装置や、画像を印刷する印刷装置や、有線通信や無線通信等により外部装置へ情報を送信する公知の通信装置等である。提示部２０が、表示装置である場合には、提示部２０は、合成画像を表示する。また、提示部２０が通信装置である場合には、提示部２０は、合成画像を外部装置へと送信する。また、提示部２０が印刷装置である場合には、提示部２０は、合成画像を印刷する。

入力部１６は、ユーザが各種の操作入力を行うための手段である。入力部１６には、例えば、マウス、ボタン、リモコン、キーボード、マイク等の音声認識装置、及び画像認識装等の１または複数を組み合せたもの等が挙げられる。また、入力部１６として、上記画像認識装置を採用する場合には、入力部１６の前に対峙するユーザの身振り手振り等を、ユーザの各種指示として受け付ける装置としてよい。この場合には、該画像認識装置では、身振りや手振り等の各動きに対応する指示情報を予め記憶し、認識した身振りや手振りに対応する指示情報を読み取ることで、ユーザによる操作指示を受け付ければよい。

また、入力部１６は、携帯端末等の各種情報を送信する外部装置から、ユーザの操作指示を示す信号を受け付ける通信装置であってもよい。この場合には、入力部１６は、該外部装置から受信した操作指示を示す信号を、ユーザによる操作指示として受け付ければよい。

なお、入力部１６及び提示部２０は、一体的に構成されていてもよい。具体的には、入力部１６及び提示部２０は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部として構成されていてもよい。ＵＩ部には、タッチパネル付ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等がある。

図２は、画像処理システム１０の外観を示す模式図である。

図２に示すように画像処理システム１０における提示部２０は、例えば矩形状の筐体５１の一の面に組み込まれている。そして、画像処理システム１０では、被写体５０が各種衣服を試着した状態を示す合成画像Ｗを、提示部２０に表示する。人物等の被写体５０は、例えば、該提示部２０に対面した位置から、該提示部２０に提示された合成画像Ｗを視認する。

また、筐体５１は、入力部１６及び撮像部１４を支持している。図２に示す例では、入力部１６及び撮像部１４は、筐体５１における提示部２０に隣接する位置に配置されている。ユーザは、入力部１６を操作指示することで、各種情報を、入力部１６を介して入力する。また、撮像部１４は、被写体５０を撮像し、被写体５０の撮像画像である被写体画像を取得する。

記憶部１８は、被写体画像に重畳する衣服画像を含む第１画像と、輪郭情報と、を予め記憶する。本実施の形態では、記憶部１８は、第１画像及び輪郭情報を格納したテーブルを記憶する場合を説明する。

図３は、第１画像及び輪郭情報を格納したテーブルのデータ構造の一例である。

図３に示すように、第１画像を格納したテーブルは、例えば、識別情報と、被写体状態と、第１画像と、輪郭画像と、属性情報と、を対応づけて格納する。

識別情報は、第１画像に含まれる衣服画像を一意に識別する情報である。識別情報には、例えば、製品番号や、衣服の名称等が挙げられるが、これらに限られない。製品番号には、例えば、公知のＪＡＮコードを用いる。名称には、例えば、衣服の品名等を用いる。

第１画像は、衣服画像を含む画像である。すなわち、第１画像は、衣服画像によって示される領域と、衣服画像以外の領域と、からなる。

衣服画像は、色画像と、デプス画像と、姿勢情報としての骨格情報と、を含む。色画像は、衣服を該衣服の着用対象である被写体に着用させた状態で撮影したビットマップ画像である。すなわち、色画像は、画素毎に、衣服の色や輝度等を示す画素値の規定された画像である。

デプス画像は、距離画像と称される場合がある。デプス画像は、衣服画像を構成する画素毎に、該衣服画像を取得する撮像装置からの距離を規定した画像である。本実施の形態では、デプス画像は、対応する衣服画像から、ステレオマッチング等の公知の方法により作成してもよいし、対応する該衣服画像と同じ撮影条件でレンジファインダーカメラを用いて撮像することで取得してもよい。

姿勢情報は、衣服画像の取得時の衣服の着用対象である人等の被写体の姿勢を示す情報である。姿勢情報は、被写体の身体の形や向き等を示す。被写体の身体の形とは、被写体の関節の位置や関節の角度の集合によって定まる骨格情報を示す。被写体の向きとは、衣服画像の取得時の、該衣服画像の衣服を着用した被写体の撮像装置に対する向きを示す。例えば、被写体の向きとしては、顔及び身体が撮像装置に対して正面を向いている正面方向、顔及び身体が撮像装置に対して側面を向いている側面方向、正面方向及び側面方向以外の他の方向等がある。

本実施の形態では、第１画像は、姿勢情報として、骨格情報を含む場合を説明する。詳細には、本実施の形態では、骨格情報は、生物の骨格位置（各関節や末端等の位置）を、第１画像に含まれる衣服画像（色画像及びデプス画像）における二次元座標で示したものである。

被写体状態は、対応する第１画像に含まれる衣服画像を取得するときの、該衣服画像の衣服を装着した被写体の状態を示す情報である。本実施の形態では、被写体状態は、対応する衣服画像の衣服を装着した被写体の姿勢情報を示す。姿勢情報は、第１画像に含まれる姿勢情報（本実施の形態では骨格情報）と同じ意味である。

輪郭情報は、対応する衣服画像の輪郭を示す情報である。輪郭情報は、第２輪郭と、第１輪郭と、骨格情報と、を含む。

第２輪郭は、対応する衣服画像の輪郭における開口部に相当する輪郭である。開口部とは、衣服における開口した部分である。具体的には、衣服がＴシャツである場合には、開口部とは、着用されたときに首部、腕部、及び胴部の各々を挿入する対象となる部分である。第１輪郭は、対応する衣服画像の輪郭における開口部以外の輪郭である。

骨格情報は、上記第１画像に含まれる骨格情報と同様に、対応する第２輪郭及び第１輪郭の各々の画素の画素位置に対応する、該輪郭の衣服を着用した生物の骨格の位置を示す情報である。

属性情報は、対応する衣服画像の属性を示す情報である。属性情報は、例えば、衣服画像の衣服のサイズ、衣服の素材、該衣服の流行、該衣服の属する種類、該衣服を着用する対象年齢、該衣服の製造会社、該衣服の推奨する着方、及び該衣服の推奨する重畳順等がある。

衣服の属する種類には、スカート、ズボン、上着、等、衣服をその着用方法に応じて予め定めた種類に分類したときの、各種類を示す情報である。

衣服の推奨する着方、とは、例えば、ボタンを開けた状態で着用する等、該衣服が被写体に着用されたときの、推奨される着方を示す。これらの情報は、予め該画像処理システム１０を設置した場所を管理するユーザが予め設定してもよいし、各衣服画像の衣服を提供する製造業者から提供された情報を設定してもよい。

重畳順とは、該衣服を人体等に重ねて着用したときに、該衣服が、人体に最も接する下位階層側から人体から離れる上位階層側の各階層の内、何れの階層に着用することを推奨する衣服であるか、を示す情報である。この重畳順についても、予め衣服毎に入力してもよいし、ユーザによる入力部１６の操作指示によって入力してもよい。

図４は、衣服画像及び輪郭情報の一例を示す模式図である。

図４（Ａ）に示すように、例えば、衣服画像７４は、セータであり、色画像７４Ａを含む。また、図４（Ｂ）に示すように、衣服画像７４は、色画像７４Ａに対応するデプス画像７４Ｂを含む。また、図４（Ｃ）に示すように、衣服画像７４は、人体の骨格位置（例えば、関節７４_１〜関節７４_１０）を、色画像７４Ａ及びデプス画像７４Ｂにおける二次元座標で示した骨格情報７４Ｃを含む。

また、記憶部１８に記憶されている、該衣服画像７４に対応する輪郭情報として、記憶部１８は、図４（Ｄ）に示す輪郭情報Ｐを含む。詳細には、輪郭情報Ｐは、衣服画像７４（図４（Ａ）参照）の輪郭Ｐの内、開口部Ｏに相当する第２輪郭Ｐ２と、輪郭Ｐの内の第２輪郭Ｐ２以外の第１輪郭Ｐ１と、を含む。また、輪郭情報Ｐは、これらの各第２輪郭Ｐ２及び第１輪郭Ｐ１を構成する画素毎に、人体の骨格位置を示す骨格情報（図４では省略）を含む。

なお、骨格情報は、上述したように、対応する衣服画像の撮像時に、該衣服画像の衣服を着用した被写体の姿勢から算出された情報である。具体的には、骨格情報は、対応するデプス画像に人体形状を当てはめることで予め求められる。なお、各識別情報によって特定される、衣服画像を構成する色画像、デプス画像、及び骨格情報は、事前にキャリブレーションを行うことにより座標系が一致している必要がある。同様に、各識別情報によって特定される、輪郭情報を構成する第２輪郭、第１輪郭、及び骨格情報は、事前にキャリブレーションを行うことにより座標系が一致している必要がある。

図１に戻り、画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。

画像処理装置１２は、撮像部１４、入力部１６、記憶部１８、及び提示部２０に電気的に接続されている。

画像処理装置１２は、第２取得部２２、第２受付部２４、第１取得部２６、第３取得部２８、設定部３０、生成部３２、提示制御部３４、及び変形部３６を備える。

第２受付部２４は、入力部１６から各種情報を受け付ける。

第２取得部２２は、第２画像を取得する。第２画像は、衣服画像を重畳する被写体画像を含む画像である。

第２画像は、被写体画像を含む。被写体画像は、色画像と、デプス画像と、姿勢情報と、を含む。被写体画像の色画像は、被写体画像を示すビットマップ画像である。すなわち、被写体画像の色画像は、画素毎に、被写体の色や輝度等を示す画素値の規定された画像である。被写体画像のデプス画像は、被写体画像を構成する画素毎に、該被写体画像を取得する撮像装置からの距離を規定した画像である。本実施の形態では、デプス画像は、ステレオマッチング等の公知の方法により作成してもよいし、レンジファインダーカメラを用いて撮像することで取得してもよい。

被写体画像の姿勢情報は、被写体画像の取得時の被写体の姿勢を示す情報である。姿勢情報は、上記と同様に、本実施の形態では、被写体の骨格情報を示す。すなわち、被写体画像の姿勢情報は、被写体の骨格位置を、被写体画像（色画像及びデプス画像）の二次元座標で示した情報である。

第２取得部２２は、第１受付部３８及び特定部４０を含む。

第１受付部３８は、被写体の色画像を撮像部１４から受け付ける。なお、第１受付部３８は、図示を省略する通信機能等を介して外部装置から被写体の色画像を受け付けてもよい。また、撮像部１４がデプス画像を取得する機能等を備えた装置である場合には、第１受付部３８は、撮像部１４から、被写体の色画像及びデプス画像を取得する。

特定部４０は、被写体の色画像に基づいて、姿勢情報（骨格情報）を特定する。特定部４０では、デプス画像に人体形状を当てはめる等によって、骨格情報を特定する。これによって、第２取得部２２は、被写体画像を含む第２画像を取得する。

第１取得部２６は、第２取得部２２で取得した第２画像に含まれる被写体画像に重畳する対象の衣服画像を含む第１画像を取得する。

本実施の形態では、第１取得部２６は、入力部１６から、重畳対象の衣服画像を特定するための衣服候補情報を受け付ける。衣服候補情報には、ユーザが試着を所望する衣服のサイズ、素材、流行、種類、対象年齢、製造会社、品名等の属性情報の内の少なくとも１つ、または属性情報の少なくとも１つを特定するための情報が含まれる。

例えば、ユーザは、入力部１６の操作指示によって、衣服の「種類」、「対象年齢」、「サイズ」等を衣服候補情報として入力する。

第１取得部２６では、入力部１６から受け付けた衣服候補情報を解析し、衣服候補情報によって特定される、または衣服候補情報に含まれる属性情報に対応する衣服画像の一覧を、記憶部１８から検索する。そして、提示制御部３４は、第１取得部２６で検索された衣服画像の一覧を、提示部２０に提示する制御を行う。

このとき、第１取得部２６では、入力部１６から受け付けた衣服候補情報によって特定される衣服画像の内、特定部４０で特定された姿勢情報に一致または該姿勢情報に最も近い姿勢情報に対応する衣服画像の一覧を、記憶部１８から検索することが好ましい。そして、提示制御部３４は、この第１取得部２６で検索された、姿勢情報及び衣服候補情報に対応する衣服画像の一覧を、提示部２０に提示する制御を行うことが好ましい。

提示部２０に衣服画像の一覧が提示されると、ユーザによる入力部１６の操作指示によって、提示部２０に提示された衣服画像の一覧の中から、１または複数の衣服画像が選択される。すると、選択された衣服画像を示す情報が、入力部１６から画像処理装置１２へ出力される。

第２受付部２４が、該選択された衣服画像を示す情報を受け付けると、第１取得部２６では、該第２受付部２４で受け付けた選択された衣服画像を示す情報によって特定される衣服画像を含む第１画像を、重畳対象の第１画像として特定する。

また、第１取得部２６は、重畳対象の第１画像として１の第１画像を特定してもよいし、ユーザによる入力部１６の操作指示によって複数の第１画像が選択された場合には、重畳対象として複数の第１画像を取得してもよい。

なお、第１取得部２６は、重畳対象の衣服画像を含む第１画像として、複数の第１画像を取得する場合には、これらの第１画像の各々に含まれる衣服画像の重畳順も取得する。

第１取得部２６は、この各衣服画像の重畳順を、第２受付部２４を介して入力部１６から受け付ける。なお、複数の衣服画像が重畳対象として選択されたにも拘らず、入力部１６から各衣服画像の重畳順を受け付けなかった場合には、第１取得部２６は、選択された衣服画像に対応する重畳順を記憶部１８から読み取り、読み取った重畳順を、各衣服画像の重畳順として取得する。

第１取得部２６は、衣服画像の重畳順を入力部１６から受け付ける場合には、提示制御部３４は、提示部２０に衣服画像の一覧を提示するときに、衣服画像の選択指示を促す第１指示ボタンと共に、衣服画像の重畳順の指示を促す第２指示ボタンを提示部２０に提示すればよい。そして、ユーザによる入力部１６の操作指示によって、該第１指示ボタン及び該第２指示ボタンが指示されることで、重畳対象の衣服画像の第１画像及び重畳順を示す情報が、入力部１６から第２受付部２４へ入力されるようにすればよい。

また、第１取得部２６は、記憶部１８から重畳順を取得する場合には、ユーザによる入力部１６の操作指示によって選択された複数の第１画像に対応する重畳順を記憶部１８から読み取ることで、複数の第１画像の各々に含まれる衣服画像の重畳順を取得すればよい。

第３取得部２８は、第１取得部２６で取得された第１画像に含まれる衣服画像に対応する第２輪郭及び第１輪郭を取得する。詳細には、第３取得部２８では、第１取得部２６で取得された第１画像に含まれる衣服画像に対応する、第２輪郭及び第１輪郭を記憶部１８から読み取ることで、第２輪郭及び第１輪郭を取得する。

なお、第１取得部２６で、重畳対象の衣服画像を含む第１画像として、複数の第１画像が取得された場合には、第３取得部２８は、取得された各第１画像に含まれる衣服画像毎に、対応する第２輪郭及び第１輪郭を取得する。

変形部３６は、第１取得部２６によって取得された第１画像に含まれる衣服画像の衣服が、第２取得部２２によって取得された第２画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像の形状、及び該衣服画像に対応する第１輪郭及び第２輪郭を変形する。

詳細には、変形部３６は、第１変形部４２及び第２変形部４４を備える。第１変形部４２は、第１画像に含まれる衣服画像を変形する。第２変形部４４は、該衣服画像に対応する輪郭情報等を変形する。

図５は、第１変形部４２が行う第１画像の変形を示す模式図である。

第１変形部４２は、第１取得部２６によって取得された第１画像に含まれる衣服画像の衣服が、第２取得部２２によって取得された被写体の姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該衣服画像を変形する。

まず、第２取得部２２が、第２画像として、被写体６０（図５（Ａ）参照）の被写体画像を取得したとする。また、第２取得部２２が、該被写体画像に含まれる姿勢情報として、姿勢情報６２（図５（Ｂ））を取得したとする。この姿勢情報６２は、該被写体６０の骨格位置（例えば、関節６２_１〜関節６２_１７）を示す情報を定めた骨格情報であるとする。

また、第１取得部２６が、衣服画像７４を含む第１画像を取得したとする（図５（Ｄ）参照）。また、色画像７４Ａと、デプス画像７４Ｂと、骨格情報７４Ｃと、を、同じ画素位置の画素が重なるように重ねた衣服画像７４の模式図を図５（Ｃ）に示す。

この場合、第１変形部４２は、例えば、衣服画像７４に含まれる骨格情報７４Ｃによって示される関節位置の各々が、第２取得部２２によって取得された被写体６０の姿勢情報６２（骨格情報）によって特定される各骨格位置（関節６２_１〜関節６２_１７）によって示される関節位置に一致するように、衣服画像７４を変形する。

具体的には、第１変形部４２は、まず、衣服画像７４を複数のグリッドＳに分割する。ここで、骨格情報７４Ｃによって示される各関節位置を結んだ直線をボーンと称する。第１変形部４２は、衣服画像７４のグリッドＳの各点について、最も近いボーンからの相対位置を求める。そして、第１変形部４２は、衣服画像７４における、関節に相当する画素の画素位置を、被写体６０の姿勢情報６２によって特定される、該関節に対応する関節の位置に移動する。次に、衣服画像７４のグリッドＳにおける各交点に相当する画素位置を、最も近いボーンからの相対位置を維持するように、移動させる。これによって、第２画像に含まれる被写体６０の被写体画像の姿勢情報６２を反映するように、衣服画像７４の各画素に対応する骨格情報７４Ｃの関節位置が移動する。この移動した関節位置を元に、フリーフォーム・フォーメーション（ＦＦＤ）を用いて、衣服画像７４Ａ及びデプス画像７４Ｂに変形を行う。

例えば、衣服画像７４の関節位置７４_４は、画素位置ＴＡの画素に対応付けられている。しかし、この関節位置７４_４によって特定される関節（例えば、右肘）は、被写体６０の右肘の関節位置６２_４からずれた位置ＴＡにある。このため、衣服画像７４における関節位置７４_４の画素位置ＴＡを、被写体６０の右肘の関節位置６２_４に相当する画素位置ＴＢにずらす。このとき、衣服画像７４のグリッドＳにおける各交点に相当する画素位置を、最も近いボーンからの相対位置を維持するように、移動させる。これによって、第２画像に含まれる被写体６０の被写体画像の姿勢情報６２を反映するように、衣服画像７４の各画素に対応する骨格情報７４Ｃの関節位置が移動する。この移動した関節位置を元に、フリーフォーム・フォーメーション（ＦＦＤ）を用いて、衣服画像７４Ａ及びデプス画像７４Ｂに変形を行う。

図１に戻り、第２変形部４４は、第１取得部２６によって取得された第１画像に含まれる衣服画像の衣服が、第２取得部２２によって取得された被写体の姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、第１変形部４２と同様にして、該衣服画像に対応する第２輪郭及び第１輪郭を変形する。

設定部３０は、第１取得部２６で取得された第１画像の全領域の内、該第１画像に含まれる衣服画像以外の領域における、該衣服画像に対応する第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する。

第１取得部２６で複数の第１画像が取得された場合には、設定部３０は、取得された複数の第１画像の各々について、各第１画像に含まれる衣服画像以外の領域における該衣服画像に対応する第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する。

描画禁止領域とは、各衣服画像を被写体画像に重畳して後述する合成画像を生成するときに、重畳対象の衣服画像より下層側に重畳させる衣服画像及び被写体画像の描画を禁止する領域を示す。

なお、本実施の形態では、衣服画像及び被写体画像を構成する各画素が、画素値として、描画禁止を示す描画禁止フラグ（マスクフラグと称する場合もある）を含む構成であるものとする。そして、この描画禁止フラグは、初期状態では、無効とされている。設定部３０は、対応する画素の描画禁止フラグを有効とすることで、対応する画素位置の画素を、描画禁止領域を構成する画素として設定する。

図６は、描画禁止領域の説明図である。

例えば、重畳対象の衣服画像が、図６（Ａ）に示す衣服画像７４であり、開口部としての第２輪郭Ｐ２と、開口部以外の第１輪郭Ｐ１と、が輪郭情報として対応づけられていたとする。

この場合、設定部３０は、図６（Ｂ）に示すように、第１画像７５の、衣服画像７４以外の領域における、第１輪郭Ｐ１に連続する領域Ｑを、描画禁止領域として設定する。

なお、描画禁止領域は、第１画像の（図６では第１画像７５）、衣服画像（図６では衣服画像７４）以外の領域における、第１輪郭Ｐ１に連続する領域であればよく、その広さは限定されない。例えば、この描画禁止領域の広さは、第１輪郭Ｐ１を構成する各画素の画素位置に対応する骨格情報に応じて定めてもよい。

図１に戻り、設定部３０は、第２画像に含まれる被写体画像が、衣服画像である場合には、この衣服画像についても、描画禁止領域を設定してもよい。この場合には、衣服画像における第１輪郭を公知の方法により抽出し、上記と同様にして描画禁止領域を設定すればよい。

また、設定部３０は、変形部３６によって変形処理がなされた場合には、変形後の衣服画像及び変形後の輪郭情報を用いて、第１画像の、変形された衣服画像以外の領域における、変形された第１輪郭に連続する領域を、描画禁止領域として設定する。

生成部３２は、第２取得部２２で取得された第２画像に含まれる被写体画像について、描画禁止領域に対応する領域を除去された被写体画像と、衣服画像と、を合成した合成画像を生成する。

詳細には、生成部３２は、重畳対象の各衣服画像及び被写体画像について、より上位階層側に重畳される衣服画像に設定された描画禁止領域を除去された衣服画像及び被写体画像を合成し、合成画像を生成する。

詳細には、生成部３２は、第２取得部２２で取得した第２画像に含まれる被写体画像上に、第１取得部２６で取得した１または複数の第１画像の各々に含まれる衣服画像を、該第１取得部２６で取得した重畳順に従って重畳する。このとき、生成部３２は、重畳対象の各画像（被写体画像及び衣服画像）の各々について、より上位階層側に重畳される衣服画像に設定された描画禁止領域に対応する画素位置の画素を除去した後に、下層側から上位階層側に向かって順に重畳する。これによって、生成部３２は、合成画像を生成する。

提示制御部３４は、合成画像を提示部２０に提示する制御を行う。

次に、本実施の形態の画像処理装置１２で実行する画像処理を説明する。

図７は、本実施の形態の画像処理装置１２で実行する画像処理の手順を示すフローチャートである。

まず、第２取得部２２が、第２画像を取得する、第２画像取得処理を実行する（ステップＳ１００）（詳細後述）。ステップＳ１００の処理によって、第２取得部２２は、衣服画像を重畳する対象の被写体の被写体画像を含む第２画像を取得する。

次に、第２受付部２４が、入力部１６から衣服候補情報を受け付けたか否かを判断する（ステップＳ１０２）。ステップＳ１０２で否定判断すると（ステップＳ１０２：Ｎｏ）、後述するステップＳ１２８へ進む。一方、ステップＳ１０２で肯定判断すると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０４へ進む。

ステップＳ１０４では、第１取得部２６が、ステップＳ１０２で受け付けた衣服候補情報に対応する衣服画像を記憶部１８から検索し（ステップＳ１０４）、提示部２０へ提示する（ステップＳ１０６）。

ステップＳ１０４の処理において、第１取得部２６は、ステップＳ１００で受け付けた第２画像の被写体画像に含まれる姿勢情報と、ステップＳ１０２で受け付けた衣服候補情報と、の双方に対応する衣服画像を記憶部１８から検索することが好ましい。

次に、第２受付部２４が、ユーザによる入力部１６の操作指示によって、提示部２０に提示された衣服画像一覧の中から１または複数の衣服画像が重畳対象として決定されたか否かを判断する（ステップＳ１０８）。ステップＳ１０８で否定されると（ステップＳ１０８：Ｎｏ）、上記ステップＳ１０２へ戻る。ステップＳ１０８で否定される場合とは、提示部２０に提示された衣服画像の変更を示す変更指示が、ユーザによる入力部１６の操作指示によって入力された場合である。

ステップＳ１１０では、第１取得部２６が、ユーザによる入力部１６の操作指示によって選択された衣服画像を含む第１画像を、重畳対象の第１画像として取得する（ステップＳ１１０）。また、複数の第１画像を取得する場合には、衣服画像の重畳順を示す情報も取得する。

次に、第１取得部２６が、ステップＳ１１０で取得した第１画像に含まれる被写体画像に対応する輪郭情報を、記憶部１８から取得する（ステップＳ１１２）。

次に、第１変形部４２が、上記ステップＳ１１０で取得された第１画像に含まれる衣服画像の衣服が、直前に取得された第２画像（ステップＳ１００または後述するステップＳ１２４で取得された第２画像）の被写体画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像の形状を変形する（ステップＳ１１４）。

次に、第２変形部４４が、上記ステップＳ１０８で取得された第１画像に含まれる衣服画像の第１輪郭及び第２輪郭が、直前に取得された第２画像（ステップＳ１００またはステップＳ１２４で取得された第２画像）の被写体画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像に対応する輪郭情報（第２輪郭及び第１輪郭）を変形する（ステップＳ１１６）。

次に、設定部３０が、上記ステップＳ１１０で取得された第１画像の全領域の内、第１画像に含まれる衣服画像以外の領域における、該衣服画像に対応する第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する（ステップＳ１１８）。

次に、生成部３２が、上記ステップＳ１１０で取得された第１画像に含まれる衣服画像について、より上位階層側に重畳される衣服画像に設定された描画禁止領域を除去された衣服画像の各々と、これらの衣服画像に設定された描画禁止領域を除去された被写体画像と、を合成した合成画像を生成する、合成処理を実行する（ステップＳ１２０）。なお、合成処理については詳細を後述する。

提示制御部３４は、上記ステップＳ１２０の処理によって生成部３２で生成された合成画像を、提示部２０に提示する制御を行う（ステップＳ１２２）。

次に、第２取得部２２が、上記ステップＳ１００と同様にして、新たな第２画像を取得する（ステップＳ１２４）。次に、第２取得部２２は、ステップＳ１２４で取得した第２画像に含まれる被写体画像の被写体の姿勢が、前回第２取得部２２で取得した第２画像に含まれる被写体画像の被写体の姿勢とは異なる、すなち、姿勢変更か否かを判断する（ステップＳ１２６）。ステップＳ１２６の判断は、例えば、前回第２取得部２２で取得した第２画像の被写体画像に含まれる姿勢情報と、今回第２取得部２２で取得した第２画像の被写体画像に含まれる姿勢情報と、が不一致であるか否かを判別することで行う。

ステップＳ１２６で肯定判断し（ステップＳ１２６：Ｙｅｓ）、被写体の姿勢が変更されたと判断した場合には、上記ステップＳ１１２へ戻る。なお、ステップＳ１２６で肯定判断された場合（ステップＳ１２６：Ｙｅｓ）、上記ステップＳ１０２へ戻ってもよい。

一方、ステップＳ１２６で否定されると（ステップＳ１２６：Ｎｏ）、ステップＳ１２８へ進む。ステップＳ１２８では、画像処理装置１２が、画像処理を終了するか否かを判断する（ステップＳ１２８）。ステップＳ１２８の判断は、例えば、入力部１６から、画像処理の終了を示す信号を受け付けたか否かを判別することで行う。

ステップＳ１２８で否定判断すると（ステップＳ１２８：Ｎｏ）、上記ステップＳ１００へ戻る。一方、ステップＳ１２８で肯定判断すると（ステップＳ１２８：Ｙｅｓ）、本ルーチンを終了する。

次に、ステップＳ１００及びステップＳ１２４（図７参照）における第２画像取得処理を説明する。

図８は、第２画像取得処理を示すフローチャートである。

まず、第２取得部２２の第１受付部３８が、撮像部１４から撮像画像を取得する（ステップＳ２００）。例えば、第１受付部３８は、ステップＳ２００において、被写体の色画像及びデプス画像を、撮像部１４から撮像画像として取得する（ステップＳ２００）。

次に、特定部４０が、ステップＳ２００で受け付けた色画像及びデプス画像から、被写体の姿勢情報を特定する（ステップＳ２０２）。

次に、第２取得部２２が、ステップＳ２００で受け付けた色画像、デプス画像、及びステップＳ２０２で特定された姿勢情報を、第２画像として取得する（ステップＳ２０４）。そして、本ルーチンを終了する。

次に、ステップＳ１２０（図７参照）における合成処理を説明する。

図９は、生成部３２が行う合成処理を示すフローチャートである。

まず、生成部３２が、第１取得部２６で取得した複数の第１画像の各々に含まれる衣服画像（重畳対象の全て衣服画像）の内の１つを処理対象として選択する（ステップＳ３００）。このとき、生成部３２は、描画処理を未だ行っていない未描画の衣服画像の内、最も最下層側に配置する衣服画像を選択する。

なお、第１取得部２６は、上記ステップＳ１１０で重畳対象として取得した第１画像の識別情報を、図示を省略するメモリに記憶しておく。そして、生成部３２は、後述する描画処理を実行する度に、上記ステップＳ１１０で取得した第１画像の衣服画像を識別する識別情報の内、描画処理を行った衣服画像を識別する識別情報に対応づけて、描画処理済を示す情報を、該メモリに順次記憶する。そして、ステップＳ３００の処理において、生成部３２は、該メモリから、描画処理済を示す情報の対応づけられていない衣服画像の内、重畳順が最も最下層を示す衣服画像を選択することで、処理対象の衣服画像を選択すればよい。

次に、生成部３２は、ステップＳ３００で処理対象として選択した衣服画像を構成する各画素を、順次、処理対象の選択画素として選択し、ステップＳ３０２〜ステップＳ３０６の処理を繰り返す。

生成部３２は、ステップＳ３００で処理対象として選択した衣服画像を構成する、処理対象の選択画素について、該選択画素の画素位置に対応する位置の、該衣服画像より上位階層側に重畳する全ての衣服画像の画素のマスクフラグを読み取る（ステップＳ３０２）。なお、上位階層側に重畳する全ての衣服画像、とは、ステップＳ３００で処理対象として選択した衣服画像より上位階層側に重畳される全ての衣服画像を示す。この上位階層側に重畳される衣服画像は、上記ステップＳ１１０で取得した、各衣服画像に対応する重畳情報から判別すればよい。

次に、生成部３２は、選択画素に対応する、ステップＳ３０２で読み取った上位階層の衣服画像の画素の全てのマスクフラグが無効であるか否かを判断する（ステップＳ３０４）。

ステップＳ３０４で肯定判断すると（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０６へ進む。ステップＳ３０６では、上記ステップＳ３００で処理対象として選択した衣服画像を構成する、当該処理対象の選択画素の画素値を、該画素位置の画素の画素値として描画する（ステップＳ３０６）。

一方、上記ステップＳ３０４で否定判断すると（ステップＳ３０４：Ｎｏ）、ステップＳ３０８へ進む。ステップＳ３０８では、上記ステップＳ３００で処理対象として選択した衣服画像を構成する、当該処理対象の選択画素の画素値を、該画素位置の画素の画素値として描画しない（ステップＳ３０８）。

上記ステップＳ３０２〜ステップＳ３０６の処理を繰り返すことによって、生成部３２は、ステップＳ３００で処理対象として選択した衣服画像を構成する各画素の画素位置について、上位階層側に重畳する衣服画像に描画禁止領域が設定されている場合には、該画素位置の画素を描画せず、描画禁止領域が設定されていない場合には、該画素位置の画素を描画する。

次に、ステップＳ３１０では、生成部３２は、ステップＳ３０２〜ステップＳ３０８の処理において処理対象として選択した衣服画像の識別情報に対応づけて、描画処理済を示す情報を、図示を省略する当該メモリに記憶する（ステップＳ３１０）。

次に、生成部３２は、第１取得部２６で取得された重畳対象の全ての第１画像に含まれる衣服画像について、描画処理を行ったか否かを判断する（ステップＳ３１２）。ステップＳ３１２で否定されると（ステップＳ３１２：Ｎｏ）、上記ステップＳ３００へ戻り、上記ステップＳ３１２で肯定判断すると（ステップＳ３１２：Ｙｅｓ）、本ルーチンを終了する。

ステップＳ３００〜ステップＳ３１２の処理によって、第１取得部２６で取得された第１画像に含まれる衣服画像について、より上位階層側に重畳される衣服画像に設定された描画禁止領域を除去された衣服画像の各々と、これらの衣服画像に設定された描画禁止領域を除去された被写体画像と、を合成した合成画像が生成される。

以上説明したように、本実施の形態の画像処理装置１２では、第１取得部２６が、重畳対象の衣服画像を含む第１画像を取得する。また、第２取得部２２が、衣服画像を重畳する被写体画像を含む第２画像を取得する。第３取得部２８は、衣服画像の輪郭における衣服の開口部に相当する第２輪郭と、該輪郭における第２輪郭以外の第１輪郭と、を取得する。そして、設定部３０は、第１画像の衣服画像以外の領域における、第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する。生成部３２は、描画禁止領域に対応する領域を除去された被写体画像と、より上位階層側に重畳される衣服画像に設定された描画禁止領域を除去された衣服画像と、を合成した合成画像を生成する。

このように、本実施の形態の画像処理装置１２では、被写体画像及び１または複数の衣服画像を合成した合成画像の生成前に、衣服画像における第１輪郭に連続する領域を描画禁止領域として設定し、下層側に配置される被写体画像及び衣服画像から除去する。そして、描画禁止領域の除去された被写体画像及び衣服画像を合成する。

従って、画像処理装置１２は、自然な見え方の合成画像を低負荷で作成することができる。

また、被写体の姿勢が頻繁に変わる等により、合成画像を連続して生成する場合であっても、被写体画像や衣服画像の合成前に、描画禁止領域を除去することから、低負荷で合成画像を作成することができる。

図１０は、本実施の形態の画像処理装置１２における合成画像の生成を示す模式図である。

図１０（Ａ）に示すように被写体画像６０上に、衣服画像７６及び衣服画像７４をこの順に重畳するとする。そして、図１０（Ｂ）に示すように、衣服画像７６には、第２輪郭Ｐ２と第１輪郭Ｐ１が設定され、第１輪郭Ｐ１に連続する領域に描画禁止領域Ｑ２が設定される。また、衣服画像７４には、第２輪郭Ｐ２と第１輪郭Ｐ１が設定され、第１輪郭Ｐ１に連続する領域に描画禁止領域Ｑ１が設定される。

この場合、画像処理装置１２では、被写体画像６０における、上位階層に重畳する衣服画像である衣服画像７６の描画禁止領域Ｑ２と、衣服画像７４の描画禁止領域Ｑ１と、を除去する。また、画像処理装置１２では、衣服画像７６における、上位階層に重畳する衣服画像である衣服画像７４の描画禁止領域Ｑ１を除去する。なお、衣服画像７４については、より上位層側に重畳する衣服画像は無いので、描画禁止領域の除去は行わない。

そして、画像処理装置１２は、これらの描画禁止領域Ｑ１及び描画禁止領域Ｑ２を除去された被写体画像６０と、描画禁止領域Ｑ１を除去された衣服画像７６と、衣服画像７４と、をこの順に重畳した合成画像Ｗを生成する。

図１１は、従来の合成画像と、本実施の形態の画像処理装置１２によって生成された合成画像との対比を示す模式図である。

図１１（Ａ）に示すように、従来では、描画禁止領域の除去を行わずに、複数の衣服画像を重畳した合成画像Ｃを作成していた。このため、下位階層側に重畳する衣服画像が、上位階層側に重畳する衣服画像からはみ出したはみ出し領域Ｘが生じていた。

一方、本実施の形態の画像処理装置１２では、図１１（Ｂ）に示すように、描画禁止領域の除去を行った後に、複数の衣服画像を重畳した合成画像Ｗを作成する。このため、下位階層側に重畳する衣服画像が、上位階層側に重畳する衣服画像からはみ出すことなく、自然な状態の合成画像Ｗが生成される。

また、合成画像の生成前に、下層側の被写体画像及び衣服画像における、より上位階層側の衣服画像において描画禁止領域として設定された領域を除去するので、低負荷で合成画像を生成することができる。

従って、本実施の形態の画像処理装置１２では、自然な見え方の合成画像を低負荷で作成することができる。

（実施の形態２）
上記実施の形態１では、衣服画像毎に、重畳順を設定し、生成部３２において重畳順に従って、描画禁止領域の除去及び合成を行う場合を説明した。しかし、各衣服画像を、衣服画像を構成する衣服部位毎に分割し、衣服部位毎に重畳順を更に設定してもよい。各部位としては、例えば、衣服画像がシャツである場合には、袖、襟、等の衣服各部位がある。

図１は、本実施の形態の画像処理システム１０Ｂを示す模式図である。

画像処理システム１０Ｂは、画像処理装置１２Ｂ、撮像部１４、入力部１６、記憶部１８Ｂ、及び提示部２０を備える。画像処理装置１２Ｂは、第２取得部２２、第２受付部２４、第１取得部２６、第３取得部２８、設定部３０Ｂ、生成部３２Ｂ、提示制御部３４、及び変形部３６を備える。

画像処理システム１０Ｂは、記憶部１８に替えて記憶部１８Ｂ、画像処理装置１２に替えて画像処理装置１２Ｂを備えた点が、画像処理システム１０と異なる。画像処理装置１２Ｂは、設定部３０に替えて設定部３０Ｂ、生成部３２に替えて生成部３２Ｂを備えた点が、画像処理装置１２と異なる。

記憶部１８Ｂは、被写体画像に重畳する衣服画像を含む第１画像と、輪郭情報と、を予め記憶する。本実施の形態では、記憶部１８Ｂは、第１画像を格納したテーブルを記憶する場合を説明する。

図１２は、第１画像を格納したテーブルのデータ構造の一例である。

図１２に示すように、第１画像を格納したテーブルは、識別情報と、被写体状態と、衣服部位と、第１画像と、輪郭画像と、属性情報と、を対応づけて格納する。衣服部位を更に記憶した点が、記憶部１８と異なる。

衣服部位は、対応する識別情報によって特定される衣服画像を、複数の部位に分割したときの各部位を示す。衣服部位には、衣服画像がシャツである場合、襟、袖等がある。

なお、図１２に示すテーブルにおける、衣服画像、輪郭情報、及び属性情報は、衣服部位毎に定められる。なお、識別情報は、衣服画像毎に定められる。このため、各衣服画像を特定する識別情報に対応づけて、１または複数の衣服部位と、各衣服部位に対応する衣服画像、輪郭情報、及び属性情報が、記憶部１８Ｂの該テーブルに格納される。なお、同一の衣服画像における衣服部位は、同じ識別情報が対応づけられていることによって判別可能である。

なお、第２取得部２２、第２受付部２４、第１取得部２６、第３取得部２８、提示制御部３４、及び変形部３６の処理は、上記実施の形態１と同様である。

設定部３０Ｂでは、実施の形態１の設定部３０と同様の設定処理を行う。ただし、設定部３０Ｂは、第１取得部２６で取得され、変形部３６で変形された第１画像に含まれる衣服画像の各部位毎に、描画禁止領域を設定する。また、生成部３２Ｂは、実施の形態１の生成部３２と同様の処理を行う。ただし、生成部３２Ｂでは、各衣服部位に対応する重畳順に従って、合成処理を実行する。

このように、各衣服画像を、衣服画像を構成する衣服部位毎に分割し、衣服部位毎に重畳順を更に設定することで、例えば、重畳対象の衣服画像としてのブラウスの襟を、該ブラウスの上に重畳する衣服画像としてのセータの外に出すといった着方の、合成画像を生成することができる。

（実施の形態３）
なお、上記実施の形態１では設定部３０は、第１画像毎に、衣服画像の第１輪郭に連続する領域に描画禁止領域を設定する場合を説明した。また、上記実施の形態２では、衣服画像を複数の衣服部位に分割し、衣服部位毎に、重畳順を設定する場合を説明した。

しかし、更に、衣服部位毎に重畳規則を設定し、重畳規則に基づいて、合成画像を生成してもよい。

図１は、本実施の形態の画像処理システム１０Ｃを示す模式図である。

画像処理システム１０Ｃは、画像処理装置１２Ｃ、撮像部１４、入力部１６、記憶部１８Ｃ、及び提示部２０を備える。画像処理装置１２Ｃは、第２取得部２２、第２受付部２４、第１取得部２６、第３取得部２８、設定部３０Ｂ、生成部３２Ｃ、提示制御部３４、及び変形部３６を備える。

画像処理システム１０Ｃは、記憶部１８に替えて記憶部１８Ｃ、画像処理装置１２に替えて画像処理装置１２Ｃを備えた点が、画像処理システム１０と異なる。画像処理装置１２Ｃは、設定部３０に替えて設定部３０Ｂ、生成部３２に替えて生成部３２Ｃを備えた点が、画像処理装置１２と異なる。設定部３０Ｂは、実施の形態２と同じである。

記憶部１８Ｃは、上記図１２に示す第１画像を格納したテーブルに替えて、図１３に示すテーブルを予め記憶する。図１３は、第１画像を格納した図１２とは異なるテーブルのデータ構造を示す模式図である。

図１３に示すように、第１画像を格納したテーブルは、例えば、識別情報と、被写体状態と、衣服部位と、第１画像と、輪郭画像と、属性情報と、を対応づけて格納する。そして、属性情報は、更に、重畳規則を含む点が、図３及び図１２に示したテーブルのデータ構造とは異なる。

重畳規則は、対応する衣服部位について、他の衣服部位または他の衣服画像の種類に対して、描画禁止領域を有効とするか否かを定めたものである。例えば、衣服部位が、シャツの袖であったとする。この場合、例えば、該衣服部位「袖」に対応する重畳規則として、種類が「スカート」の衣服画像または衣服部位の描画禁止フラグを無効として扱うことを示す重畳規則を予め定める。

生成部３２Ｃでは、衣服画像の合成時に、重畳規則を参照し、処理対象の衣服部位（例えば、シャツの「袖」）に対応する重畳規則が、種類「スカート」の衣服画像または衣服部位の描画禁止フラグを無効として扱うことを示す重畳規則である場合には、該「袖」を衣服部位とする衣服画像「シャツ」の上位階層に種類「スカート」の衣服画像を重畳する場合であっても、該衣服部位「袖」に重畳する該衣服画像「スカート」の描画禁止フラグは無効として扱う。

このように、更に、重畳規則を定めることで、例えば、衣服画像「ブラウス」と衣服画像「スカート」とをこの順に重畳した合成画像を生成する場合に、ブラウスにおける衣服部位「袖」については、衣服画像「スカート」における描画禁止領域の影響をうけず、ブラウスにおける「袖」以外の衣服部位については、衣服画像「スカート」における描画禁止領域によって除去された後に、合成画像が生成されることとなる。

このため、更に自然に、合成画像を提供することができる。

（実施の形態４）
本実施の形態では、衣服画像によって特定される衣服の変形容易度に応じて、変形度合を調整する。

図１は、本実施の形態の画像処理システム１０Ｄを示す模式図である。

画像処理システム１０Ｄは、画像処理装置１２Ｄ、撮像部１４、入力部１６、記憶部１８Ｄ、及び提示部２０を備える。画像処理装置１２Ｄは、第２取得部２２、第２受付部２４、第１取得部２６Ｄ、第３取得部２８、設定部３０、生成部３２、提示制御部３４、及び変形部３６Ｄを備える。

画像処理システム１０Ｄは、記憶部１８に替えて記憶部１８Ｄ、画像処理装置１２に替えて画像処理装置１２Ｄを備えた点が、画像処理システム１０と異なる。画像処理装置１２Ｄは、変形部３６に替えて変形部３６Ｄを備え、第１取得部２６に替えて第１取得部２６Ｄを備えた点が、画像処理装置１２と異なる。

記憶部１８Ｄは、被写体画像に重畳する衣服画像を含む第１画像と、輪郭情報と、を予め記憶する。本実施の形態では、記憶部１８Ｄは、第１画像を格納したテーブルを記憶する場合を説明する。

図１４は、第１画像を格納したテーブルのデータ構造の一例である。

図１４に示すように、第１画像を格納したテーブルは、識別情報と、被写体状態と、変形容易度と、第１画像と、輪郭画像と、属性情報と、を対応づけて格納する。変形容易度を更に記憶した点が、記憶部１８と異なる。

変形容易度とは、対応する衣服画像によって特定される衣服の形状の変形の容易度を示す。すなわち、変形容易度が高いほど、衣服の形状は変形しやすい。反対に、変形容易度が低いほど、衣服の形状は変形しにくい。

第１取得部２６Ｄは、複数の第１画像と、該複数の第１画像の各々に含まれる衣服画像の重畳順と、衣服画像の衣服の変形容易度と、を更に取得する。第１取得部２６Ｄは、入力部１６を介してユーザによって選択された、重畳対象の衣服の衣服画像に対応する重畳順及び変形容易度を記憶部１８Ｄから読み取ることによって、重畳順及び変形容易度を取得する。

変形部３６Ｄは、実施の形態１の変形部３６と同様に、第１取得部２６Ｄによって取得された第１画像に含まれる衣服画像の衣服が、第２取得部２２によって取得された第２画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像の形状、及び該衣服画像に対応する第１輪郭を変形する。

そして、本実施の形態では、変形部３６Ｄは、更に、最も変形容易度の低い衣服画像の輪郭が最も外側に位置し、変形容易度が高くなるほど衣服画像の輪郭が該位置より内側に位置するように、第１取得部２６Ｄで取得された第１画像に含まれる衣服画像の形状、及び該衣服画像に対応する第１輪郭を、変形する。

詳細には、変形部３６Ｄは、第１変形部４２Ｄ及び第２変形部４４Ｄを備える。第１変形部４２Ｄは、第１画像に含まれる衣服画像が、第２取得部２２によって取得された第２画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像の形状を変形する。

そして、本実施の形態では、第１変形部４２Ｄは、更に、最も変形容易度の低い衣服画像の輪郭が最も外側に位置し、変形容易度が高くなるほど衣服画像の輪郭が該位置より内側に位置するように、第１取得部２６Ｄで取得された第１画像に含まれる衣服画像の形状、を、変形する。衣服画像の変形方法は、実施の形態１と同様である。

また、第２変形部４４Ｄは、第１画像に含まれる衣服画像が、第２取得部２２によって取得された第２画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該第１画像に含まれる衣服画像に対応する輪郭（第２輪郭及び第１輪郭）の形状を変形する。

そして、本実施の形態では、第２変形部４４Ｄは、更に、最も変形容易度の低い衣服画像の輪郭が最も外側に位置し、変形容易度が高くなるほど衣服画像の輪郭が該位置より内側に位置するように、第１取得部２６Ｄで取得された第１画像に含まれる衣服画像に対応する輪郭（第２輪郭及び第１輪郭）の形状を、変形する。輪郭の変形方法は、実施の形態１と同様である。

次に、本実施の形態の画像処理装置１２Ｄで実行する画像処理を説明する。図１５は、本実施の形態の画像処理装置１２Ｄで実行する画像処理の手順を示すフローチャートである。

画像処理装置１２Ｄでは、実施の形態１における画像処理（図７参照）におけるステップＳ１００〜ステップＳ１１２と同様の処理を実行する（ステップＳ４００〜ステップＳ４１２）。

ステップＳ４００〜ステップＳ４１２の処理によって、被写体画像を含む第２画像、重畳対象の衣服画像を含む１または複数の第１画像、及び各衣服画像に対応する輪郭情報（第２輪郭及び第１輪郭）が取得される。

次に、第１取得部２６Ｄが、上記ステップＳ４００〜ステップＳ４１２の処理によって取得された、重畳対象の衣服画像の各々に対応する、変形容易度を取得する（ステップＳ４１３）。

次に、第１変形部４２Ｄが、上記ステップＳ４１０で取得された複数の第１画像に含まれる衣服画像の衣服が、直前に取得された第２画像（ステップＳ４００または後述するステップＳ４２４で取得された第２画像）に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、該複数の第１画像の各々に含まれる衣服画像の形状を変形する。そして、第１変形部４２Ｄは、更に、最も変形容易度の低い衣服画像の輪郭が最も外側に位置し、変形容易度が高くなるほど衣服画像の輪郭が該位置より内側に位置するように、ステップＳ４１３で取得された変形容易度に基づいて、該複数の第１画像の各々に含まれる衣服画像の形状を変形する（ステップＳ４１４）。

次に、第２変形部４４Ｄが、上記ステップＳ４１０で取得された複数の第１画像に含まれる衣服画像の各々の第１輪郭及び第２輪郭が、上記ステップＳ４００で取得された第２画像に含まれる姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、複数の該第１画像に含まれる衣服画像に対応する第１輪郭を変形する。そして、第２変形部４４Ｄは、更に、最も変形容易度の低い衣服画像の輪郭が最も外側に位置し、変形容易度が高くなるほど衣服画像の輪郭が該位置より内側に位置するように、ステップＳ４１０で取得された複数の第１画像の各々に含まれる衣服画像に対応する輪郭（第２輪郭及び第１輪郭）の形状を、変形する（ステップＳ４１６）。

次に、設定部３０が、上記ステップＳ４１０で取得された各第１画像の全領域の内、各第１画像に含まれる衣服画像以外の領域における、該衣服画像に対応する第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する（ステップＳ４１８）。

次に、生成部３２が、上記ステップＳ４１０で取得された第１画像に含まれる衣服画像について、より上位階層側に重畳される衣服画像に設定された描画禁止領域を除去された衣服画像の各々と、これらの衣服画像に設定された描画禁止領域を除去された被写体画像と、を合成した合成画像を生成する、合成処理を実行する（ステップＳ４２０）。なお、ステップＳ４２０の合成処理は、実施の形態１の合成処理（図７中、ステップＳ１２０参照）と同様である。

提示制御部３４は、上記ステップＳ４２０の処理によって生成部３２で生成された合成画像を提示部２０に提示する制御を行う（ステップＳ４２２）。

次に、第２取得部２２が、上記ステップＳ４００と同様にして、新たな第２画像を取得する（ステップＳ４２４）。次に、第２取得部２２は、ステップＳ４２４で取得した第２画像に含まれる被写体画像の被写体の姿勢が、前回第２取得部２２で取得した第２画像に含まれる被写体画像の被写体の姿勢とは異なる、すなち、姿勢変更か否かを判断する（ステップＳ４２６）。

ステップＳ４２６で肯定判断し（ステップＳ４２６：Ｙｅｓ）、被写体の姿勢が変更された場合には、上記ステップＳ４１２へ戻る。なお、ステップＳ４２６で肯定判断された場合（ステップＳ４２６：Ｙｅｓ）、上記ステップＳ４０２へ戻ってもよい。

一方、ステップＳ４２６で否定されると（ステップＳ４２６：Ｎｏ）、ステップＳ４２８へ進む。ステップＳ４２８では、画像処理装置１２Ｄが、画像処理を終了するか否かを、ステップＳ１２８と同様にして判断する（ステップＳ４２８）。

ステップＳ４２８で否定判断すると（ステップＳ４２８：Ｎｏ）、上記ステップＳ４００へ戻る。一方、ステップＳ４２８で肯定判断すると（ステップＳ４２８：Ｙｅｓ）、本ルーチンを終了する。

以上説明したように、変形部３６Ｄが、変形容易度に応じて衣服画像を変形することによって、実施の形態１の効果に加えて更に自然な合成画像を提示することができる。

（実施の形態５）
図１６は、画像処理システム１０Ｅを示す模式図である。画像処理システム１０Ｅは、記憶装置７２と、処理装置１１と、が通信回線７４を介して接続されている。

記憶装置７２は、実施の形態１における記憶部１８を備えた装置であり、公知のパーソナルコンピュータ等である。処理装置１１は、実施の形態１における、画像処理装置１２、撮像部１４、入力部１６、及び提示部２０を備えた装置である。なお、実施の形態１と同じ機能部には同じ符号を付与して詳細な説明を省略する。通信回線７４は、有線通信回線や、無線通信回線がある。

図１６に示すように、記憶部１８を、通信回線７４を介して処理装置１１（画像処理装置１２）に接続された記憶装置７２に設けた構成とすることで、複数の処理装置（画像処理装置１２）から同じ記憶部１８にアクセスすることができ、記憶部１８に記憶されているデータの一元管理が可能となる。

なお、処理装置１１は、任意の箇所に設置可能である。例えば、処理装置１１を、ユーザが合成画像を視認する場所、例えば、店舗等に設置してもよい。また、処理装置１１の各機能を、公知の携帯端末に搭載してもよい。

（実施の形態６）
次に、本実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄのハードウェア構成について説明する。図１７は、本実施の形態の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄのハードウェア構成例を示すブロック図である。

実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄは、提示部８０、通信Ｉ／Ｆ部８２、撮像部８４、入力部９４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、及びＨＤＤ９２等がバス９４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄの全体の処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した各記憶部１８に格納されるデータを記憶する。通信Ｉ／Ｆ部８２は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインタフェースである。提示部８０は、上述した提示部２０に相当する。撮像部８４は、上述した撮像部１４に相当する。入力部９４は、上述した入力部１６に相当する。

本実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄで実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、本実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄで実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、本実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄにおける上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態１〜実施の形態５の画像処理装置１２、画像処理装置１２Ｂ、画像処理装置１２Ｃ、画像処理装置１２Ｄで実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報、すなわち記憶部１８に格納されている各種情報は、外部装置（例えばサーバ）に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１２、１２Ｂ、１２Ｃ、１２Ｄ 画像処理装置
１４ 撮像部
１６ 入力部
１８、１８Ｂ、１８Ｃ、１８Ｄ 記憶部
２０ 提示部
２２ 第２取得部
２４ 第２受付部
２６、２６Ｄ 第１取得部
２８ 第３取得部
３０、３０Ｂ 設定部
３２、３２Ｂ、３２Ｃ 生成部
３４ 提示制御部
３６、３６Ｄ 変形部
３８ 第１受付部
４０ 特定部
４２、４２Ｄ 第１変形部
４４、４４Ｄ 第２変形部

Claims (11)

1. 重畳対象の衣服画像を含む第１画像を取得する第１取得部と、
   前記衣服画像を重畳する被写体画像を含む第２画像を取得する第２取得部と、
   前記衣服画像の輪郭における衣服の開口部以外の第１輪郭を取得する第３取得部と、
   前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する設定部と、
   前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記衣服画像と、を合成した合成画像を生成する生成部と、
   を備えた画像処理装置。
2. 前記第２画像は、前記被写体画像の被写体の姿勢情報を含み、前記衣服画像の衣服が前記姿勢情報によって特定される姿勢の被写体に着用されたときの形状となるように、取得された前記第１画像に含まれる前記衣服画像の形状、及び該衣服画像に対応する前記第１輪郭を変形する変形部を更に備え、
   前記設定部は、前記第１画像の変形された前記衣服画像以外の領域における、変形された前記第１輪郭に連続する少なくとも一部の領域を、前記描画禁止領域として設定し、
   前記生成部は、前記描画禁止領域に対応する領域を除去された前記被写体画像と、変形された前記衣服画像と、を合成した前記合成画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記第１取得部は、前記姿勢情報に対応づけて前記衣服画像を記憶した記憶部から、前記第２画像に含まれる前記姿勢情報に一致または最も近い前記衣服画像を含む前記第１画像を取得する、
   請求項２に記載の画像処理装置。
4. 前記第１取得部は、
   複数の前記第１画像と、複数の前記第１画像に含まれる複数の前記衣服画像の重畳順と、を取得し、
   前記第３取得部は、
   複数の前記衣服画像の前記第１輪郭を取得し、
   前記設定部は、
   複数の前記第１画像の各々毎に、前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、前記描画禁止領域として設定し、
   前記生成部は、
   複数の前記衣服画像の各々に設定された前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記重畳順に応じて上位階層側に重畳される前記衣服画像に設定された前記描画禁止領域を除去された複数の前記衣服画像と、を合成した前記合成画像を生成する、
   請求項１に記載の画像処理装置。
5. 前記第１取得部は、
   複数の前記第１画像と、複数の前記第１画像の各々に含まれる複数の前記衣服画像を複数の衣服部位に分割した該衣服部位の重畳順と、を取得し、
   前記第３取得部は、
   複数の前記衣服画像の前記第１輪郭を取得し、
   前記設定部は、
   複数の前記第１画像の各々毎に、前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、前記描画禁止領域として設定し、
   前記生成部は、
   複数の前記衣服画像の各々に設定された前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記重畳順に応じて上位階層側に重畳される前記衣服部位に設定された前記描画禁止領域を除去された複数の前記衣服部位と、前記重畳順に合成した前記合成画像を生成する、
   請求項１に記載の画像処理装置。
6. 前記第１取得部は、
   複数の前記第１画像と、複数の前記第１画像に含まれる複数の前記衣服画像の重畳順と、前記衣服画像の衣服の変形容易度と、を取得し、
   前記第３取得部は、
   複数の前記衣服画像の前記第１輪郭を取得し、
   前記変形部は、
   前記衣服画像の衣服が前記姿勢情報によって特定される姿勢の前記被写体に着用されたときの形状となり、且つ、最も変形容易度の低い前記衣服画像の前記輪郭が最も外側に位置し、変形容易度が高くなるほど前記衣服画像の前記輪郭がより内側に位置するように、取得された前記第１画像に含まれる前記衣服画像の形状、及び該衣服画像に対応する前記第１輪郭を、変形する、
   請求項２に記載の画像処理装置。
7. 前記姿勢情報と、前記衣服画像を含む前記第１画像と、前記第１輪郭と、を対応づけて予め記憶した記憶部を更に備えた、請求項１〜請求項６の何れか１項に記載の画像処理装置。
8. 前記合成画像を提示部に提示する提示制御手段を更に備えた、請求項１〜請求項７の何れか１項に記載の画像処理装置。
9. 前記提示部を更に備えた、請求項８に記載の画像処理装置。
10. 重畳対象の衣服画像を含む第１画像を取得し、
    前記衣服画像を重畳する被写体画像を含む第２画像を取得し、
    前記衣服画像の輪郭における衣服の開口部以外の第１輪郭を取得し、
    前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定し、
    前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記衣服画像と、を合成した合成画像を生成する、
    画像処理方法。
11. コンピュータを、
    重畳対象の衣服画像を含む第１画像を取得する手段と、
    前記衣服画像を重畳する被写体画像を含む第２画像を取得する手段と、
    前記衣服画像の輪郭における衣服の開口部以外の第１輪郭を取得する手段と、
    前記第１画像の前記衣服画像以外の領域における、前記第１輪郭に連続する少なくとも一部の領域を、描画禁止領域として設定する手段と、
    前記描画禁止領域に対応する領域を除去された前記被写体画像と、前記衣服画像と、を合成した合成画像を生成する手段と、
    して機能させる画像処理プログラム。

Images