JP2019144890A - 仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データ - Google Patents

Abstract

【課題】高精度に合成された仮想試着画像を容易に提供する。【解決手段】仮想試着システム１は、学習部１２Ｃと、取得部１２Ａと、導出部１２Ｄと、生成部２６Ｈと、を備える。学習部１２Ｃは、教師試着者画像を入力データとし、教師試着者画像によって示される試着者の体型を示す体型パラメータおよび教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習する。取得部２６Ｇは、試着者画像を取得する。導出部１２Ｄは、試着者画像と学習モデルを用いて、試着者画像によって示される試着者の出力データを導出する。生成部２６Ｈは、導出された出力データを用いて、試着者画像と衣服画像を合成した仮想試着画像を生成する。【選択図】図３

Description

本発明の実施の形態は、仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データに関する。

試着対象の衣服を着用した状態を示す仮想画像を表示する技術が開示されている。例えば、ユーザが衣服を試着した状態を示す合成画像を表示する技術が開示されている。

特開２０１４−１６５６１３号公報 特開２０１６−１２２４１１号公報

しかしながら、従来では、仮想試着画像の表示時に、試着者の三次元形状に関する情報を取得し、取得した三次元形状に関する情報に応じて変形および位置合せを行うことで、衣服画像と試着者画像とを合成していた。このため、従来では、簡易な構成で、高精度に合成された仮想試着画像を提供することは困難であった。

本発明が解決しようとする課題は、高精度に合成された仮想試着画像を容易に提供することが出来る、仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データを提供することである。

実施の形態の仮想試着システムは、学習部と、取得部と、導出部と、生成部と、を備える。学習部は、教師試着者画像を入力データとし、前記教師試着者画像によって示される試着者の体型を示す体型パラメータおよび前記教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習する。取得部は、試着者画像を取得する。導出部は、前記試着者画像と前記学習モデルを用いて、前記試着者画像によって示される試着者の前記出力データを導出する。生成部は、導出された前記出力データを用いて、前記試着者画像と衣服画像を合成した仮想試着画像を生成する。

図１は、仮想試着システムの模式図である。 図２は、本体部と試着者との位置関係を示す模式図である。 図３は、情報処理装置および端末装置の機能ブロック図である。 図４は、学習データのデータ構成の一例を示す模式図である。 図５は、合成位置情報の一例の説明図である。 図６は、仮想試着画像の一例を示す模式図である。 図７は、情報処理の手順の一例を示すフローチャートである。 図８は、情報処理の手順の一例を示すフローチャートである。 図９は、情報処理装置、端末装置、および外部サーバのハードウェア構成例を示すブロック図である。

以下に添付図面を参照して、仮想試着システム、仮想試着方法、仮想試着プログラム、情報処理装置、および学習データの一の実施の形態を詳細に説明する。

図１は、本実施の形態の仮想試着システム１の模式図である。

仮想試着システム１は、情報処理装置１０と、端末装置２６と、外部サーバ２８と、を備える。情報処理装置１０と、端末装置２６と、外部サーバ２８と、は、通信回線３４を介して接続されている。通信回線３４は、公知のネットワークである。情報処理装置１０、端末装置２６、および外部サーバ２８は、有線または無線により通信回線３４に接続される。

なお、本実施の形態では、仮想試着システム１は、１台の情報処理装置１０と、１台の外部サーバ２８と、１台の端末装置２６と、を備える場合を一例として説明する。しかし、仮想試着システム１は、１または複数台の情報処理装置１０と、１または複数台の外部サーバ２８と、１または複数台の端末装置２６と、を備えた構成であればよい。

端末装置２６は、仮想試着画像を表示する装置である。仮想試着画像とは、試着者の試着者画像５０上に、衣服画像を合成した合成画像である。言い換えると、仮想試着画像とは、試着者が衣服を仮想的に試着した状態を示す画像である。本実施の形態では、端末装置２６は、情報処理装置１０で生成された学習モデルを用いて仮想試着画像を生成し、表示する。学習モデルの詳細は、後述する。

端末装置２６は、仮想試着を行う試着者によって操作される。端末装置２６は、例えば、公知のパーソナルコンピュータや、携帯可能なモバイル端末や、スマートフォンなどである。

試着者は、衣服を試着する対象である。試着者は、衣服を試着する対象であればよく、生物であってもよいし、非生物であってもよい。生物には、例えば、人物が挙げられる。なお、生物は、人物に限られず、犬や猫等の、人物以外の動物であってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等が挙げられるが、これに限られない。また、試着者は、衣服を着用した状態の生物や非生物であってもよい。本実施の形態では、試着者は、人物である場合を説明する。

なお、本実施の形態では、試着者、および試着者以外の人物を総称して説明する場合には、単に、ユーザと称して説明する。

衣服とは、試着者が着用可能な品物である。衣服は、例えば、上着、スカート、ズボン、靴、帽子、アクセサリ、水着、かつら、などが挙げられる。なお、衣服は、上着、スカート、ズボン、靴、帽子、アクセサリ、水着、かつら、などに限定されない。

端末装置２６は、撮影部２６Ａと、入力部２６Ｂと、表示部２６Ｃと、を備える。撮影部２６Ａは、試着者を撮影し、試着者の試着者画像５１を得る。試着者画像５１は、試着者画像５０の一例である。試着者画像５１は、端末装置２６で撮影された試着者画像５０を示す。

撮影部２６Ａは、公知のデジタルカメラである。試着者画像５１（試着者画像５０）は、具体的には、試着者画像データである。本実施の形態では、説明を簡略化するために、単に、試着者画像５１（試着者画像５０）と称して説明する。

なお、試着者画像５０のデータ形式は限定されない。例えば、試着者画像５０は、画素毎に、試着者の色や輝度等を示す画素値の規定された画像である。なお、試着者画像５０は、ビットマップ画像に限定されない。

表示部２６Ｃは、各種画像を表示する。本実施の形態では、表示部２６Ｃは、仮想試着画像を表示する。表示部２６Ｃは、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などである。

入力部２６Ｂは、ユーザによる操作指示を受付ける。入力部２６Ｂは、キーボード、マウス、入力ボタンなどである。なお、表示部２６Ｃと入力部２６Ｂは、一体的に構成してもよい。この場合、表示部２６Ｃおよび入力部２６Ｂは、タッチパネルとして構成すればよい。

外部サーバ２８は、衣服画像や、ビッグデータを処理可能なサーバ装置である。本実施の形態では、外部サーバ２８は、仮想試着画像に用いるための衣服画像と衣服画像を識別するための衣服ＩＤとを予め対応づけて記憶する。外部サーバ２８には、複数の衣服画像が、各々の衣服ＩＤに対応づけて予め記憶されている。また、外部サーバ２８は、ビッグデータを処理することで、インターネット上の各種サーバ装置に蓄積されたユーザの購買情報などを分析する。

情報処理装置１０は、学習モデルを生成するための装置である。学習モデルは、試着者画像から、該試着者画像によって示される試着者の体型パラメータおよび合成位置情報を導出するための、アプリケーションプログラムである。学習モデルの詳細は後述する。情報処理装置１０は、１または複数の端末装置２６からアクセスされ、学習した学習モデルや学習モデルから導出した出力データなどを提供する。

情報処理装置１０は、情報処理部１１と、本体部１６と、を備える。情報処理部１１は、制御部１２と、記憶部１４と、を有する。制御部１２は、情報処理装置１０に設けられた装置各部を制御する。記憶部１４は、各種データを記憶する、公知のハードディスクデバイスである。

本体部１６は、表示部１８と、撮影部２０と、三次元データ取得部２１と、入力部２２と、を備える。

入力部２２は、ユーザによる各種操作指示を受付ける。入力部２２は、例えば、キーボード、タッチパネル、ポインティングデバイス、マウス、などである。

撮影部２０は、試着者を撮影し、試着者の試着者画像５０を得る。なお、情報処理装置１０に設けられた撮影部２０で撮影された試着者画像５０を、教師試着者画像４０と称して説明する。

教師試着者画像４０は、学習モデルの生成に用いるための試着者画像５０である。撮影部２０は、教師試着者画像４０を取得可能な公知の撮影装置である。撮影部２０は、例えば、デジタルカメラである。

なお、図１には、一例として、１台の撮影部２０を示した。しかし、情報処理装置１０は、複数の撮影部２０を備えた構成であってもよい。この場合、複数の撮影部２０は、互いに異なる撮影方向から試着者を撮影可能な位置に設置されていればよい。すなわち、複数の撮影部２０の各々は、互いに撮影角度の異なる教師試着者画像４０を撮影可能な位置に設置されていればよい。

また、情報処理装置１０は、種類の異なる複数種類の撮影部２０を備えた構成であってもよい。撮影部２０の種類が異なる、とは、画角、レンズ（望遠レンズ、広角レンズ、短焦点レンズ、ズームレンズ、魚眼レンズ、など）、撮影倍率、解像度、および、撮影部２０の製造メーカ、の少なくとも１つが異なる事を意味する。

三次元データ取得部２１は、試着者の三次元データを得るための機器である。三次元データは、例えば、３Ｄ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）フィーチャデータ、サーフェスデータ、ソリッドデータ、３Ｄ ＣＡＤｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎデータ、デプスマップ、などである。

三次元データ取得部２１は、上記三次元データを得る事の可能な公知の機器であればよい。例えば、三次元データがデプスマップである場合、三次元データ取得部２１は、撮影によってデプスマップを取得する撮影装置である。デプスマップは、距離画像と称される場合がある。デプスマップは、三次元データ取得部２１からの距離を画素ごとに規定した画像である。

本実施の形態では、撮影部２０および三次元データ取得部２１は、同じタイミングで試着者を撮影する。撮影部２０および三次元データ取得部２１は、制御部１２によって、同じタイミングで同期して撮影を順次行うように制御されている。そして、撮影部２０および三次元データ取得部２１は、撮影によって得た試着者の教師試着者画像４０および三次元データを、順次、制御部１２へ出力する。

本実施の形態では、撮影部２０および三次元データ取得部２１は、試着者を複数の撮影角度から撮影する。このため、撮影部２０は、複数の撮影角度の各々に対応する教師試着者画像４０を得る。また、三次元データ取得部２１は、複数の撮影角度の各々に対応する三次元データを得る。

複数の撮影角度は、互いに異なる撮影角度であればよい。例えば、複数の撮影角度は、試着者の体幹を回転軸として３６０°回転させたときの、予め定めた角度ごとの撮影角度の各々である。具体的には、０°から所定角度（例えば５°）ずつ加算して３６０°に到るまでの撮影角度の各々であってもよい。撮影角度０°とは、例えば、試着者が表示部１８に対して正面を向くように対峙した状態の撮影角度を示す。また、撮影角度１８０°とは、例えば、表示部１８に対して背中を向けるように対峙した状態の撮影角度を示す。

具体的には、表示部１８の表示面に対峙した試着者を、異なる複数の撮影方向の各々から撮影可能な位置の各々に、撮影部２０および三次元データ取得部２１を配置する。そして、撮影部２０および三次元データ取得部２１は、撮影した撮影画像を得ることで、複数の撮影角度の各々に対応する教師試着者画像４０および三次元データを得ればよい。

また、表示部１８の表示面に試着者が対峙したときに、制御部１２が、試着者に所定のポーズをとることを促すメッセージを出力するように制御してもよい。例えば、制御部１２は、試着者が自分でカメラ等の撮影部を挟持して撮影すること（所謂、自撮り）によって撮影された状態を示す画像となるように、ポーズを促すメッセージを出力するように制御してもよい。

例えば、制御部１２は、表示部１８に該メッセージを表示する。また、例えば、本体部１６にスピーカを更に備えた構成とし、制御部１２は、該スピーカから該メッセージを出力してもよい。

この場合、撮影部２０は、自撮り時と同様のポーズの試着者を撮影し、該ポーズの試着者の教師試着者画像４０を得ることができる。

また、撮影部２０および三次元データ取得部２１は、連続して撮影を行うことで、撮影時間の異なる複数の教師試着者画像４０および三次元データを得ることができる。

表示部１８は、各種画像を表示する装置である。表示部１８は、例えば、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の公知の表示装置である。本実施の形態では、表示部１８は、撮影部２０で撮影された教師試着者画像４０を表示する。このため、表示部１８に対峙した試着者は、鏡を視認する感覚で、表示部１８を視認することができる。また、表示部１８は、制御部１２で生成された後述する重畳画像を表示してもよい（詳細後述）。

表示部１８は、例えば矩形状の筐体の一の面に組み込まれている。本実施の形態では、表示部１８は、人物の等身大以上の大きさで構成されている場合を説明する。なお、表示部１８の大きさは、この大きさに限定されない。

図２は、本実施の形態における、本体部１６と試着者Ｐとの位置関係を示す模式図である。

制御部１２は（図２では図示省略）、試着者Ｐの教師試着者画像４０や、試着者Ｐが各種の衣服を試着した状態を示す重畳画像Ｗなどを、表示部１８に表示する。図２には、一例として、教師試着者画像４０と衣服画像４２との重畳画像Ｗを示した。人物等の試着者Ｐは、例えば、該表示部１８の表示面に対峙した位置から、該表示部１８に提示された重畳画像Ｗ２を視認する。なお、撮影部２０および三次元データ取得部２１は、表示部１８の表示面に対峙した試着者Ｐを撮影可能となるように、撮影位置および撮影方向を予め調整されている。

図１に戻り説明を続ける。次に、仮想試着システム１に含まれる情報処理装置１０および端末装置２６の機能を説明する。図３は、仮想試着システム１に含まれる情報処理装置１０および端末装置２６の機能ブロック図の一例である。

まず、情報処理装置１０について説明する。情報処理装置１０は、制御部１２と、撮影部２０と、三次元データ取得部２１と、記憶部１４と、表示部１８と、入力部２２と、を備える。撮影部２０、三次元データ取得部２１、記憶部１４、表示部１８、および入力部２２と、制御部１２とは、データや信号を授受可能に接続されている。

記憶部１４は、各種データを記憶する。本実施の形態では、記憶部１４は、学習データ１４Ａと、衣服ＤＢ１４Ｂと、三次元データＤＢ１４Ｃと、を記憶する。学習データ１４Ａについては、詳細を後述する。

衣服ＤＢ１４Ｂは、衣服ＩＤと、衣服画像と、を対応づけたものである。衣服ＩＤは、対応する衣服画像を識別するための識別情報である。なお、衣服ＤＢ１４Ｂは、外部サーバ２８に記憶されていてもよい。本実施の形態では、複数の衣服ＩＤと、複数の衣服ＩＤの各々に対応する衣服画像と、を対応づけた衣服ＤＢ１４Ｂが、予め記憶部１４に記憶されている場合を、一例として説明する。なお、情報処理装置１０に記憶されている衣服ＤＢ１４Ｂは、外部サーバ２８に記憶されている衣服ＤＢ１４Ｂによって、適宜更新されてもよい。

三次元データＤＢ１４Ｃは、試着者の三次元データと、教師試着者画像ＩＤと、を対応づけたものである。教師試着者画像ＩＤは、教師試着者画像４０を識別するための識別情報である。すなわち、本実施の形態では、記憶部１４は、教師試着者画像４０ごとに、該教師試着者画像４０に示される試着者の三次元データを、対応づけて記憶する。三次元データＤＢ１４Ｃは、制御部１２によって更新される。

制御部１２は、取得部１２Ａと、通信部１２Ｂと、学習部１２Ｃと、導出部１２Ｄと、を含む。学習部１２Ｃは、モデル学習部１２Ｅと、拡張画像生成部１２Ｇと、１２Ｇと、表示制御部１２Ｈと、受付部１２Ｉと、変更部１２Ｊと、を含む。

取得部１２Ａ、通信部１２Ｂ、学習部１２Ｃ、導出部１２Ｄ、モデル学習部１２Ｅ、補正部１２Ｆ、拡張画像生成部１２Ｇ、表示制御部１２Ｈ、受付部１２Ｉ、および変更部１２Ｊの一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

通信部１２Ｂは、通信回線３４を介して外部サーバ２８および端末装置２６と通信する。

取得部１２Ａは、教師試着者画像４０を取得する。本実施の形態では、取得部１２Ａは、撮影部２０から教師試着者画像４０を取得する。なお、上述したように、撮影部２０が、１人の試着者に対して、撮影時間、撮影角度、撮影に用いた撮影部２０の種類、撮影時の試着者のポーズ、の少なくとも１つの異なる複数の教師試着者画像４０を、撮影によって得る場合がある。この場合、取得部１２Ａは、１人の試着者に対する、これらの複数種類の教師試着者画像４０を取得する。また、取得部１２Ａは、複数の試着者の各々に対する教師試着者画像４０を取得してもよい。また、取得部１２Ａは、複数の試着者を含む１枚の教師試着者画像４０を取得してもよい。

なお、取得部１２Ａは、記憶部１４や外部サーバ２８から、教師試着者画像４０を取得してもよい。本実施の形態では、取得部１２Ａは、撮影部２０から教師試着者画像４０を取得する場合を、一例として説明する。

また、取得部１２Ａは、試着者の三次元データを取得する。本実施の形態では、取得部１２Ａは、三次元データ取得部２１から、教師試着者画像４０によって示される試着者の三次元データを取得する。

また、取得部１２Ａは、入力部２２によって入力された、試着者の特徴情報を取得する。

特徴情報は、例えば、試着者の外観的特徴、および内面的特徴を示す。外観的特徴は、試着者の外観から推定または解析される特徴を示す。内面的特徴は、試着者の外観からは推定または解析されない、または推定および解析しにくい特徴を示す。

特徴情報は、具体的には、試着者の肌の色、衣服からの露出度、髪型、国籍、利き手、性格、推奨撮影方向、眼の色、髪の毛の色、好みの色、性別、年齢、推奨ポーズ、の少なくとも１つを示す。推奨撮影方向とは、試着者の好みの撮影方向を示す。衣服からの露出度とは、撮影された被写体画像における、衣服から露出した領域（すなわち、外部に露出した肌領域）の位置および割合を示す。推奨ポーズとは、撮影時の試着者の好みのポーズ（好みの姿勢や動き）を示す。

例えば、試着者は、撮影部２０による教師試着者画像４０の撮影時に入力部２２を操作することで、試着者の特徴情報を入力する。これにより、取得部１２Ａは、教師試着者画像４０によって示される試着者Ｐの、特徴情報を取得する。

また、取得部１２Ａは、通信部１２Ｂおよび通信回線３４を介して端末装置２６から、該端末装置２６で撮影された試着者画像５１を取得する。また、取得部１２Ａは、通信部１２Ｂおよび通信回線３４を介して端末装置２６から、端末装置２６で表示した仮想試着画像の表示結果を示す表示結果情報を取得する。表示結果情報の詳細は後述する。

学習部１２Ｃは、学習モデルを学習する。上述したように、学習モデルは、試着者画像５０から、該試着者画像５０によって示される試着者の体型パラメータおよび合成位置情報を導出するための、アプリケーションプログラムである。本実施の形態では、学習モデルは、教師試着者画像４０を入力データとし、教師試着者画像４０によって示される試着者の体型を示す体型パラメータおよび教師試着者画像４０における衣服画像の合成位置情報を出力データとする、学習モデルである。言い換えると、学習モデルは、教師試着者画像４０と、体型パラメータおよび合成位置情報と、の入出力関係をモデル化して算出可能とするためのアプリケーションプログラムである。なお、学習モデルは、関数などの数式で表してもよい。

本実施の形態では、学習部１２Ｃは、試着者の三次元データを用いた機械学習によって、学習モデルを学習する。詳細には、学習部１２Ｃは、学習データを用いた機械学習により、学習モデルを学習する。

図４は、学習データ１４Ａのデータ構成の一例を示す模式図である。

学習データ１４Ａには、複数の教師データ６０が登録されている。また、学習データ１４Ａには、学習部１２Ｃの処理によって、新たな教師データ６０の登録や、登録済の教師データ６０の変更や修正などの処理がなされる。このため、学習データ１４Ａには、複数種類の教師データ６０（例えば、教師データ６０Ａ〜教師データ６０Ｅ）が登録される。

教師データ６０は、入力データ８０と、入力データ８０に対応する出力データ８２と、を含む。入力データ８０は、対応する出力データ８２の予測や判断の要因となるデータである。出力データ８２は、対応する入力データ８０から導出される答えを示すデータである。

教師データ６０は、教師データ６０の種類によって、教師データ６０や出力データ８２に含まれるデータの種類が異なる。

まず、教師データ６０Ａについて説明する。教師データ６０Ａの入力データ８０は、教師試着者画像４０を含む。なお、１つの教師データ６０Ａには、１つの入力データ８０、すなわち、１つの教師試着者画像４０が含まれる。

また、入力データ８０は、特徴情報７０を含んでいてもよい。特徴情報７０は、試着者の特徴を示す情報である。入力データ８０に含まれる特徴情報７０は、該入力データ８０に含まれる教師試着者画像４０に示される試着者の、特徴を示す情報である。

出力データ８２は、体型パラメータ７２と合成位置情報５６を含む。

体型パラメータ７２は、対応する入力データ８０に含まれる教師試着者画像４０に示される試着者の体型を示すパラメータである。

体型パラメータは、１または複数のパラメータを含む。パラメータは、人体の１または複数の箇所の採寸値である。なお、採寸値は、実際に採寸した値に限定されず、採寸値を推測した値や、採寸値に相当する値を含む。

具体的には、体型パラメータは、胸囲、胴囲、腰囲、身長、および肩幅の少なくとも１つのパラメータを含む。なお、体型パラメータに含まれるパラメータは、これらのパラメータに限定されない。例えば、体型パラメータは、そで丈、股下、などのパラメータを更に含んでもよい。

また、体型パラメータは、試着者の体型そのものを示す情報であってもよいし、試着者が体型に合うサイズの衣服を着用したと仮定したときの、該衣服のサイズを示す情報であってもよい。この場合、体型パラメータは、例えば、着丈、肩幅、身幅、そで丈などのパラメータを含んでいてもよい。本実施の形態では、体型パラメータとして、着丈、肩幅、身幅、そで丈を用いる場合を説明する。しかし、体型パラメータは、これらに限定されない。

合成位置情報５６は、対応する入力データ８０に含まれる教師試着者画像４０における、衣服画像の合成位置を示す情報である。合成位置は、教師試着者画像４０に含まれる試着者を示す領域（以下、試着者領域４０Ａと称する）に対する、衣服画像の合成時の位置合わせに用いる。

合成位置情報５６は、例えば、試着者の特定の部位（例えば、肩部）の位置を示す情報であってもよいし、教師試着者画像４０における、衣服画像の合成対象領域を示すものであってもよい。本実施の形態では、合成位置情報は、教師試着者画像４０における、衣服画像の合成対象領域を示すものである場合を説明する。

図５は、合成位置情報５６の一例の説明図である。例えば、合成位置情報５６は、教師試着者画像４０における、試着者を示す試着者領域４０Ａを囲む矩形状の合成対象領域を示す情報である。なお、合成位置情報５６は、試着者領域４０Ａを囲む矩形の各頂点（５６Ａ、５６Ｂ、５６Ｃ、５６Ｄ）の位置を示す情報であってもよい。また、合成位置情報５６は、これらの４つの頂点の内の、少なくとも１つの頂点の位置を示す情報であってもよい。

なお、合成位置情報５６は、矩形状の合成対象領域を示す情報に限定されない。例えば、合成位置情報５６は、教師試着者画像４０に含まれる試着者領域４０Ａの外形の少なくとも一部を示す情報であってもよい。

また、合成位置情報５６は、教師試着者画像４０における、試着者の特定の部位（例えば、肩部）を示す情報であってもよい。

図４に戻り説明を続ける。なお、出力データ８２は、特徴情報７０を更に含んでいてもよい。すなわち、入力データ８０および出力データ８２の少なくとも一方は、特徴情報７０を更に含んでいてもよい。

出力データ８２に含まれる特徴情報７０は、該出力データ８２に対応する入力データ８０に含まれる教師試着者画像４０によって示される試着者の、特徴情報である。

教師データ６０〜教師データ６０Ｅについては後述する。これらの複数種類の教師データ６０（教師データ６０Ａ〜教師データ６０Ｅ）は、学習部１２Ｃの処理によって適宜登録および更新される（詳細後述）。

図３に戻り、説明を続ける。学習部１２Ｃは、モデル学習部１２Ｅと、補正部１２Ｆと、拡張画像生成部１２Ｇと、表示制御部１２Ｈと、受付部１２Ｉと、変更部１２Ｊと、を備える。

モデル学習部１２Ｅは、学習データ１４Ａの生成および更新と、学習モデルの生成と、を行う。

まず、モデル学習部１２Ｅによる学習データ１４Ａの生成について説明する。モデル学習部１２Ｅは、教師試着者画像４０、該教師試着者画像４０によって示される試着者の三次元データ、および該試着者の特徴情報７０を、取得部１２Ａから取得する。そして、モデル学習部１２Ｅは、教師試着者画像４０および特徴情報７０を含む入力データ８０に対する出力データ８２を、取得した三次元データを用いて、導出する。

例えば、モデル学習部１２Ｅは、三次元データから、三次元データによって示される体型パラメータを導出するための関数またはモデルを予め作成する。三次元データから体型パラメータを導出するための関数またはモデルの作成には、公知の方法を用いればよい。

そして、モデル学習部１２Ｅは、取得部１２Ａで取得した三次元データを、該関数または該モデルに導入することで、体型パラメータ７２を導出する。

また、例えば、モデル学習部１２Ｅは、教師試着者画像４０における、試着者を示す試着者領域４０Ａを囲む矩形状の領域を、合成位置情報５６として導出する（図４も参照）。また、モデル学習部１２Ｅは、取得部１２Ａで取得した、該試着者の特徴情報７０を得る。

そして、モデル学習部１２Ｅは、導出した、体型パラメータ７２、合成位置情報５６、および特徴情報７０を、出力データ８２として生成する。

さらに、モデル学習部１２Ｅは、取得部１２Ａから取得した、教師試着者画像４０および特徴情報７０を含む入力データ８０と、該入力データ８０および三次元データを用いて生成した出力データ８２（体型パラメータ７２、合成位置情報５６、特徴情報７０）と、を含む教師データ６０Ａを、学習データ１４Ａへ登録する。

モデル学習部１２Ｅでは、取得部１２Ａが、教師試着者画像４０、三次元データ、および特徴情報７０を取得するごとに、上記の方法で、教師データ６０Ａを生成する。言い換えると、モデル学習部１２Ｅは、撮影部２０および三次元データ取得部２１が撮影によって教師試着者画像４０および三次元データを取得するごとに、教師データ６０Ａを生成する。そして、モデル学習部１２Ｅは、生成した教師データ６０Ａを、学習データ１４Ａへ登録する。

このため、教師試着者画像４０ごとに教師データ６０Ａが生成され、記憶部１４の学習データ１４Ａに登録される。

次に、学習モデルの生成について説明する。モデル学習部１２Ｅは、複数の教師データ６０を含む学習データ１４Ａを用いた機械学習により、学習モデルを学習する。機械学習には、公知の方法を用いればよい。例えば、モデル学習部１２Ｅは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＣＮＮ）や再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＲＮＮ）などのアルゴリズムを用いた、深層学習（ディープラーニング）により、学習モデルを学習する。

なお、学習部１２Ｃは、学習データ１４Ａに登録されている教師データ６０を補正または変更してもよい。この場合、モデル学習部１２Ｅは、補正前の教師データ６０（例えば、教師データ６０Ａ）と、補正後または変更後の教師データ６０と、を含む学習データ１４Ａを用いて、学習モデルを学習すればよい。また、学習部１２Ｃは、補正後または変更後の教師データ６０を用いて、学習モデルを学習してもよい。

本実施の形態では、学習部１２Ｃの補正部１２Ｆが、教師データ６０Ａの入力データ８０に含まれる特徴情報７０に応じて、該入力データ８０に対応する出力データ８２を補正する。

例えば、補正部１２Ｆは、特徴情報７０に示される、衣服からの露出度が高いほど、補正部１２Ｆは、該特徴情報７０を含む入力データ８０に対応する出力データ８２における体型パラメータ７２を、より小さいサイズの体型を示すように補正する。このとき、補正部１２Ｆは、特徴情報７０に示される、人体における衣服からの露出度が高い部位（例えば、背中など）ほど、より小さいサイズの体型を示すように、体型パラメータ７２を補正してもよい。

また、例えば、補正部１２Ｆは、特徴情報７０に示される髪型から髪の毛の量を判別する。そして、補正部１２Ｆは、髪の毛の量が多いほど、該特徴情報７０を含む入力データ８０に対応する出力データ８２における体型パラメータ７２を、より小さいサイズの体型を示すように補正する。このとき、補正部１２Ｆは、特徴情報７０に示される、人体における頭部について、より小さいサイズを示すように、体型パラメータ７２を補正してもよい。

また、例えば、補正部１２Ｆは、特徴情報７０に示される国籍に応じて、出力データ８２を補正してもよい。この場合、例えば、補正部１２Ｆは、特徴情報７０に示される国籍が、着用する衣服の量または衣服の積層数が多い国民の国籍を示す情報であるほど、該特徴情報７０を含む入力データ８０に対応する出力データ８２における体型パラメータ７２を、より小さいサイズの体型を示すように補正する。

また、例えば、補正部１２Ｆは、特徴情報７０に示される性別に応じて、出力データ８２を補正してもよい。この場合、例えば、補正部１２Ｆは、特徴情報７０に示される性別が女性である場合、該特徴情報７０を含む入力データ８０に対応する出力データ８２における体型パラメータ７２を、より小さいサイズの体型を示すように補正する。また、例えば、補正部１２Ｆは、特徴情報７０に示される性別が男性である場合、該特徴情報７０を含む入力データ８０に対応する出力データ８２における体型パラメータ７２を、より大きいサイズの体型を示すように補正する。

このように、学習部１２Ｃの補正部１２Ｆが、撮影部２０および三次元データ取得部２１から得られた教師試着者画像４０や三次元データを用いて作成された、教師データ６０Ａの出力データ８２を、補正してもよい。

さらに、学習部１２Ｃは、学習データ１４Ａに登録されている教師データ６０に含まれる教師試着者画像４０を拡張した、拡張画像を生成してもよい。

この場合、学習部１２Ｃの拡張画像生成部１２Ｇが、拡張画像を生成する。拡張画像は、学習データ１４Ａに登録されている教師試着者画像４０の少なくとも一部を変更することで生成される画像である。拡張画像生成部１２Ｇによる処理によって、１つの教師試着者画像４０から、該教師試着者画像４０に類似する複数の拡張画像が生成される。

拡張画像は、例えば、衣服重畳画像、マスク画像、切出画像、加工画像、および変更画像の少なくとも１つである。

衣服重畳画像は、教師試着者画像４０に含まれる試着者領域４０Ａ上に、衣服画像４２を重畳した画像である。例えば、拡張画像生成部１２Ｇは、学習データ１４Ａに登録されている教師試着者画像４０に、予め定めた衣服画像４２を重畳した衣服重畳画像を生成することで、該教師試着者画像４０の拡張画像を生成する。衣服重畳画像の生成には、公知の画像合成手法を用いればよい。

マスク画像は、教師試着者画像４０の一部領域をマスクした画像である。例えば、拡張画像生成部１２Ｇは、学習データ１４Ａに登録されている教師試着者画像４０における一部の領域を、黒色または白色などの予め定めた色に変更したマスク画像を生成することで、該教師試着者画像４０の拡張画像を生成する。マスク画像の生成には、公知の画像処理方法を用いればよい。

切出画像は、教師試着者画像４０の一部領域を切出した画像である。例えば、１２Ｇは、学習データ１４Ａに登録されている教師試着者画像４０における一部の領域を切出した切出画像を生成することで、該教師試着者画像４０の拡張画像を生成する。切出画像の生成には、公知の画像処理方法を用いればよい。

加工画像は、教師試着者画像４０の少なくとも一部の領域を加工した画像である。加工には、スケッチ画像風、クレヨン画像風、油絵や日本画などの絵画風、線画・デッサン画像風、などの画風への公知の加工技術を用いればよい。加工画像の生成には、公知の画像処理方法を用いればよい。

変更画像は、教師試着者画像４０の少なくとも一部の領域を、他の画像に変更した画像である。例えば、変更画像は、教師試着者画像４０に含まれる試着者領域４０Ａ以外の領域である背景領域を、他の画像に変更した画像である。変更画像の生成には、公知の画像処理方法を用いればよい。

そして、拡張画像生成部１２Ｇは、生成した拡張画像を、新たな教師データ６０として、学習データ１４Ａに登録する。詳細には、拡張画像生成部１２Ｇは、拡張画像の生成に用いた教師試着者画像４０を含む教師データ６０Ａを特定する。そして、拡張画像生成部１２Ｇは、特定した教師データ６０Ａに含まれる特徴情報７０と、生成した拡張画像と、を新たな入力データ８０として用いる。また、拡張画像生成部１２Ｇは、特定した教師データ６０Ａに含まれる出力データ８２を、新たな入力データ８０に対応する出力データ８２として用いる。さらに、拡張画像生成部１２Ｇは、これらの新たな入力データ８０および出力データ８２を含む教師データ６０を、学習データ１４Ａへ登録することで、学習データ１４Ａを更新する。

このため、図４に示すように、学習データ１４Ａには、教師試着者画像４０を拡張した拡張画像５２を入力データ８０として含む教師データ６０Ｃが、新たな教師データ６０として、登録されることとなる。

この場合、モデル学習部１２Ｅは、学習データ１４Ａに登録されている複数種類の教師データ６０（教師データ６０Ａおよび教師データ６０Ｃを含む）を用いて、学習モデルを学習することができる。

図３に戻り説明を続ける。また、学習部１２Ｃは、ユーザによる入力部２２の操作指示によって入力された、出力データ８２の変更指示に応じて、学習データ１４Ａに登録されている出力データ８２を変更してもよい。

この場合、学習部１２Ｃの表示制御部１２Ｈは、教師データ６０Ａに含まれる教師試着者画像４０上の、該教師試着者画像４０を含む入力データ８０に対応する出力データ８２に含まれる合成位置情報５６によって示される合成位置に、該出力データ８２に含まれる体型パラメータ７２に応じて変形した衣服画像４２を重畳した重畳画像Ｗを、表示部１８に表示する。

体型パラメータ７２に応じて変形した衣服画像４２とは、予め記憶した衣服画像４２を、体型パラメータ７２によって示される体型のサイズを示すように、拡大・縮小・変形する処理である。この衣服画像４２の変形処理には、公知の技術を用いればよい。

このため、例えば、表示部１８には、図２に示す重畳画像Ｗが表示される。ユーザは、表示部１８に表示された重畳画像Ｗを参照し、合成位置情報５６および体型パラメータ７２の少なくとも一方の変更指示を入力する。変更指示は、例えば、合成位置情報５６の位置、大きさ、および範囲の少なくとも１つの変更後の情報や、体型パラメータ７２の変更後の情報を含む。すると、学習部１２Ｃの受付部１２Ｉは、取得部１２Ａを介して入力部２２から、変更指示を受付ける。

図３に戻り説明を続ける。学習部１２Ｃの変更部１２Ｊは、教師データ６０Ａにおける、直前に表示部１８に表示した重畳画像Ｗに用いた教師試着者画像４０を含む入力データ８０に対応する、出力データ８２を、受付部１２Ｉで受付けた変更指示に示される変更後の情報に変更する。

この場合、モデル学習部１２Ｅは、学習データ１４Ａに登録されている複数種類の教師データ６０（教師データ６０Ａ、変更後の教師データ６０Ａ、および教師データ６０Ｃを含む）を用いて、学習モデルを学習することができる。

なお、入力部２２を操作するユーザは、出力データ８２を、負例に変更するための変更指示を入力してもよい。この場合、学習部１２Ｃの受付部１２Ｉは、取得部１２Ａを介して入力部２２から、負例情報を示す変更指示を受付ける。

すると、学習部１２Ｃの変更部１２Ｊは、学習データ１４Ａにおける、教師試着者画像４０を含む入力データ８０に対応する出力データ８２を、負例を示す出力データ８２に変更する（図４中、教師データ６０Ｂ参照）。出力データ８２が負例を示す場合、対応する入力データ８０から導出される答えは、負例となる。このように、変更部１２Ｊは、ユーザによる入力部２２の操作指示に応じて、出力データ８２を、負例に変更してもよい。

この場合、モデル学習部１２Ｅは、学習データ１４Ａに登録されている教師データ６０（教師データ６０Ａ、変更後の教師データ６０Ａ、教師データ６０Ｂ、および教師データ６０Ｃを含む）を用いて、学習モデルを学習することができる。

なお、上述したように、端末装置２６は、情報処理装置１０で生成された学習モデルを用いて仮想試着画像を生成し、表示する。そして、上述したように、情報処理装置１０の取得部１２Ａは、端末装置２６から、端末装置２６で表示した仮想試着画像の表示結果を示す表示結果情報を取得する場合がある。

この場合、情報処理装置１０の学習部１２Ｃは、端末装置２６から取得した表示結果情報を用いて、新たな教師データ６０を学習データ１４Ａへ登録してもよい。

表示結果情報は、端末装置２６による仮想試着画像の表示結果を示す情報である。本実施の形態では、表示結果情報は、第１表示結果情報または第２表示結果情報を示す。

第１表示結果情報は、正例を示す正例情報、試着者画像５１、および出力データ８２を含む。第１表示結果情報に含まれる正例情報は、該第１表示結果情報に含まれる出力データ８２が、正例であることを示す情報である。また、第１表示結果情報に含まれる試着者画像５１は、端末装置２６において、該第１表示結果情報に含まれる出力データ８２を用いて合成および表示された仮想試着画像に用いられた、試着者画像５０である。

すなわち、第１表示結果情報は、端末装置２６で仮想試着画像の表示に用いられた、試着者画像５１と、出力データ８２と、該出力データ８２が正例であることを示す正例情報と、を含む情報である。

第２表示結果情報は、負例を示す負例情報、試着者画像５１、および出力データ８２を含む。第２表示結果情報に含まれる負例情報は、該第２表示結果情報に含まれる出力データ８２が、負例であることを示す情報である。また、第２表示結果情報に含まれる試着者画像５１は、端末装置２６において、該第２表示結果情報に含まれる出力データ８２を用いて合成および表示された仮想試着画像に用いられた、試着者画像５０である。

すなわち、第２表示結果情報は、端末装置２６で仮想試着画像の表示に用いられた、試着者画像５１と、出力データ８２と、該出力データ８２が負例であることを示す負例情報と、を含む情報である。

学習部１２Ｃのモデル学習部１２Ｅは、取得部１２Ａで第１表示結果情報を取得した場合、該第１表示結果情報に含まれる試着者画像５１を含む入力データ８０と、該第１表示結果情報に含まれる出力データ８２と、を対応付けた新たな教師データ６０を、学習データ１４Ａに登録する。

このため、図４に示すように、学習データ１４Ａには、第１表示結果情報に含まれる試着者画像５１を含む入力データ８０と、該第１表示結果情報に含まれる出力データ８２と、を対応付けた新たな教師データ６０Ｄが、学習データ１４Ａに登録される。教師データ６０Ｄは、教師データ６０の一例である。

一方、取得部１２Ａで第２表示結果情報を取得した場合、学習部１２Ｃのモデル学習部１２Ｅは、該第２表示結果情報に含まれる試着者画像５１を含む入力データ８０と、負例を示す負例情報を含む出力データ８２と、を対応付けた新たな教師データ６０を、学習データ１４Ａに登録する。

このため、図４に示すように、学習データ１４Ａには、第２表示結果情報に含まれる試着者画像５１を含む入力データ８０と、負例情報を含む出力データ８２と、を対応付けた新たな教師データ６０Ｅが、学習データ１４Ａに登録される。教師データ６０Ｅは、教師データ６０の一例である。

この場合、モデル学習部１２Ｅは、学習データ１４Ａに登録されている教師データ６０（教師データ６０Ａ、変更後の教師データ６０Ａ、教師データ６０Ｂ、および教師データ６０Ｃ、教師データ６０Ｄ、教師データ６０Ｅを含む）を用いて、学習モデルを学習することができる。

図３に戻り、説明を続ける。次に、導出部１２Ｄについて説明する。取得部１２Ａが、端末装置２６から試着者画像５１を取得すると、導出部１２Ｄは、該試着者画像５１と学習部１２Ｃで生成した学習モデルと用いて、該試着者画像５１によって示される試着者の出力データ８２を導出する。

導出部１２Ｄは、学習部１２Ｃで生成された学習モデルに、端末装置２６から取得した試着者画像５１を入力データ８０として入力することで、該試着者画像５１に対応する出力データ８２を導出する。

そして、導出部１２Ｄは、通信部１２Ｂを介して端末装置２６へ、導出した出力データ８２を送信する。このため、情報処理装置１０は、端末装置２６から受付けた仮想試着対象の試着者画像５１に対する、出力データ８２（体型パラメータ７２、合成位置情報５６、および出力データ８２）を、該端末装置２６へ送信することができる。

次に、端末装置２６の機能について説明する。

端末装置２６は、撮影部２６Ａと、入力部２６Ｂと、表示部２６Ｃと、記憶部２６Ｄと、制御部２６Ｅと、を備える。撮影部２６Ａ、入力部２６Ｂ、表示部２６Ｃ、および２１６Ｄと、制御部２６Ｅとは、データや信号を授受可能に接続されている。記憶部２６Ｄは、各種データを記憶する。

制御部２６Ｅは、通信部２６Ｆと、取得部２６Ｇと、生成部２６Ｈと、表示制御部２６Ｉと、受付部２６Ｊと、を含む。制御部２６Ｅ、通信部２６Ｆ、取得部２６Ｇ、生成部２６Ｈ、表示制御部２６Ｉ、および受付部２６Ｊの一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

通信部２６Ｆは、通信回線３４を介して、情報処理装置１０や外部サーバ２８と通信する。

表示制御部２６Ｉは、表示部２６Ｃに各種画像を生成する。受付部２６Ｊは、ユーザによる入力部２６Ｂの操作指示によって入力された各種情報を、入力部２６Ｂから受付ける。取得部２６Ｇは、通信部２６Ｆおよび通信回線３４を介して、情報処理装置１０から出力データ８２を取得する。

生成部２６Ｈは、試着者画像５１と衣服画像４２とを合成した仮想試着画像を生成する。

例えば、ユーザによる入力部２６Ｂの操作指示によって、仮想試着対象の衣服画像４２の衣服ＩＤが入力されたと仮定する。例えば、生成部２６Ｈは、通信部２６Ｆを介して情報処理装置１０へ、衣服ＤＢ１４Ｂの閲覧要求を送信する。すると、生成部２６Ｈは、取得部２６Ｇおよび通信部２６Ｆを介して情報処理装置１０から、衣服ＤＢ１４Ｂを受付ける。そして、表示制御部２６Ｉは、受付けた衣服ＤＢ１４Ｂに示される衣服画像の一覧を、表示部２６Ｃへ表示する。

ユーザは、表示部２６Ｃに表示された衣服画像の一覧を参照しながら、入力部２６Ｂを操作することで、試着対象の衣服画像を選択する。すると、受付部２６Ｊが入力部２６Ｂから、選択された衣服画像の衣服ＩＤを受付ける。そして、生成部２６Ｈは、通信部２６Ｆを介して情報処理装置１０へ、受付けた衣服ＩＤを送信する。

情報処理装置１０の通信部１２Ｂは、端末装置２６から受付けた衣服ＩＤに対応する衣服画像４２を衣服ＤＢ１４Ｂから読取、端末装置２６へ送信する。この処理により、端末装置２６の生成部２６Ｈは、取得部２６Ｇおよび通信部２６Ｆを介して情報処理装置１０から、ユーザによって選択された衣服画像４２を取得する。

また、生成部２６Ｈは、取得部２６Ｇを介して撮影部２６Ａから、試着者画像５１を取得する。例えば、ユーザは、入力部２６Ｂを操作することで、撮影部２６Ａに対する撮影指示を入力する。すると、撮影部２６Ａは、撮影によって、試着者画像５１を取得し、制御部２６Ｅへ出力する。

制御部２６Ｅの生成部２６Ｈは、取得部２６Ｇを介して撮影部２６Ａから、仮想試着対象の試着者画像５１を撮影部２６Ａから取得する。なお、生成部２６Ｈは、記憶部２６Ｄから、試着者画像５１を取得してもよい。

なお、撮影部２６Ａまたは記憶部２６Ｄから取得した試着者画像５１が、衣服装着領域を含まない画像である場合がある。

衣服装着領域とは、試着者における、仮想試着対象の衣服画像４２を装着する対象の領域を示す。例えば、衣服画像４２が帽子である場合、衣服装着領域は、試着者の頭部である。また、衣服画像４２が上着である場合、衣服装着領域は、試着者の上半身である。

この場合、生成部２６Ｈは、取得した試着者画像５１が、衣服装着領域を含む画像となるように、該試着者画像５１を補完する。なお、生成部２６Ｈは、取得した試着者画像５１が衣服装着領域を含む画像となるように、該試着者画像５１に示される試着者の撮影角度を変更した画像となるように補完してもよい。そして、生成部２６Ｈは、補完後の試着者画像５１を、仮想試着に用いる試着者画像５１として採用すればよい。

なお、補完には、公知の方法を用いればよい。例えば、生成部２６Ｈは、予め、標準の人体形状の人体画像を用意する。そして、生成部２６Ｈは、該人体画像上に、衣服装着領域を含まない画像である試着者画像５１を重ねた合成画像を、補完後の試着者画像５１として用いればよい。

次に、生成部２６Ｈは、仮想試着に用いる試着者画像５１を、通信部２６Ｆを介して情報処理装置１０へ送信する。すると、上述したように情報処理装置１０の導出部１２Ｄが、端末装置２６から取得した試着者画像５１と、学習部１２Ｃで生成した学習モデルと用いて、該試着者画像５１によって示される試着者の出力データ８２を導出する。

情報処理装置１０の通信部１２Ｂは、導出部１２Ｄで導出された出力データ８２を、端末装置２６へ送信する。

このため、端末装置２６の生成部２６Ｈは、通信部２６Ｆを介して情報処理装置１０から、出力データ８２を取得する。言い換えると、生成部２６Ｈは、仮想試着対象の試着者画像５１と学習モデルを用いて導出された、該試着者画像５１によって示される試着者の出力データ８２を取得する。

すると、生成部２６Ｈは、仮想試着対象の試着者画像５１と、情報処理装置１０から取得した、該試着者画像５１によって示される試着者の出力データ８２と、を用いて、試着者画像５１と衣服画像４２とを合成した仮想試着画像を生成する。

詳細には、生成部２６Ｈは、試着者画像５１における、学習モデルを用いて導出された出力データ８２に含まれる合成位置情報５６によって示される合成位置に、該出力データ８２に含まれる体型パラメータ７２に応じて変形された衣服画像４２を合成した、仮想試着画像を生成する。

生成部２６Ｈは、情報処理装置１０の学習部１２Ｃによる重畳画像Ｗの生成と同様にして、仮想試着画像を生成すればよい。すなわち、生成部２６Ｈは、端末装置２６を操作するユーザによって指示された仮想試着対象の衣服画像４２を、導出された出力データ８２に含まれる体型パラメータ７２によって示される体型のサイズを示すように、拡大・縮小・変形する。この処理には、公知の技術を用いればよい。

そして、生成部２６Ｈは、変形した衣服画像４２を、導出された出力データ８２に含まれる合成位置情報５６によって示される合成位置に合成することで、仮想試着画像を生成する。なお、合成位置情報５６によって示される合成位置への合成には、公知の方法を用いればよい。

表示制御部２６Ｉは、生成部２６Ｈで生成された仮想試着画像を、表示部２６Ｃへ表示する。

図６は、端末装置２６の表示部２６Ｃに表示された仮想試着画像５４の一例を示す模式図である。図６に示すように、表示部２６Ｃには、仮想試着画像５４が表示される。

上述したように、仮想試着画像５４は、生成部２６Ｈによって生成された仮想試着画像５４である。このため、表示部２６Ｃには、学習モデルを用いて導出された出力データ８２に含まれる合成位置情報５６によって示される合成位置に、該出力データ８２に含まれる体型パラメータ７２によって示される体型に変形された衣服画像４２を合成した、仮想試着画像５４が表示される。すなわち、表示部２６Ｃには、高精度に試着者の体型にあうように拡大・縮小・変形された衣服画像４２が、仮想試着画像５４の試着者領域５０Ａ上に重ねて表示される。

このため、仮想試着システム１では、ユーザに対して、高精度に合成された仮想試着画像５４を、容易に提供することができる。詳細には、仮想試着システム１は、高精度に位置合せされ、高精度に体型の合うように補正された仮想試着画像５４を、容易に提供することができる。

次に、仮想試着システム１で実行する仮想試着処理の手順を説明する。

図７は、情報処理装置１０が実行する情報処理の手順の一例を示すフローチャートである。

まず、取得部１２Ａが、入力部２２から撮影指示を受付けたか否かを判断する（ステップＳ１００）。例えば、教師データ６０Ａを情報処理装置１０に登録させるときに、表示部１８の前に対峙したユーザが、入力部２２を操作することで、撮影指示を入力する。すると、入力部２２は、入力部２２から撮影指示を受付ける。

ステップＳ１００で肯定判断すると（ステップＳ１００：Ｙｅｓ）、ステップＳ１０２へ進む。ステップＳ１０２では、撮影部２０および三次元データ取得部２１が、試着者を撮影し、試着者の教師試着者画像４０および試着者の三次元データを得る。すると、取得部１２Ａは、撮影部２０から教師試着者画像４０を取得する（ステップＳ１０４）。また、取得部１２Ａは、三次元データ取得部２１から三次元データを取得する（ステップＳ１０６）。

次に、取得部１２Ａは、入力部２２から特徴情報７０を取得する（ステップＳ１０８）。例えば、表示部１８の前に対峙した試着者は、入力部２２を操作することで、特徴情報７０を入力する。すると、入力部２２は、ステップＳ１０４で取得した教師試着者画像４０によって示される試着者の特徴情報７０を取得する。

次に、学習部１２Ｃのモデル学習部１２Ｅが、ステップＳ１０４〜ステップＳ１０８で取得した、教師試着者画像４０と、三次元データと、特徴情報７０と、を用いて、教師データ６０Ａ用の出力データ８２を生成する（ステップＳ１１０）。

詳細には、モデル学習部１２Ｅは、ステップＳ１０６で取得した三次元データを、予め生成した関数またはモデルに導入することで、体型パラメータ７２を導出する。また、例えば、モデル学習部１２Ｅは、ステップＳ１０４で取得した教師試着者画像４０における、試着者を示す試着者領域４０Ａを囲む矩形状の領域を、合成位置情報５６として導出する（図４も参照）。

そして、モデル学習部１２Ｅは、導出した体型パラメータ７２、合成位置情報５６、およびステップＳ１０８で取得した特徴情報７０を、出力データ８２として生成する。

次に、モデル学習部１２Ｅは、ステップＳ１０４およびステップＳ１０８で取得した教師試着者画像４０および特徴情報７０を含む入力データ８０と、該入力データ８０および三次元データを用いて生成した出力データ８２（体型パラメータ７２、合成位置情報５６、特徴情報７０）と、を含む教師データ６０Ａを、学習データ１４Ａへ登録する（ステップＳ１１２）。

次に、表示制御部１２Ｈは、ステップＳ１１２で登録した教師データ６０Ａを用いて、重畳画像Ｗを生成する（ステップＳ１１４）。ステップＳ１１４では、表示制御部１２Ｈは、該教師データ６０Ａに含まれる教師試着者画像４０上の、該教師データ６０Ａに含まれる出力データ８２に含まれる合成位置情報５６によって示される合成位置に、該出力データ８２に含まれる体型パラメータ７２に応じて変形した衣服画像４２を重畳した重畳画像Ｗを生成する。そして、表示制御部１２Ｈは、ステップＳ１１４で生成した重畳画像Ｗを、表示部１８に表示する（ステップＳ１１６）。

ステップＳ１１４およびステップＳ１１６の処理によって、教師データ６０の生成時の試着者の動きや姿勢に合わせて合成した重畳画像Ｗを、提供することができる。

次に、変更部１２Ｊは、取得部１２Ａを介して入力部２２から、変更指示を受付けたか否かを判断する（ステップＳ１１８）。ステップＳ１１８で否定判断すると（ステップＳ１１８：Ｎｏ）、本ルーチンを終了する。一方、ステップＳ１１８で肯定判断すると（ステップＳ１１８：Ｙｅｓ）、ステップＳ１２０へ進む。

ステップＳ１２０では、変更部１２Ｊが、ステップＳ１１２で登録した教師データ６０Ａに含まれる出力データ８２を、ステップＳ１１８で受付けた変更指示に示される変更後の情報に変更する（ステップＳ１２０）。ステップＳ１２０の処理によって、該教師データ６０Ａに含まれる出力データ８２の少なくとも一部の情報が、ユーザによって指示された変更内容に変更される。そして、本ルーチンを終了する。

一方、上記ステップＳ１００で否定判断すると（ステップＳ１００：Ｎｏ）、ステップＳ１２２へ進む。ステップＳ１２２では、モデル学習部１２Ｅが、学習モデルを生成するか否かを判断する（ステップＳ１２２）。例えば、モデル学習部１２Ｅは、学習データ１４Ａが更新された場合に、学習モデルを生成すると判断する。学習データ１４Ａが更新される、学習データ１４Ａに登録されている教師データ６０の少なくとも一部が変更された場合や、学習データ１４Ａに新たな教師データ６０が登録された場合を示す。

ステップＳ１２２で肯定判断すると、ステップＳ１２４へ進む。ステップＳ１２４では、モデル学習部１２Ｅは、記憶部１４に記憶されている学習データ１４Ａを読取る（ステップＳ１２４）。

次に、モデル学習部１２Ｅは、ステップＳ１２４で読取った学習データ１４Ａを用いた機械学習により、学習モデルを学習する（ステップＳ１２６）。そして、モデル学習部１２Ｅは、ステップＳ１２６で学習した学習モデルを、記憶部１４へ記憶する（ステップＳ１２８）。なお、記憶部１４に学習モデルが既に記憶されている場合がある。この場合、モデル学習部１２Ｅは、既に記憶されている学習モデルを記憶部１４から削除し、学習した最新の学習モデルを記憶部１４へ記憶すればよい。そして、本ルーチンを終了する。

一方、上記ステップＳ１２２で否定判断すると（ステップＳ１２２：Ｎｏ）、ステップＳ１３０へ進む。

ステップＳ１３０では、通信部１２Ｂが、端末装置２６から衣服ＩＤを取得したか否かを判断する（ステップＳ１３０）。ステップＳ１３０で否定判断すると（ステップＳ１３０：Ｎｏ）、後述するステップＳ１３６へ進む。ステップＳ１３０で肯定判断すると（ステップＳ１３０：Ｙｅｓ）、ステップＳ１３２へ進む。ステップＳ１３２では、通信部１２Ｂは、ステップＳ１３０で取得した衣服ＩＤに対応する衣服画像４２を、衣服ＤＢ１４Ｂから読取る（ステップＳ１３２）。そして、通信部１２Ｂは、ステップＳ１３２で読取った衣服画像４２を、衣服ＩＤの取得元の端末装置２６へ送信する（ステップＳ１３４）。

次に、導出部１２Ｄが、通信部１２Ｂを介して端末装置２６から、試着者画像５１を取得したか否かを判断する（ステップＳ１３６）。ステップＳ１３６で肯定判断すると（ステップＳ１３６：Ｙｅｓ）、ステップＳ１３８へ進む。

ステップＳ１３８では、ステップＳ１３６で取得した試着者画像５１を、記憶部１４に記憶されている学習モデルへ導入することで、出力データ８２を導出する（ステップＳ１３８）。

次に、導出部１２Ｄは、通信部１２Ｂを介して、ステップＳ１３６で取得した試着者画像５１の送信元の端末装置２６へ、ステップＳ１３８で導出した出力データ８２を送信する（ステップＳ１４０）。そして、本ルーチンを終了する。

上記ステップＳ１３６で否定判断すると（ステップＳ１３６：Ｎｏ）、ステップＳ１４２へ進む。ステップＳ１４２では、モデル学習部１２Ｅが、取得部１２Ａを介して端末装置２６から、第１表示結果情報を取得したか否かを判断する（ステップＳ１４２）。ステップＳ１４２で否定判断すると（ステップＳ１４２：Ｎｏ）、後述するステップＳ１４６へ進む。ステップＳ１４２で肯定判断すると（ステップＳ１４２：Ｙｅｓ）、ステップＳ１４４へ進む。

ステップＳ１４４では、モデル学習部１２Ｅが、ステップＳ１４２で取得した第１表示結果情報に含まれる試着者画像５１を含む入力データ８０と、該第１表示結果情報に含まれる出力データ８２と、教師データ６０Ｄを、学習データ１４Ａに登録する（ステップＳ１４４）。

次に、モデル学習部１２Ｅが、取得部１２Ａを介して端末装置２６から、第２表示結果情報を取得したか否かを判断する（ステップＳ１４６）。ステップＳ１４６で否定判断すると（ステップＳ１４６：Ｎｏ）、本ルーチンを終了する。ステップＳ１４６で肯定判断すると（ステップＳ１４６：Ｙｅｓ）、ステップＳ１４８へ進む。ステップＳ１４８では、モデル学習部１２Ｅは、ステップＳ１４６で取得した第２表示結果情報に含まれる試着者画像５１を含む入力データ８０と、負例を示す負例情報を含む出力データ８２と、を対応付けた新たな教師データ６０Ｅを、学習データ１４Ａに登録する（ステップＳ１４８）。そして、本ルーチンを終了する。

次に、端末装置２６が実行する情報処理の手順の一例を説明する。図８は、端末装置２６が実行する情報処理の手順の一例を示す、フローチャートである。

まず、受付部２６Ｊが、入力部２６Ｂから、仮想試着対象の衣服画像４２の衣服ＩＤを受付ける（ステップＳ２００）。すると、生成部２６Ｈは、ステップＳ２００で受付けた衣服ＩＤを、通信部２６Ｆを介して情報処理装置１０へ送信する（ステップ２０２）。そして、生成部２６Ｈは、情報処理装置１０から、ステップＳ２００で送信した衣服ＩＤに対応する衣服画像４２を取得する（ステップＳ２０４）。

次に、受付部２６Ｊは、入力部２６Ｂから撮影指示を受付けたと判断するまで（ステップＳ２０６：Ｙｅｓ）、否定判断を繰返す（ステップＳ２０６：Ｎｏ）。撮影指示を受付けたと判断すると（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０８へ進む。

ステップＳ２０８では、撮影部２６Ａが、試着者を撮影し、試着者画像５１を得る（ステップＳ２０８）。すると、取得部２６Ｇが、撮影部２６Ａから試着者画像５１を取得する（ステップＳ２１０）。

次に、生成部２６Ｈが、ステップＳ２１０で取得した試着者画像５１が、ステップＳ２０４で取得した衣服画像４２による衣服装着領域を含むか否かを判断する（ステップＳ２１２）。

衣服装着領域を含まないと判断した場合（ステップＳ２１２：Ｎｏ）、ステップＳ２１４へ進む。ステップＳ２１４では、生成部２６Ｈが、ステップＳ２１０で取得した試着者画像５１がステップＳ２０４で取得した衣服画像４２による衣服装着領域を含む画像となるように、該試着者画像５１を補完する（ステップＳ２１４）。この場合、生成部２６Ｈは、補完後の試着者画像５１を、仮想試着に用いる試着者画像５１として採用する。

次に、生成部２６Ｈは、ステップＳ２１０で取得した試着者画像５１またはステップＳ２１４で補完した試着者画像５１を、通信部２６Ｆを介して情報処理装置１０へ送信する（ステップＳ２１６）。すると、上述したように情報処理装置１０の導出部１２Ｄが、端末装置２６から取得した試着者画像５１と、学習部１２Ｃで生成した学習モデルと用いて、該試着者画像５１によって示される試着者の出力データ８２を導出し、端末装置２６へ送信する。

このため、端末装置２６の生成部２６Ｈは、通信部２６Ｆを介して情報処理装置１０から、出力データ８２を取得する（ステップＳ２１８）。言い換えると、生成部２６Ｈは、仮想試着対象の試着者画像５１と学習モデルを用いて導出された、該試着者画像５１によって示される試着者の出力データ８２を取得する。

すると、生成部２６Ｈは、ステップＳ２１６で情報処理装置１０へ送信した仮想試着対象の試着者画像５１と、情報処理装置１０から取得した、該試着者画像５１によって示される試着者の出力データ８２と、を用いて、試着者画像５１と衣服画像４２とを合成した仮想試着画像５４を生成する（ステップＳ２２０）。

次に、表示制御部２６Ｉは、ステップＳ２２０で生成された仮想試着画像５４を、表示部２６Ｃへ表示する（ステップＳ２２２）。このため、端末装置２６の表示部２６Ｃには、高精度な仮想試着画像５４が表示される。

次に、受付部２６Ｊは、入力部２６Ｂからエラー情報を受付けたか否かを判断する（ステップＳ２２４）。

端末装置２６を操作するユーザが、表示部２６Ｃに表示された仮想試着画像５４に対して、違和感を覚える場合がある。例えば、仮想試着画像５４における、試着者画像５１と衣服画像４２との位置関係や、表示されている衣服画像４２のサイズなどが、ユーザの想像していたものとは異なる場合がある。このような場合、ユーザは、入力部２６Ｂを操作することで、該仮想試着画像５４の生成に用いた出力データ８２を負例とするためのエラー情報を入力する。すると、受付部２６Ｊは、入力部２２からエラー情報を受付ける（ステップＳ２２４：Ｙｅｓ）。

ステップＳ２２４で肯定判断すると（ステップＳ２２４：Ｙｅｓ）、ステップＳ２２６へ進む。ステップＳ２２６では、受付部２６Ｊは、負例を示す負例情報、ステップＳ２１０で取得した試着者画像５１、およびステップＳ２１８で取得した出力データ８２を含む。第２表示結果情報を、通信部２６Ｆを介して情報処理装置１０へ送信する（ステップＳ２２６）。そして、ステップＳ２２８へ進む。なお、ステップＳ２２４で否定判断した場合（ステップＳ２２４：Ｎｏ）、ステップＳ２２８へ進む。

ステップＳ２２８では、受付部２６Ｊが、入力部２２から補正指示を受付けたか否かを判断する（ステップＳ２２８）。

例えば、端末装置２６を操作するユーザが、表示部２６Ｃに表示された仮想試着画像５４に対して、衣服画像４２の合成位置の補正や、衣服画像４２の大きさなどの補正を行う事を所望する場合がある。このような場合、ユーザは、入力部２２を操作することで、体型パラメータ７２および合成位置情報５６の少なくとも一方の補正指示を入力する。なお、端末装置２６を操作するユーザが、表示部２６Ｃに表示された仮想試着画像５４に対して、補正などの変更を所望しない場合もある。このような場合、ユーザは、入力部２２を操作することで、補正無を示す指示を入力する。

すると、ステップＳ２２８において、受付部２６Ｊが、入力部２２から補正指示を受付けたか否かを判断する。受付部２６Ｊが入力部２２から補正指示を受付けると（ステップＳ２２８：Ｙｅｓ）、ステップＳ２３０へ進む。

ステップＳ２３０では、受付部２６Ｊは、正例を示す正例情報と、試着者画像５１と、ステップＳ２２８で受付けた補正指示に示される補正内容に補正した出力データ８２と、を含む第１表示結果情報を、通信部２６Ｆを介して情報処理装置１０へ送信する（ステップＳ２３０）。なお、この試着者画像５１は、ステップＳ２２２で表示部２６Ｃに表示した仮想試着画像５４に用いた試着者画像５１である。そして、本ルーチンを終了する。

一方、受付部２６Ｊは、入力部２６Ｂから補正無を示す指示を受付けると（ステップＳ２２８：Ｎｏ）、ステップＳ２３２へ進む。ステップＳ２３２では、受付部２６Ｊは、正例を示す正例情報と、試着者画像５１と、ステップＳ２１８で取得した出力データ８２と、を含む第１表示結果情報を、通信部２６Ｆを介して情報処理装置１０へ送信する（ステップＳ２３２）。なお、この試着者画像５１は、ステップＳ２２２で表示部２６Ｃに表示した仮想試着画像５４に用いた試着者画像５１である。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の仮想試着システム１は、学習部１２Ｃと、取得部１２Ａと、導出部１２Ｄと、生成部２６Ｈと、を備える。学習部１２Ｃは、教師試着者画像４０を入力データ８０とし、教師試着者画像４０によって示される試着者の体型を示す体型パラメータ７２および教師試着者画像４０における衣服画像４２の合成位置情報５６を出力データ８２とする学習モデルを、試着者の三次元データを用いた機械学習によって学習する。取得部２６Ｇは、試着者画像５１を取得する。導出部１２Ｄは、試着者画像５１と学習モデルを用いて、試着者画像５１によって示される試着者の出力データ８２を導出する。生成部２６Ｈは、導出された出力データ８２を用いて、試着者画像５１と衣服画像４２を合成した仮想試着画像５４を生成する。

このように、本実施の形態の仮想試着システム１では、試着者の三次元データを用いた機械学習によって学習された学習モデルを用いて、試着者画像５１によって示される試着者の出力データ８２（体型パラメータ７２および合成位置情報５６）を導出する。そして、導出された出力データ８２を用いて、試着者画像５１と衣服画像４２とを合成した仮想試着画像５４を生成する。

このため、本実施の形態の仮想試着システム１では、仮想試着画像５４の表示時に、試着者の三次元形状に関する情報取得する必要がなく、学習モデルを用いて導出された体型パラメータ７２および合成位置情報５６を用いて、試着者画像５１と衣服画像４２を合成した仮想試着画像５４を生成することができる。

従って、本実施の形態の仮想試着システム１では、高精度に合成された仮想試着画像５４を、容易に提供することができる。

＜変形例＞
なお、上記実施の形態では、情報処理装置１０が、学習部１２Ｃおよび導出部１２Ｄを備え、端末装置２６が、生成部２６Ｈを備えた構成である場合を一例として説明した。しかし、情報処理装置１０が、更に、取得部２６Ｇ、生成部２６Ｈ、受付部２６Ｊ、および表示制御部２６Ｉの少なくとも１つを更に備えた構成であってもよい。また、端末装置２６が、取得部１２Ａ、学習部１２Ｃ、および導出部１２Ｄの少なくとも１つを更に備えた構成であってもよい。

この場合、１台の情報処理装置１０または１台の端末装置２６で、学習データ１４Ａの生成、学習モデルの学習、試着者画像５１によって示される試着者の出力データ８２の導出、仮想試着画像５４の生成および表示を、実行することができる。

次に、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８のハードウェア構成について説明する。図９は、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８のハードウェア構成例を示すブロック図である。

本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８は、表示部９１、通信Ｉ／Ｆ部９３、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８６は、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８の各々の処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部１４および記憶部２６Ｄに格納されるデータを記憶する。通信Ｉ／Ｆ部９３は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインターフェースである。表示部９１は、上述した表示部１８および表示部２６Ｃの各々に相当する。入力部９４は、ユーザからの操作指示を受け付ける。９４は、上述した入力部２２および入力部２６Ｂに相当する。

本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。

なお、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態の情報処理装置１０、端末装置２６、および外部サーバ２８で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

なお、上記ＨＤＤ９２に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 仮想試着システム
１０ 情報処理装置
１２Ａ 取得部
１２Ｃ 学習部
１２Ｄ 導出部
１２Ｅ モデル学習部
１２Ｆ 補正部
１２Ｇ 拡張画像生成部
１２Ｈ 表示制御部
１２Ｉ 受付部
１２Ｊ 変更部
１４Ａ 学習データ
２６ 端末装置
２６Ｈ 生成部

Claims (16)

1. 教師試着者画像を入力データとし、前記教師試着者画像によって示される試着者の体型を示す体型パラメータおよび前記教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習する学習部と、
   試着者画像を取得する取得部と、
   前記試着者画像と前記学習モデルを用いて、前記試着者画像によって示される試着者の前記出力データを導出する導出部と、
   導出された前記出力データを用いて、前記試着者画像と衣服画像を合成した仮想試着画像を生成する生成部と、
   を備える仮想試着システム。
2. 前記生成部は、
   前記試着者画像における、導出された前記出力データに含まれる前記合成位置情報によって示される合成位置に、該出力データに含まれる前記体型パラメータに応じて変形された衣服画像を合成した、前記仮想試着画像を生成する、
   請求項１に記載の仮想試着システム。
3. 前記学習部は、
   前記入力データおよび前記出力データの少なくとも一方に、試着者の特徴情報を含む前記学習モデルを学習する、
   請求項１または請求項２に記載の仮想試着システム。
4. 前記特徴情報は、試着者の外観的特徴および内面的特徴の少なくとも一方を示す、請求項３に記載の仮想試着システム。
5. 前記特徴情報は、前記試着者の肌の色、衣服からの露出度、髪型、国籍、利き手、性格、および推奨撮影方向、の少なくとも１つを示す、請求項３または請求項４に記載の仮想試着システム。
6. 前記学習部は、
   前記教師試着者画像を拡張した拡張画像を生成する拡張画像生成部を有し、
   前記教師試着者画像を含む前記入力データ、および前記拡張画像を含む前記入力データを用いて、前記学習モデルを学習する、
   請求項１〜請求項５の何れか１項に記載の仮想試着システム。
7. 前記拡張画像生成部は、
   前記教師試着者画像に含まれる試着者領域上に衣服画像を重畳した衣服重畳画像、前記教師試着者画像の一部領域をマスクしたマスク画像、前記教師試着者画像の一部領域を切出した切出画像、前記教師試着者画像の少なくとも一部の領域を加工した加工画像、の少なくとも１つを、前記拡張画像として生成する、
   請求項６に記載の仮想試着システム。
8. 前記入力データは、
   撮影時間、撮影角度、撮影に用いた撮影部の種類、撮影時の試着者のポーズ、の少なくとも１つの異なる複数の前記教師試着者画像を含む、
   請求項１〜請求項７の何れか１項に記載の仮想試着システム。
9. 前記学習部は、
   前記教師試着者画像を含む前記入力データと、前記教師試着者画像によって示される試着者の三次元データに基づいて導出された、前記教師試着者画像に対応する前記出力データと、を対応付けた、複数の教師データを含む学習データを用いた機械学習により、前記学習モデルを学習する、
   請求項１〜請求項８の何れか１項に記載の仮想試着システム。
10. 前記入力データは、前記試着者の特徴情報を含み、
    前記学習部は、
    前記入力データに含まれる前記特徴情報に応じて、前記学習データにおける、前記三次元データから導出した前記出力データを補正する補正部を含む、
    請求項９に記載の仮想試着システム。
11. 前記学習部は、
    前記教師試着者画像上の、前記学習データにおける該教師試着者画像を含む前記入力データに対応する前記出力データに含まれる前記合成位置情報によって示される合成位置に、該出力データに含まれる体型パラメータに応じて変形した衣服画像を重畳した重畳画像を、表示部に表示する表示制御部と、
    前記学習データにおける、表示された前記重畳画像に含まれる前記教師試着者画像に対応する前記出力データの変更指示を受付ける受付部と、
    前記学習データにおける、該教師試着者画像を含む前記入力データに対応する前記出力データを、前記変更指示によって示される前記出力データに変更する変更部と、
    を有する、請求項９または請求項１０に記載の仮想試着システム。
12. 前記取得部は、
    正例を示す正例情報、前記試着者画像、および前記出力データを含む第１表示結果情報、または、負例を示す負例情報および前記試着者画像を含む第２表示結果情報、を取得し、
    前記学習部は、
    前記第１表示結果情報を取得した場合、前記第１表示結果情報に含まれる前記試着者画像を含む前記入力データと、該第１表示結果情報に含まれる前記出力データと、を対応付けた新たな前記教師データを、前記学習データに登録し、
    前記第２表示結果情報を取得した場合、前記第２表示結果情報に含まれる前記試着者画像を含む前記入力データと、負例を示す前記出力データと、を新たな前記教師データとして前記学習データに登録する、
    請求項９〜請求項１１の何れか１項に記載の仮想試着システム。
13. 教師試着者画像を入力データとし、前記教師試着者画像によって示される試着者の体型を示す体型パラメータおよび前記教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習するステップと、
    試着者画像を取得するステップと、
    前記試着者画像と前記学習モデルを用いて、前記試着者画像によって示される試着者の前記出力データを導出するステップと、
    導出された前記出力データを用いて、前記試着者画像と衣服画像を合成した仮想試着画像を生成するステップと、
    を備える仮想試着方法。
14. 教師試着者画像を入力データとし、前記教師試着者画像によって示される試着者の体型を示す体型パラメータおよび前記教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習するステップと、
    試着者画像を取得するステップと、
    前記試着者画像と前記学習モデルを用いて、前記試着者画像によって示される試着者の前記出力データを導出するステップと、
    導出された前記出力データを用いて、前記試着者画像と衣服画像を合成した仮想試着画像を生成するステップと、
    をコンピュータに実行させるためのプログラム。
15. 教師試着者画像を入力データとし、前記教師試着者画像によって示される試着者の体型を示す体型パラメータおよび前記教師試着者画像における衣服画像の合成位置情報を出力データとする学習モデルを、試着者の三次元データを用いた機械学習によって学習する学習部と、
    試着者画像を取得する取得部と、
    前記試着者画像と前記学習モデルを用いて、前記試着者画像によって示される試着者の前記出力データを導出する導出部と、
    導出された前記出力データを用いて、前記試着者画像と衣服画像を合成した仮想試着画像を生成する生成部と、
    を備える情報処理装置。
16. 教師試着者画像を含む入力データと、前記教師試着者画像によって示される試着者の三次元データに基づいて導出された、前記教師試着者画像に対応する出力データと、を対応付けた、複数の教師データを含む、学習データ。

Images