JP2004178163A - 画像処理方法及びその装置 - Google Patents

Abstract

【課題】面倒な操作なしに、装飾を、人物画像のしかるべき位置に、しかるべきサイズで配置できる画像処理装置を提供する。
【解決方法】入力画像を記憶する画像記憶部４と、身体部分領域のテンプレートを記憶するテンプレート記憶部６と、テンプレート記憶部のテンプレートを用いて入力画像から、顔領域の位置及びサイズを検出する顔検出部７と、基準点を有する装飾の情報を記憶する装飾情報記憶部５と、検出した顔領域のサイズに合わせて、装飾を拡縮し、検出した顔領域の位置に合うように、拡縮した装飾の基準点の位置を定め、拡縮した装飾を人物画像に合成する画像合成部９とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を用いる通信装置（例えば、テレビ電話、テレビ会議、ビデオメールあるいはビデオチャットのための装置やドアフォン等）に組み込まれる画像処理装置に関し、さらに詳しくは、人物画像（例えば、利用者の顔画像や全身画像など）を編集する画像処理装置に関するものである。
【０００２】
【従来の技術】
利用者を撮影した画像を、各種の印刷媒体に印刷して出力する遊戯機器がある。このものは、撮影した人物画像に、装飾（例えば、絵柄や模様など）のフレームを重ね合わせて合成し、印刷媒体（例えば、シールなど）に印刷して出力するようになっている。
【０００３】
このような遊戯機器は、それ自体において、人物画像と装飾との位置関係を調整する機能を持たない。したがって、利用者が、人物画像を、装飾フレーム内に収まるように配置しても、装飾が人物画像に重なり、顔部分や頭部分などが隠れてしまって、人物画像が不鮮明になることがあった。
【０００４】
特許文献１は、この点を考慮したものであり、装飾が、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、重ならないようにした上で、装飾を付加する技術を、提案している。
【０００５】
一方、最近、撮影した人物画像に、装飾フレームと重ね合わせて合成し、合成した画像を送信する機能を備えた、カメラ付き携帯電話が、実用化されている。送信者が、このようなカメラ付き携帯電話を使用すると、受信者は、送信者が編集した画像を見るという、楽しみを享受できる。
【特許文献１】
特開２０００−２２９２９号公報（第３−７頁）
【０００６】
【発明が解決しようとする課題】
しかしながら、装飾が人物画像に重ならないようにするのではなく、むしろ積極的に、装飾の全部又は一部を、人物画像のしかるべき位置に、しかるべきサイズで重ねたいとする要請もある。
【０００７】
このような装飾は、人物に関する画像であり、人物の感情を表現するもの（例えば、涙（悲しみ）、眉間のしわ（怒りあるいは不満）等）の画像や、身の回り品（例えば、帽子、めがね、付け髭、ネックレス等）の画像等である。
【０００８】
従来技術では、このような場合、ユーザが、装飾を配置すべき位置及びそのサイズを、いちいちキー入力等によって、入力せざるを得ず、きわめて操作が煩雑であるという問題点があった。
【０００９】
そこで本発明は、ユーザが面倒な操作を行わなくとも、装飾を、人物画像のしかるべき位置に、しかも、しかるべきサイズで配置できる、画像処理方法及びその間連技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載の画像処理方法は、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けるステップと、入力画像における身体部分領域の位置を設定するステップと、装飾に関連付けられた配置情報を用いて、設定した身体部分領域の位置に合うように、装飾の配置を定め、装飾を入力画像に合成するステップと、合成した入力画像を出力するステップとを含む。
【００１１】
この構成において、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けておくことにより、装飾は、入力画像のしかるべき位置に、合成されることになる。この際、ユーザは、いちいち装飾を合成すべき位置を指定する必要はなく、どの装飾を使用するかを指示するだけで足り、きわめて操作が容易である。
【００１２】
請求項２記載の画像処理方法では、入力画像における身体部分領域のサイズを設定するステップと、設定した身体部分領域のサイズに基づいて、入力画像と装飾とをサイズ合わせするステップとを含む。
【００１３】
この構成により、ユーザは、いちいち、入力画像と装飾とのサイズ合わせを行う必要がなく、操作性を向上できる。
【００１４】
請求項３記載の画像処理方法では、装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルの属性情報に含まれる。
【００１５】
この構成により、装飾と、それに関連付けられる配置情報とを、容易に取り扱うことができる。例えば、この画像ファイルを、ある位置（例えば、ＷＥＢのサーバ上）から別の位置（例えば、クライアントマシン）に転送（例えば、ダウンロード）しさえすれば、装飾と、それに関連付けられる配置情報とが、一体的に転送されることになる。即ち、転送先のユーザは、この画像ファイルの転送を受けさえすれば、いちいち装飾を合成すべき位置を支持しなくとも、直ちに配置情報を反映させた、合成を行えるものである。
【００１６】
請求項４記載の画像処理方法では、属性情報は、画像ファイルの拡張領域に存在する。
【００１７】
この構成により、画像ファイルの他の領域を圧迫することなく、１つの画像ファイル内に、配置情報を格納できる。
【００１８】
請求項５記載の画像処理方法では、装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルのファイル名に含まれる。
【００１９】
この構成により、画像ファイルが、拡張領域がない形式であっても、配置情報を格納できるし、画像ファイルが元々持っているファイル名に配置情報を格納して、画像ファイルのサイズ拡大を抑制できる。
【００２０】
請求項６記載の画像処理方法では、装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルと不可分の関係となるように取り扱われる、別のファイルに含まれる。
【００２１】
この構成により、別のファイルのみを編集することにより、画像ファイルを開かずに、配置情報を編集できる。
【００２２】
請求項７記載の画像処理方法では、装飾の身体部分領域における配置情報には、装飾の基準点に関する情報が含まれる。
【００２３】
この構成により、装飾の基準点を用いて、装飾の配置を簡潔に表現できる。
【００２４】
請求項８記載の画像処理方法では、装飾の身体部分領域における配置情報には、身体部分領域のサイズと装飾のサイズの関係を定める倍率に関する情報が含まれる。
【００２５】
この構成により、サイズあわせにおける処理を簡単にすることができる。
【００２６】
請求項９記載の画像処理方法では、身体部分領域は、人物被写体の顔領域である。
【００２７】
この構成により、顔は、人物の意思や感情を如実に示すため、顔領域を身体部分領域に選べば、遊戯性を高める効果大である。また、装飾に基準点を持たせてあるので、装飾は、顔領域のしかるべき位置に、しかるべきサイズで貼り付けられる。例えば、帽子の装飾ならば、顔領域の頭の位置に貼り付けられることになる。
【００２８】
請求項１０記載の画像処理方法では、装飾の基準点は、装飾の左上角点、上辺中央点、右上角点、左辺中央点、中心、重心、右辺中央点、左下角点、下辺中央点あるいは右下角点のいずれかである。
【００２９】
この構成により、装飾の性質に合わせて、入力画像に配置できる。
【００３０】
請求項１１記載の画像処理方法では、装飾は、人物の感情を表現するものの画像及び／又は身の回り品の画像である。
【００３１】
この構成により、入力画像に感情表現を追加しておもしろい画像にしたり、アクセサリ類を種々変更して楽しむ、言い換えれば、簡単なファッションショーのような楽しみを享受できる。
【００３２】
【発明の実施の形態】
以下図面を参照しながら、本発明の実施の形態を説明する。まず、具体的な構成の説明に先立って、重要な用語を解説する。
【００３３】
「人物画像」とは、人物の一部または全部の画像が含まれる画像である。従って、人物全体の画像でもよいし、人物の顔だけや後姿だけ、あるいは、上半身だけの画像であってもよい。また、複数の人物が写っている画像でもよい。勿論、背景に人物以外の風景や模様などのいかなるパターンがあっても良い。
【００３４】
「身体部分」とは、人物の身体の一部という意味であり、身体部分に服や帽子や靴を装着している皮膚が見えなくても、人物の身体の一部であることが認識可能な部分であれば、身体部分に含まれる。従って、顔も身体部分であるし、頭も身体部分である。さらに、目、鼻、口、耳、眉、髪、首、服を着た上半身、手、腕、足、靴を履いた脚、帽子を被った頭、めがねを掛けた目なども身体部分である。
【００３５】
「身体部分領域」とは、人物画像において、身体部分が占める領域として定められる領域のことであり、身体部分領域は、その内部に身体部分でない部分を含んでいてもよいし、身体部分の内部に位置する領域であってもよい。
【００３６】
すなわち、身体部分が顔であるとすると、身体部分領域は、顔に対応する身体部分領域が顔の周囲にある領域を含んでいてもよいし、両眼と口と鼻とを囲む最小サイズの長方形であって額や耳を含まないものであってもよい。
【００３７】
「装飾」とは、追加される画像パターンのことであり、この画像パターンは予め保持されている画像パターンであってもよいし、コンピュータグラフイックス技術で生成される画像パターンであってもよい。また、この画像パターンは、文字や記号のパターンや図形のパターンであってもよい。
【００３８】
「身の回り品」は、一般よりも広義であり、衣服、生活用品、趣味娯楽用品、運動競技用品、事務用品、小型の機械器具等を含む。
【００３９】
「配置情報」は、装飾を身体部分領域のどの位置に、どのような大きさで配置するかということを定める情報であり、この配置情報には、装飾の基準点に関する情報と、身体部分領域のサイズと装飾のサイズの関係を定める倍率に関する情報とが、含まれる。ここで、装飾が身体部分領域外に配置される場合もあり得る。このような場合には、装飾と身体部分領域との距離を定義し、この距離を、「配置情報」に含めるとよい。
【００４０】
そして本形態では、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けられている点が、ポイントである。具体的には、次の３とおりの情報の持ち方のうち、いずれを採用してもよい。
（例１）装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルの属性情報に含まれ、属性情報は、画像ファイルの拡張領域に存在する。
（例２）装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルのファイル名に含まれる。
（例３）装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルと不可分の関係となるように取り扱われる、別のファイルに含まれる。
【００４１】
さらには、勿論、以上の（例１）〜（例３）は、例示であって、装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けることができさえすれば、他の情報の持ち方を採用しても差し支えない。
【００４２】
また、枠画像については、以上において、「装飾」とあるのを「枠画像」とし、「装飾の身体部分領域における配置情報」とあるのを「枠画像における枠の配置情報」と読み替える。
【００４３】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置の機能ブロック図である。図１に示すように、本形態の画像処理装置は、次の構成要素を有する。
【００４４】
制御部１は、図１に示す各要素を、図３のフローチャートに沿って、制御する。
【００４５】
画像入力部２は、入力画像を得る。入力画像は、静止画であってもよいし、動画像の１フレーム分の画像であってもよい。さらに、この入力画像は、カメラで撮影された直後のものでも良いし、撮影後、ＪＰＥＧやＭＰＥＧ等の符号化方式に従って符号化されたデータ（記録媒体に記録されたものをロードしても良いし、送信装置から受信したものでも良い。）を、復号して得られるものでも良い。
【００４６】
表示部１０は、表示デバイス等からなり、画像入力部２が入力し画像記憶部４に記憶された入力画像や、画像合成部９が入力画像に装飾の画像を合成したものを表示する。
【００４７】
操作部３は、ユーザからの入力情報を、受け付けるためのものである。特に、ユーザは、操作部３を用いて、装飾情報記憶部５に記憶されている装飾の情報のうち、ユーザが、どの装飾に関するものを使用するかという情報を入力する。画像記憶部４は、画像入力部２が入力した、入力画像を記憶する。
【００４８】
テンプレート記憶部６は、身体部分領域のテンプレートを記憶する。以下、本形態では、顔領域を身体部分領域として取り上げる。しかし、手等他の身体部分領域についても、同様に適用できる。
【００４９】
テンプレートは、図４（ａ）、（ｂ）、（ｃ）に示すように、顔部品（頭、目、鼻、口）のそれぞれの輪郭をモデル化したものを、各種サイズ分だけ用意して使用する。
【００５０】
図１において、顔検出部７は、検出部に相当する。この顔検出部７は、テンプレート記憶部６のテンプレートを用いて、画像記憶部４に記憶された入力画像から、身体部分領域の位置及びサイズを検出する。
【００５１】
ここで、図５に示しているように、顔検出部７は、画像記憶部４の入力画像に微分フィルタをかけて、エッジ成分を抽出する。また、顔検出部７は、テンプレート記憶部６からテンプレート５３を選び、選んだテンプレート５３と、エッジ成分とを用いて、パターンマッチマッチングを実行する。
【００５２】
このパターンマッチングは、テンプレート５３（Ｎｘ＊Ｎｙ画素）を、それより大きい入力画像（Ｍｘ＊Ｍｙ画素）内の探索範囲（Ｍｘ−Ｎｘ＋１）（Ｍｙ−Ｎｙ＋１）上で動かし、次式に示す残差Ｒが、最小となるようなテンプレート画像の左上位置（ａ，ｂ）を求める処理である。
【数１】

【００５３】
但し、（数１）において、Ｉ（ａ，ｂ）（ｍｘ，ｍｙ）は入力画像の部分画像、Ｔ（ｍｘ，ｍｙ）はテンプレート５３の画像である。
【００５４】
また、（数１）に替えて、次式で示す相互相関係数Ｃを求め、相互相関係数Ｃが最大になる、テンプレート画像の左上位置（ａ，ｂ）を求めてもよい。

【００５５】
顔検出部７は、図４に示すテンプレートを使用し、（数１）を用いるときは残差Ｒが最小となるテンプレート、（数２）を用いるときは、相関係数Ｃが最大となるテンプレートを求める。そして、顔検出部７は、求めたテンプレートの、位置及びサイズを、入力画像における顔領域の、それぞれの位置及びサイズとする。
【００５６】
ここで、図６及び図７を用いて、本形態における顔領域の取り扱いについて説明する。図６は、顔領域の検出結果例を示している。入力画像６０に対して、矩形の顔領域６１が検出されている。
【００５７】
本形態では、顔検出部７は、上述したテンプレートによって、この顔領域の左上角点の座標と、この顔領域を示す矩形の横方向長さＬと、縦方向長さＭとを求める。
【００５８】
さらに、図７に示すように、本形態では、顔検出部７は、以上の値から、顔領域を示す矩形について、左上角点Ｐ０、上辺中央点Ｐ１、右上角点Ｐ２、左辺中央点Ｐ３、中心（重心でもよい）Ｐ４、右辺中央点Ｐ５、左下角点Ｐ６、下辺中央点Ｐ７、右下角点Ｐ８の、合計９個の点の位置を求める。
【００５９】
本形態では、後述する装飾の基準点を、上記いずれかの点、あるいは、これらから任意に選んだ複数の点を、比例配分した点に設定するようにしている。
【００６０】
この関係によって、装飾の基準点を、設定した点に合わせるだけで、装飾の基準点が、顔領域のしかるべき位置となるものである。
【００６１】
しかしながら、以上述べたような、点の取り方は、単なる例示であって、本発明の趣旨を変更しない限りにおいて、任意に変更できる点は言うまでもない。
【００６２】
なお、顔検出部７は、画像に複数の顔が存在している場合、既に検出された１人目の顔部分領域を除いた領域内で、残差Ｒが低い位置もしくは相関係数Ｃが高い位置を、２人目の顔部分領域として検出する。
【００６３】
さらに、３人目以降の顔についても同じく、顔検出部７は、既に検出された顔部分領域を除いた領域内で残差Ｒが低い位置、相関係数Ｒが高い位置を顔部分領域として設定しながら、以下、過当なしきい値よりも残差Ｒが大きくなるまで、もしくは相関係数Ｃが小さくなるまで繰り返し検出する。これにより、複数の人物の顔部分領域を検出できる。
【００６４】
ここで、実施の形態１では、後述する実施の形態２とは異なり、顔領域だけでなく、顔部品（例えば、右目、左目、鼻、口、両目、右頬、左頬、両頬、口等）の各領域も検出することが望ましい。こうすると、より詳細に、装飾を配置できる。
【００６５】
なお、これらの顔部品については、顔領域と同様に、テンプレートを用意すれば、個別に位置及びサイズを検出できるので、詳細な説明は省略する。また、顔領域のみ検出し、顔部品の位置及びサイズを、検出した顔領域の位置及びサイズに、例えば比例按分するなどして、推定するようにしてもよい。
【００６６】
顔検出部７は、以上のように、位置及びサイズを求めると、その結果を、図１の検出結果記憶部８に格納する。
【００６７】
図１において、装飾情報記憶部５は、装飾情報を記憶する。次に、図８及び図９を用いて、装飾情報について説明する。
【００６８】
図８に示す例（帽子（ハット）の装飾）では、装飾の情報は、装飾画像（帽子の絵）データと、サイズの情報（帽子本体の直径ａ、つばの直径ｂ）と、基準点ｃの装飾画像における位置と、顔領域を示す矩形において、基準点ｃが一致すべき点とが、関連付けて構成される。
【００６９】
また、装飾の例としては、図９（ａ）に示すような帽子（キャップ）、図９（ｂ）に示すようなかぶりもの、図９（ｃ）に示すような鉢巻き、図９（ｄ）〜（ｆ）に示すような各種のめがね或いはサングラス、図９（ｇ）〜図９（ｉ）に示すような付け髭などがある。
【００７０】
さらには、装飾は、涙、眉間のしわ、顔の陰、汗、火照りを示すマーク等、人物の感情を表現するものでもよいし、先に定義した身の回り品でもよい。
【００７１】
また、装飾画像のデータは、ラスタ画像であってもよいし、ベクトル画像でもよい。
【００７２】
図１において、画像合成部９は、検出結果記憶部８に格納された顔領域の位置及びサイズの情報を参照する。
【００７３】
そして、画像合成部９は、顔領域のサイズに合わせて、選択された装飾を拡縮し、顔領域の位置に合うように、拡縮した装飾の基準点の位置を定め、拡縮した装飾を、画像記憶部が記憶する人物画像に、合成する。
【００７４】
ここで、このような位置あわせや、拡縮（サイズの調整）自体は、簡単な処理で実現できる。また、拡縮について、例えば横方向のみ実施し、縦方向には実施しない等、方向性を持たせてもよい。
【００７５】
また、画像合成について、拡縮した装飾を、人物画像の前景に配置してもよいし、背景に配置することもできる。さらには、人物画像と、適当なα値で、色混合して表示してもよい。
【００７６】
図８に示す帽子の装飾を、図６の顔領域検出結果に適用すると、例えば、図１０に示すような結果となる。図１０により、帽子が、しかるべきサイズ（人物の頭の大きさ）にあわせ、しかるべき位置（頭上で少しおでこが隠れるぐらいの位置）に配置されていることが理解されよう。
【００７７】
因みに、この種の画像処理では、例えば、頭にかぶれないほどの小さな帽子が口の前にあるなどの結果となりやすい。このような結果は、画像処理自体として、直ちに誤りであるとは言えないが、現実から、かけ離れており、不適切である。
【００７８】
これと比較すると、本発明では、人物画像が入力された後において、ユーザは、帽子の装飾を選択しさえすれば、後は何も面倒な操作をせずに、全て自動で図１０のような状態となるため、使い勝手が大幅に向上する。
【００７９】
次に、図２を用いて、図１に示す画像処理装置及びその周辺部分の具体的構成例を説明する。図２は、同画像処理装置のブロック図である。
【００８０】
図２の例では、カメラ付き携帯電話に、図１の画像処理装置を組み込んである。図２に示すように、このカメラ付き携帯電話は、次の要素を有する。
【００８１】
ＣＰＵ２１は、バス２０を介して、図２の各要素を制御し、ＲＯＭ２３に記録され、図３のフローチャートに従う制御プログラムを実行する。
【００８２】
ＲＡＭ２２には、ＣＰＵ２１が処理上必要とする一時記憶領域が確保されている。フラッシュメモリ２４は、記録媒体に相当するデバイスである。
【００８３】
また、アンテナ２５を経由して、通信処理部２６は、外部の通信装置と、データの送受信を行う。
【００８４】
画像処理部２７は、ＪＰＥＧ、ＭＰＥＧ等の符号化方式に関するエンコーダ／デコーダ等からなり、カメラ２８が撮影した画像（静止画あるいは動画）を処理したり、ＣＰＵ２１から指示された画像データに基づいて、ＬＣＤ（表示デバイスの一例）２９の表示状態を制御する。
【００８５】
音声処理部３０は、マイク３１からの入力と、スピーカ３２を介しての音声出力とを、制御する。
【００８６】
また、バス２０には、インターフェイス３３が接続され、インターフェイス３３を介して、利用者は、キーセット３４による操作情報の入力を行えるようになっており、さらにポート３５を介して、別のデバイスを接続できるように構成されている。
【００８７】
ここで、図１における、画像入力部２は、フラッシュメモリ２４に記録されたデータ、あるいは、カメラ２８が撮影したデータを、ＣＰＵ２１または画像処理部２７が処理することにより実現される。
【００８８】
また、制御部１、顔検出部７、画像合成部９は、ＣＰＵ２１が、ＲＡＭ２２、フラッシュメモリ２４などと、データのやりとりを行いながら、演算を実施することにより実現される。
【００８９】
さらに、画像記憶部４、テンプレート記憶部６、装飾情報記憶部５、検出結果記憶部８は、ＲＡＭ２２、ＲＯＭ２３あるいはフラッシュメモリ２４のいずれかに確保された領域に相当する。また、図２のキーセット３４は、図１の操作部３に相当する。
【００９０】
なお、ＣＰＵ２１は、利用者がキーセット３４に対して行う操作の認識、カメラ２８からの画像の取得、カメラ画像の圧縮とフラッシュメモリ２４への保存、保存画像の読み込みと伸張、画像合成、画像再生、ＬＣＤ２９ヘの表示などを行うが、これらの処理のうち、いくつかを、画像処理部２７で行うようにしても良い。
【００９１】
次に、図３を用いて、本形態の画像処理装置における、処理の流れを説明する。
【００９２】
まず、ステップ１にて、制御部１は、画像入力部２を制御し、入力画像が、画像入力部２、制御部１を経由して、画像記憶部４に格納される。
【００９３】
次に、ステップ２にて、制御部１は、表示部１０に、画像記録部４に格納された入力画像を表示するように命じ、表示部１０に入力画像が表示される。
【００９４】
次に、ステップ３にて、制御部１は、ユーザが、どの装飾を使用するのかという情報を入力するのを待つ。
【００９５】
ユーザが、操作部３を使用して、この情報を入力すると、ステップ４にて、制御部１は、顔検出部７に顔領域を検出を命ずる。これにより、顔検出部７は、テンプレート記憶部６に記憶されているテンプレートを使用して、顔領域の位置とサイズを検出し、ステップ５にて、検出結果を、検出結果記憶部８に格納する。
【００９６】
以上の処理が完了したら、ステップ６にて、画像合成部９は、顔領域のサイズに合わせて、装飾の画像を拡縮する。そして、ステップ７にて、画像合成部９は、拡縮した、装飾の基準点が、顔領域の対応する点に位置するように、拡縮した装飾の画像を、入力画像に合成し、合成画像を、画像記憶部４に格納する。そして、ステップ８にて、制御部１は、表示部１０に、合成画像を表示させる。
【００９７】
なお、ステップ２からステップ５において、装飾の選択に先立って、あるいは、並行して、顔検出を行ってもよい。
【００９８】
装飾の選択に先立って、ユーザが、どの装飾にするか考えている（情報処理装置としては、無駄な）時間を利用して、顔検出を開始しておけば、ユーザから見ると、あたかも、顔検出が短時間で完了したかのように見せることができる。
【００９９】
また、ステップ６からステップ７において、装飾の基準点の位置を決めた後に、またはそれと並行して、装飾の画像を拡縮してもよい。
【０１００】
（実施の形態２）
次に、図１１〜図１５を用いて、本発明の実施の形態２を説明する。図１１は、本発明の実施の形態２における画像処理装置の機能ブロック図である。
【０１０１】
図１１において、実施の形態１と同様の内容については、同一符号を付すことにより、説明を省略する。但し、顔検出部７、テンプレート記憶部６は、実施の形態１とは異なり、顔領域のみ対応していればよく、顔部品については考慮する必要がない。
【０１０２】
枠画像記憶部１１は、図１３に示すように、顔画像をはめ込む枠を有する枠画像を記憶する。図１３に示す枠画像では、横の長さｄ、縦の長さｅの枠が設けられている。この枠内には、顔領域の画像が、サイズを合わせてから、はめ込まれる。
【０１０３】
また、枠画像としては、図１４（ａ）〜（ｉ）に示すようなものが考えられる。ここで、「枠」とは、図１３に示すように、必ずしも、目に見える枠線を有するものに限られず、図１４（ｂ）、（ｄ）、（ｅ）に示すように、枠線が見えないものも含む。さらには、図１４（ｇ）〜（ｉ）に示すように、頭のない人体を模した図形を、枠内の画像とし、その頭が存在するであろう、一定の領域を、ここでいう「枠」として定めてもよい。
【０１０４】
図１１において、顔画像切出部１２は、画像記憶部４に格納された、入力画像から、顔検出部７が検出した、顔領域の画像のみを切り出す。
【０１０５】
画像合成部１３は、顔画像切出部１２が切り出した、顔領域の画像を、枠のサイズに合わせて、拡縮し、枠画像の枠にはめ込んで、画像記憶部４に出力する。
【０１０６】
次に、図１２を用いて、本形態の画像処理装置における、処理の流れを説明する。
【０１０７】
まず、ステップ１１にて、制御部１は、画像入力部２を制御し、入力画像が、画像入力部２、制御部１を経由して、画像記憶部４に格納される。
【０１０８】
次に、ステップ１２にて、制御部１は、表示部１０に、画像記録部４に格納された入力画像を表示するように命じ、表示部１０に入力画像が表示される。
【０１０９】
次に、ステップ１３にて、制御部１は、ユーザが、どの枠画像を使用するのかという情報を入力するのを待つ。
【０１１０】
ユーザが、操作部３を使用して、この情報を入力すると、ステップ１４にて、制御部１は、顔検出部７に顔領域を検出を命ずる。これにより、顔検出部７は、テンプレート記憶部６に記憶されているテンプレートを使用して、顔領域の位置とサイズを検出し、検出結果を、検出結果記憶部８に格納する。
【０１１１】
以上の処理が完了したら、ステップ１５にて、顔画像切出部１２は、入力画像から、顔領域の画像のみを切出し、画像合成部１３に出力する。
【０１１２】
画像合成部９は、枠画像の枠のサイズに合わせて、切り出された、顔画像を拡縮し、ステップ１７にて、画像合成部９は、拡縮した、顔画像を、枠内に貼り付け、合成画像を、画像記憶部４に格納する。そして、ステップ１８にて、制御部１は、表示部１０に、合成画像を表示させる。
【０１１３】
なお、ステップ１５からステップ１７において、顔画像の切出と、顔画像の拡縮とは、順不同に実行して差し支えない。
【０１１４】
また、枠画像の選択に先立って、ユーザが、どの枠画像にするか考えている（情報処理装置としては、無駄な）時間を利用して、顔検出を開始しておけば、ユーザから見ると、あたかも、顔検出が短時間で完了したかのように見せることができる。
【０１１５】
図１５（ａ）は、図１３に示した枠画像に、顔画像を貼り付けた結果例を示す。さらには、図１５（ｂ）に示すように、複数の枠を設けて、それぞれの枠に、顔画像を貼り付けることもできる。
【０１１６】
以上、１つの枠に対して、１つの顔画像が合成される例を説明したが、複数人の顔検出については、実施の形態１の後半部分で述べた要領で対応するとよい。例えば、図１５（ｃ）に示すように、複数の顔画像が存在する場合、これらの顔画像の全てを包囲する矩形領域を求め、この矩形領域が、１つの枠に合うように調整し、画像合成するとよい。その結果、複数人の顔画像が、１つの枠内に貼り付けられることになる。
【０１１７】
勿論、実施の形態１と実施の形態２とを、組み合わせてもよい。
【０１１８】
【発明の効果】
本発明によれば、ユーザは、面倒な操作なしに、装飾を、人物画像のしかるべき位置に、しかるべきサイズで、簡単に配置できる。また、枠画像の枠内に、顔画像のみを、簡単かつ適切なサイズで、配置できる。したがって、ユーザは、楽しく、操作が容易な、人物画像編集を行える。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置の機能ブロック図
【図２】同画像処理装置のブロック図
【図３】同画像処理装置のフローチャート
【図４】（ａ）同テンプレートの例示図
（ｂ）同テンプレートの例示図
（ｃ）同テンプレートの例示図
【図５】同パターンマッチングの説明図
【図６】同顔領域検出結果の例示図
【図７】同顔領域の各点説明図
【図８】同装飾の例示図
【図９】（ａ）同装飾の例示図
（ｂ）同装飾の例示図
（ｃ）同装飾の例示図
（ｄ）同装飾の例示図
（ｅ）同装飾の例示図
（ｆ）同装飾の例示図
（ｇ）同装飾の例示図
（ｈ）同装飾の例示図
（ｉ）同装飾の例示図
【図１０】同合成結果の例示図
【図１１】本発明の実施の形態２における画像処理装置の機能ブロック図
【図１２】同画像処理装置のフローチャート
【図１３】同枠画像の例示図
【図１４】（ａ）同枠画像の例示図
（ｂ）同枠画像の例示図
（ｃ）同枠画像の例示図
（ｄ）同枠画像の例示図
（ｅ）同枠画像の例示図
（ｆ）同枠画像の例示図
（ｇ）同枠画像の例示図
（ｈ）同枠画像の例示図
（ｉ）同枠画像の例示図
【図１５】（ａ）同合成結果の例示図
（ｂ）同合成結果の例示図
（ｃ）同合成結果の例示図
【符号の説明】
１ 制御部
２ 画像入力部
３ 操作部
４ 画像記憶部
５ 装飾情報記憶部
６ テンプレート記憶部
７ 顔検出部
８ 検出結果記憶部
９、１３ 画像合成部
１０ 表示部
１１ 枠画像記憶部
１２ 顔画像切出部

Claims (27)

1. 装飾と、この装飾の身体部分領域における配置情報とを、不可分に関連付けるステップと、
   入力画像における身体部分領域の位置を設定するステップと、
   装飾に関連付けられた配置情報を用いて、設定した身体部分領域の位置に合うように、装飾の配置を定め、装飾を入力画像に合成するステップと、
   合成した入力画像を出力するステップとを含む、画像処理方法。
2. 入力画像における身体部分領域のサイズを設定するステップと、
   設定した身体部分領域のサイズに基づいて、入力画像と装飾とをサイズ合わせするステップとを含む、請求項１記載の画像処理方法。
3. 装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルの属性情報に含まれる、請求項１から２記載の画像処理方法。
4. 属性情報は、画像ファイルの拡張領域に存在する、請求項３記載の画像処理方法。
5. 装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルのファイル名に含まれる、請求項１から２記載の画像処理方法。
6. 装飾は、画像ファイルの形式で取り扱われ、この装飾の身体部分領域における配置情報は、この画像ファイルと不可分の関係となるように取り扱われる、別のファイルに含まれる、請求項１から２記載の画像処理方法。
7. 装飾の身体部分領域における配置情報には、装飾の基準点に関する情報が含まれる、請求項１から６記載の画像処理方法。
8. 装飾の身体部分領域における配置情報には、身体部分領域のサイズと装飾のサイズの関係を定める倍率に関する情報が含まれる、請求項２から７記載の画像処理方法。
9. 身体部分領域は、人物被写体の顔領域である、請求項１から８記載の画像処理方法。
10. 装飾の基準点は、装飾の左上角点、上辺中央点、右上角点、左辺中央点、中心、重心、右辺中央点、左下角点、下辺中央点あるいは右下角点のいずれかである、請求項７記載の画像処理方法。
11. 装飾は、人物の感情を表現するものの画像及び／又は身の回り品の画像である、請求項１から１０記載の画像処理方法。
12. 身体部分領域を合成する枠を有する枠画像を記憶するステップと、
    入力画像における身体部分領域の位置及びサイズを設定するステップと、
    身体部分領域の画像を、枠画像の枠に合成して出力するステップとを含む、画像処理方法。
13. 設定した身体部分領域の画像と、枠とを、サイズ合わせするステップを含む、請求項１２記載の画像処理方法。
14. 枠画像は、画像ファイルの形式で取り扱われ、この枠画像における枠の配置情報は、この画像ファイルの属性情報に含まれる、請求項１２から１３記載の画像処理方法。
15. 属性情報は、画像ファイルの拡張領域に存在する、請求項１４記載の画像処理方法。
16. 枠画像は、画像ファイルの形式で取り扱われ、この枠画像における枠の配置情報は、この画像ファイルのファイル名に含まれる、請求項１５記載の画像処理方法。
17. 枠画像は、画像ファイルの形式で取り扱われ、この枠画像における枠の配置情報は、この画像ファイルと不可分の関係となるように取り扱われる、別のファイルに含まれる、請求項１２から１３記載の画像処理方法。
18. 枠画像における枠の配置情報には、枠の基準点に関する情報が含まれる、請求項１２から１７記載の画像処理方法。
19. 枠画像における枠の配置情報には、身体部分領域のサイズと装飾のサイズの関係を定める倍率に関する情報が含まれる、請求項１３から１８記載の画像処理方法。
20. 身体部分領域は、人物被写体の顔領域である、請求項１２から１９記載の画像処理方法。
21. 装飾の基準点は、装飾の左上角点、上辺中央点、右上角点、左辺中央点、中心、重心、右辺中央点、左下角点、下辺中央点あるいは右下角点のいずれかである、請求項１８記載の画像処理方法。
22. 装飾は、人物の感情を表現するものの画像及び／又は身の回り品の画像である、請求項１２から２１記載の画像処理方法。
23. 入力画像を記憶する画像記憶部と、
    身体部分領域のテンプレートを記憶するテンプレート記憶部と、
    前記テンプレート記憶部のテンプレートを用いて、前記入力画像記憶部に記憶された入力画像から、身体部分領域の位置及びサイズを検出する検出部と、
    基準点を有する装飾の情報を記憶する装飾情報記憶部と、
    前記検出部が検出した身体部分領域のサイズに合わせて、装飾を拡縮し、前記検出部が検出した身体部分領域の位置に合うように、拡縮した装飾の基準点の位置を定め、拡縮した装飾を、前記画像記憶部が記憶する入力画像に、合成する画像合成部とを備える、画像処理装置。
24. 身体部分領域は、人物被写体の顔領域である、請求項２３記載の画像処理装置。
25. 装飾の基準点は、装飾の左上角点、上辺中央点、右上角点、左辺中央点、中心、重心、右辺中央点、左下角点、下辺中央点あるいは右下角点のいずれかである、請求項２３から２４記載の画像処理装置。
26. 装飾は、人物の感情を表現するものの画像及び／又は身の回り品の画像である、請求項２３から２５記載の画像処理装置。
27. 入力画像を記憶する画像記憶部と、
    顔領域のテンプレートを記憶するテンプレート記憶部と、
    前記テンプレート記憶部のテンプレートを用いて、前記入力画像記憶部に記憶された入力画像から、顔領域の位置及びサイズを検出する検出部と、
    顔画像をはめ込む枠を有する枠画像を記憶する枠画像記憶部と、
    前記検出部が検出した、顔領域の画像を、枠のサイズに合わせて、拡縮し、枠画像の枠にはめ込んで出力する画像合成部とを備える、画像処理装置。

Images