JP6330312B2 - 顔画像処理装置、投影システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、顔画像処理装置、投影システム、画像処理方法及びプログラムに関する。

従来、撮像した画像中の被写体の顔領域と表情を表現するための制御点とに基づいて、顔画像を変形させる技術が知られている（例えば、特許文献１参照）。
他方、近年、人型に成型された投影スクリーンに映像を投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献２参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等にて斬新で効果的な展示の演出を行うことができる。

特開２０１２−１８５６２４号公報 特開２０１１−１５０２２１号公報

ところで、上記特許文献１等のように、１枚の画像を用いてリップシンクや表情を表現する場合、当該画像内から目や口等の顔構成部を検出して変形させるが、顔構成部の検出が不適切であると、違和感の大きい表現になってしまうという問題があった。特に、上述した顔画像を変形させる技術をバーチャルマネキンに適用した場合に、違和感の大きい表現になると、商品価値が低下してしまう虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔構成部の検出を適正に行うことができる顔画像処理装置、投影システム、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る顔画像処理装置は、
顔画像を取得する取得手段と、前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段と、前記第一の検出手段により検出された顔構成部に対応する検出領域の連続する輪郭線上の画素値の変化を検出する第二の検出手段と、前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる変化手段と、を備えたことを特徴としている。

また、本発明に係る投影システムは、
本発明の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、前記変化手段は、前記第一の検出手段により検出された顔構成部及び前記配置手段により配置された顔構成部画像に対して変形処理を施す変形手段を含み、前記投影装置は、前記変形手段により変形処理が施された顔構成部及び顔構成部画像を前記スクリーンに投影することを特徴としている。

また、本発明に係る画像処理方法は、
顔画像処理装置を用いた画像処理方法であって、顔画像を取得する処理と、取得された顔画像から顔を構成する顔構成部を検出する処理と、検出された顔構成部に対応する検出領域の連続する輪郭線上の画素値の変化を検出する処理と、前記検出領域の輪郭の画素値の変化の検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
顔画像処理装置のコンピュータを、顔画像を取得する取得手段、前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段、前記第一の検出手段により検出された顔構成部に対応する検出領域の連続する輪郭上の画素値の変化を検出する第二の検出手段、前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる変化手段、として機能させることを特徴としている。

本発明によれば、顔構成部の検出を適正に行うことができる。

本発明を適用した一実施形態の投影システムの全体構成を模式的に示す図である。 図１の投影システムによる投影状態を模式的に示す図である。 図１の投影システムを構成する画像処理装置の機能的構成を示すブロック図である。 図１の投影システムによる投影処理に係る動作の一例を示すフローチャートである。 図４の投影処理における顔画像特定処理に係る動作の一例を示すフローチャートである。 図５の顔画像特定処理に係る画像の一例を模式的に示す図である。 図５の顔画像特定処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の投影システム１００の全体構成を模式的に示す図である。また、図２（ａ）は、映像コンテンツの非投影状態を模式的に示す投影システム１００の正面図であり、図２（ｂ）は、映像コンテンツの投影状態を模式的に示す投影システム１００の正面図である。

図１に示すように、本実施形態の投影システム１００は、画像処理装置１と、撮像装置２と、投影装置３と、スピーカ４と、スクリーン５等を備えて構成されている。また、投影システム１００は、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーン５に投影するものであり、図１には、映像コンテンツの聴衆Ｏと当該投影システム１００の各構成要素との位置関係を模式的に表している。
なお、聴衆Ｏは、一人の場合もあるし、複数人の場合もある。

図３は、画像処理装置１の機能的構成を示すブロック図である。
図３に示すように、画像処理装置１は、中央制御部１０１と、操作入力部１０２と、表示部１０３と、記録部１０４と、画像処理部１０５と、第１〜第３Ｉ／Ｆ１０６、１０７、１０８等を備えて構成されている。また、中央制御部１０１、表示部１０３、記録部１０４、画像処理部１０５並びに第１〜第３Ｉ／Ｆ１０６、１０７、１０８は、バスライン１０９を介して接続されている。
なお、画像処理装置１としては、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ、端末装置等が適用可能である。また、画像処理装置１は、スクリーン５に投影される映像コンテンツの投影像が聴衆Ｏ側を向くように、映像コンテンツの各フレームの投影画像（フレーム画像）を補正する構成としても良い。

中央制御部１０１は、図示は省略するが、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。中央制御部１０１のＣＰＵは、記録部１０４の所定の記録領域に記録されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って各種処理を実行する。中央制御部１０１のＲＡＭは、揮発性のメモリであり、ＣＰＵにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。

操作入力部１０２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１０１に出力する。

表示部１０３は、例えば、ＬＣＤ（Liquid Crystal Display）等により構成され、中央制御部１０１からの表示制御信号に従って、各種情報を表示領域に表示する。

記録部１０４は、例えば、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。また、記録部１０４は、中央制御部１０１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等を記録している。プログラムは、例えば、コンピュータ読み取り可能なプログラムコードの形態で所定の記録領域に格納されている。

また、記録部１０４は、投影用の映像コンテンツの映像データ１０４ａを記録している。
映像データ１０４ａは、例えば、三次元モデルの動画データを構成する各フレームの投影画像（例えば、投影対象物が正面方向を向いている画像等）のデータ及び各投影画像に対応する音声データにより構成されている。三次元モデルとは、三次元ポリゴン、三次元曲面、テクスチャ画像等によって構成された立体物の画像である。
また、映像データ１０４ａは、映像コンテンツに含まれる投影対象物（特に、人の顔）の動きを表現するための動き情報（例えば、各顔構成部の動き情報等）を含んでいる。動き情報は、所定空間内における複数の制御点の動きを示す情報であり、例えば、複数の制御点の所定空間での位置座標（x, y）を示す情報や変形ベクトル等が時間軸に沿って並べられている。

また、記録部１０４は、例えば、左右各々の目、鼻、口、眉、顔輪郭等の顔構成部Ｐ毎に、対応する顔構成部画像Ｄ（図７（ｂ）参照）に係る顔構成部画像データ１０４ｂを複数記録している。
顔構成部画像データ１０４ｂは、顔構成部Ｐ毎に、各種様々な形状や色のものが用意されている。また、顔構成部画像Ｄの所定位置には、当該顔構成部画像Ｄの変形処理に係る制御点が複数設定されている。

画像処理部１０５は、画像取得部１０５ａと、顔検出部１０５ｂと、顔構成部検出部１０５ｃと、輪郭状態検出部１０５ｄと、輪郭変位部１０５ｅと、消去部１０５ｆと、配置部１０５ｇと、画像変形部１０５ｈとを具備している。
なお、画像処理部１０５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部（取得手段）１０５ａは、顔を含む画像を取得する。
すなわち、画像取得部１０５ａは、例えば、撮像装置２により撮像された聴衆Ｏの顔を含む画像（例えば、顔のみの画像や胸から上の画像等）の画像データの複製を取得する。具体的には、画像取得部１０５ａは、撮像装置２により撮像されたライブビュー画像や撮像画像の画像データの複製を処理対象画像として取得する。
なお、画像取得部１０５ａは、撮像装置２による聴衆Ｏを撮像後に記録部１０４に記録されている画像を読み出して取得しても良い。また、後述する画像処理部１０５による各処理は、処理対象画像の画像データ自体に対して行われても良いし、必要に応じて画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。

顔検出部１０５ｂは、処理対象画像から顔領域Ａ１を検出する。
すなわち、顔検出部１０５ｂは、画像取得部１０５ａにより取得された処理対象画像の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図６（ａ）参照）を検出する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

顔構成部検出部（第一の検出手段）１０５ｃは、画像取得部１０５ａにより処理対象画像として取得された顔を含む画像から顔を構成する顔構成部Ｐを検出する。
すなわち、顔構成部検出部１０５ｃは、顔検出処理により検出された処理対象画像内の顔領域Ａ１から、所定の検出処理（例えば、ＡＡＭ（Active Appearance Model）等）を用いて、例えば、左右各々の目、鼻、口、眉、顔輪郭等の主要な顔構成部Ｐを検出する（図６（ａ）参照）。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を用意しておき、顔構成部検出部１０５ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔領域Ａ１内で、例えば、左右各々の目、鼻、口、眉、顔輪郭等の顔構成部Ｐがモデル化される。
なお、検出処理としては、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等の各種の処理を用いても良い。

輪郭状態検出部（第二の検出手段）１０５ｄは、顔構成部検出部１０５ｃにより検出された顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値の変化を検出する。
すなわち、輪郭状態検出部１０５ｄは、例えば、左右各々の目や口等の顔構成部Ｐの検出領域Ｂの輪郭を構成する複数の画素を特定し、当該輪郭に沿って各画素の画素値（例えば、輝度値等）を探索して、テクスチャ（輝度値の繰り返しパターン）の変化を検出する。例えば、顔構成部Ｐとして目を例示すると（図６（ｂ）参照）、顔構成部検出部１０５ｃにより検出された目の上瞼側の輪郭が黒目（虹彩領域）の部分と白目の部分とに跨がっていると、画素値が大きく変化するためテクスチャの変化が相対的に大きくなる一方で、下瞼にかかっている部分の画素値は略一様となりテクスチャの変化が相対的に小さくなる。
つまり、顔構成部検出部１０５ｃによる顔構成部Ｐの検出精度が悪いと、顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値の変化が相対的に大きくなると考えられる。

輪郭変位部（変位手段）１０５ｅは、輪郭状態検出部１０５ｄによる検出結果に基づいて、顔構成部Ｐに対応する検出領域Ｂの輪郭を変位させる。
すなわち、輪郭変位部１０５ｅは、輪郭状態検出部１０５ｄにより検出された顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値の変化に応じて、顔構成部Ｐの輪郭の位置を変位させる。具体的には、輪郭変位部１０５ｅは、検出領域Ｂの輪郭の画素値の変化が相対的に大きい輪郭部分を、当該検出領域Ｂの所定位置（例えば、重心等）を基準として外側に拡げるように輪郭を変位させる。
例えば、輪郭変位部１０５ｅは、顔構成部検出部１０５ｃにより検出された顔構成部Ｐに対応する検出領域Ｂを構成する複数の画素の位置座標の平均値を重心として算出して特定する。このとき、輪郭変位部１０５ｅは、輪郭が変位される毎に、輪郭変位後の検出領域Ｂを構成する複数の画素の位置座標の平均値を重心として算出して特定しても良い。そして、輪郭変位部１０５ｅは、検出領域Ｂの輪郭を構成する複数の画素の中で、画素値の変化が相対的に大きい輪郭部分（例えば、黒目の部分と白目の部分とに跨がっている上瞼側の部分等）を、当該検出領域Ｂの重心を基準として外側に拡げるように輪郭の位置を変位させる。例えば、輪郭変位部１０５ｅは、検出領域Ｂの輪郭を構成する複数の画素の中で、画素値の変化が相対的に大きい輪郭部分ほど検出領域Ｂの重心から離れるように輪郭の位置を変位させる。図６（ｂ）では、検出領域Ｂの変位前の輪郭Ｃ１を一点鎖線で表し、変位後の輪郭Ｃ２を二点鎖線で表している。
このとき、輪郭変位部１０５ｅは、例えば、目の場合には黒目の幅方向の長さから当該黒目が略円形であると仮定して、変位させる輪郭部分の位置や変位度合を決定しても良い。また、輪郭変位部１０５ｅは、画素値の変化が相対的に小さい輪郭部分については、変位させなくても良い。
このようにして、輪郭変位部１０５ｅは、顔構成部Ｐに対応する検出領域Ｂの輪郭を構成する複数の画素について、当該輪郭に沿った全ての画素値の変化が相対的に小さくなるように輪郭の位置を変位させる。

消去部１０５ｆは、顔を含む画像内における顔構成部Ｐを消去する。
すなわち、消去部（消去手段）１０５ｆは、画像取得部１０５ａにより処理対象画像として取得された顔を含む画像の顔領域Ａ１内における検出領域Ｂの輪郭の内側部分を塗り潰して、当該検出領域Ｂに対応する顔構成部Ｐを消去する（図７（ａ）参照）。具体的には、消去部１０５ｆは、顔を含む画像の顔領域Ａ１内にて、輪郭変位部１０５ｅにより変位させられた検出領域Ｂの輪郭の内側部分を塗り潰す。例えば、消去部１０５ｆは、検出領域Ｂの輪郭を構成する複数の画素の画素値を取得して、当該複数の画素の画素値を用いて輪郭から検出領域Ｂの重心に向かって輪郭の内側部分を塗り潰す処理を行う。図７（ａ）では、検出領域Ｂを変位させた一対の目並びに口が塗り潰され、検出領域Ｂを変位させていない鼻が塗り潰されていない状態を模式的に表している。
なお、所定の範囲を塗り潰す処理は、公知の技術であるので、ここでは詳細な説明を省略する。

ここで、消去部１０５ｆは、顔を含む画像の顔領域Ａ１内で、例えば、一対の目のうち、何れか一方の目（例えば、左目等）の輪郭の内側部分を塗り潰した場合には、他方の目（例えば、右目等）の輪郭の内側部分を塗り潰して、当該一対の目を消去するようにしても良い。すなわち、後述する顔構成部画像Ｄ（図７（ｂ）参照）の配置処理にて、一対の目のうち、何れか一方の目（例えば、左目等）のみが目画像で置換され、他方の目は目画像で置換されないという状態を防止するためである。

配置部１０５ｇは、顔を含む画像内にて、顔構成部Ｐに対応する顔構成部画像Ｄを配置する。
すなわち、配置部（配置手段）１０５ｇは、画像取得部１０５ａにより処理対象画像として取得された顔を含む画像の顔領域Ａ１における、顔構成部Ｐに対応する検出領域Ｂの輪郭の内側に、消去部１０５ｆにより消去された顔構成部Ｐに対応する顔構成部画像Ｄを配置する（図７（ｂ）参照）。具体的には、配置部１０５ｇは、顔を含む画像の顔領域Ａ１内にて、輪郭変位部１０５ｅにより変位させられた検出領域Ｂの輪郭を特定する。また、配置部１０５ｇは、記録部１０４の顔構成部画像データ１０４ｂを参照して、消去部１０５ｆにより消去された顔構成部Ｐに対応する顔構成部画像Ｄ（例えば、顔構成部Ｐとの形状や色の類似度が最も高い顔構成部画像Ｄ等）を取得する。そして、配置部１０５ｇは、特定された検出領域Ｂの輪郭の所定位置（例えば、重心等）に顔構成部画像Ｄの対応する位置（例えば、重心等）を一致させるようにして、当該輪郭の内側に顔構成部画像Ｄを配置する。
なお、顔構成部画像Ｄの配置の手法として、補間対象領域とそれ以外の領域との境界部分や複数の置換画像どうしの境界部分の色や勾配をより自然に変化させた画像を生成するポアソン画像合成（Poisson Image Editing）を用いても良いが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

画像変形部（変形手段）１０５ｈは、配置部１０５ｇにより配置された顔構成部画像Ｄに対して変形処理を施す。
すなわち、画像変形部１０５ｈは、例えば、顔構成部画像Ｄに予め対応付けられている複数の制御点の位置を変位させることで、当該顔構成部画像Ｄを変形させる変形処理を行う。また、画像変形部１０５ｈは、顔構成部検出部１０５ｃにより検出された顔構成部Ｐの所定位置に複数の制御点を設定し、設定された制御点の位置を変位させることで、当該顔構成部Ｐを変形させる変形処理を行う。
なお、変形処理は、公知の技術であるので、ここでは詳細な説明を省略する。

また、画像変形部１０５ｈは、何れの顔構成部Ｐの輪郭を変位させていない場合、投影装置３から投影される映像コンテンツに含まれる投影対象物の顔領域に、顔検出部１０５ｂにより検出された顔領域Ａ１の画像（或いは、顔構成部Ｐのみ）を合成して、当該映像コンテンツと対応付けられている各顔構成部の動き情報（例えば、変形ベクトル等）に基づいて、顔構成部Ｐを変形させる変形処理を行う。一方、少なくとも何れか一の顔構成部Ｐの輪郭を変位させた場合、画像変形部１０５ｈは、投影装置３から投影される映像コンテンツに含まれる投影対象物の顔領域に、配置部１０５ｇにより顔構成部画像Ｄが配置された顔を含む画像を合成して、当該映像コンテンツと対応付けられている各顔構成部の動き情報に基づいて、顔構成部Ｐや顔構成部画像Ｄを変形させる変形処理を行う。
また、画像処理部１０５は、画像変形部１０５ｈによる変形処理が施された顔構成部Ｐや顔構成部画像Ｄを含む画像の画像データを映像データ１０４ａとともに投影装置３に出力する。

第１Ｉ／Ｆ１０６は、撮像装置２と接続され、当該撮像装置２との間でデータ送受信を行うためのインターフェースである。

撮像装置２は、スクリーン５を見ている聴衆Ｏを撮像するための撮像手段である。撮像装置２は、スクリーン５の直上に、その光軸方向がスクリーン５の面に垂直な方向となるように配置され、画像処理装置１からの指示に従って、スクリーン５の前面方向を撮像し、得られた撮像画像を第１Ｉ／Ｆ１０６を介して画像処理装置１に送信する。

第１Ｉ／Ｆ１０７は、投影装置３と接続され、当該投影装置３との間でデータ送受信を行うためのインターフェースである。

投影装置３は、例えば、画像処理装置１から送信された投影画像に基づいてスクリーン５の背面から映像コンテンツを投影する背面投射型の投影装置３である。投影装置３は、例えば、投影画像に基づいて、アレイ状に配列された複数個（例えば、ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影画像における投影対象物の領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、投影対象物のみをスクリーン５に投影することが可能となる。

また、投影装置３は、画像処理部１０５から出力された画像変形部１０５ｈによる変形処理が施された顔構成部Ｐや顔構成部画像Ｄを含む画像の画像データ及び映像コンテンツの映像データ１０４ａが第１Ｉ／Ｆ１０７を介して入力されると、映像コンテンツに含まれる投影対象物の顔領域内にて顔構成部Ｐや顔構成部画像Ｄが当該コンテンツの内容に応じて変形するような（例えば、口画像をリップシンクさせたり、目画像や眉画像等により表情を変化させるような）映像コンテンツを投影する。

スクリーン５は、支持台５１により床面に垂直になるように支持され、投影装置３の出力光照射方向に配置されている。
また、スクリーン５は、図１に示すように、投影対象物の形状に成型された透明アクリル板等の基材５２の前面上側に背面投影用のスクリーンフィルム５３が貼付され、下側に投影対象物の下半身が印刷されたフィルム５４が貼付されて構成されている。
なお、本実施形態においては、投影システム１００は投影対象物の上半身の映像コンテンツをスクリーン５に投影する構成としているが、一例であってこれに限られるものではなく、例えば、スクリーン５の基材５２の全面に背面投影用のスクリーンフィルム５３を貼付した構成とし、投影対象物の全身の映像コンテンツをスクリーン５に投影することとしても良い。

第３Ｉ／Ｆ１０８は、スピーカ４と接続され、当該スピーカ４との間でデータ送受信を行うためのインターフェースである。

スピーカ４は、中央制御部１０１から出力されて第３Ｉ／Ｆ１０８を介して入力された指示に応じて、所定の音声データ（例えば、映像データ１０４ａに含まれる音声データ等）を音声信号に変換して出力する。

＜投影処理＞
次に、投影システム１００による投影処理について、図４〜図７を参照して説明する。
図４は、投影処理に係る動作の一例を示すフローチャートである。

図４に示すように、先ず、撮像装置２は、聴衆Ｏを撮像して顔を含む画像（例えば、顔のみの画像や胸から上の画像等）を生成し、画像処理装置１の画像取得部１０５ａは、生成された撮像画像の画像データの複製を処理対象画像として取得する（ステップＳ１）。例えば、撮像装置２は、スピーカ４から発せられる音声案内にしたがって、所定のタイミングで聴衆Ｏの撮像を行う。
次に、顔検出部１０５ｂは、画像取得部１０５ａにより取得された処理対象画像の画像データに対して所定の顔検出処理を行って、顔が含まれる顔領域Ａ１（図６（ａ）参照）を検出する（ステップＳ２）。続けて、画像処理部１０５は、顔検出部１０５ｂにより顔領域Ａ１が検出されたか否かを判定する（ステップＳ３）。

ステップＳ３にて、顔領域Ａ１が検出されていないと判定されると（ステップＳ３；ＮＯ）、画像処理部１０５は、処理をステップＳ２に戻し、所定の時間間隔毎に顔検出処理を行う。
一方、ステップＳ３にて、顔領域Ａ１が検出されたと判定されると（ステップＳ３；ＹＥＳ）、画像処理部１０５は、投影される映像コンテンツに合成される顔画像を特定する顔画像特定処理（図５参照）を行う（ステップＳ４）。
以下に、顔画像特定処理について、図５を参照して詳細に説明する。

＜顔画像特定処理＞
図５は、顔画像特定処理に係る動作の一例を示すフローチャートである。
なお、図６（ａ）〜図７（ｂ）は、顔画像特定処理に係る画像の一例を模式的に示す図であり、これらに限られるものではなく、適宜任意に変更可能である。

図５に示すように、先ず、顔構成部検出部１０５ｃは、顔検出処理により検出された処理対象画像内の顔領域Ａ１から、所定の検出処理（例えば、ＡＡＭ等）を用いて、例えば、左右各々の目、鼻、口、眉、顔輪郭等の顔構成部Ｐを検出する（ステップＳ１１）。

次に、画像処理部１０５は、顔構成部検出部１０５ｃにより検出された顔構成部Ｐの中で、何れか一の顔構成部Ｐ（例えば、右目等）を指定する（ステップＳ１２）。そして、輪郭状態検出部１０５ｄは、指定された顔構成部Ｐに対応する検出領域Ｂの輪郭に沿って当該輪郭を構成する各画素の画素値（例えば、輝度値等）を探索して、画素値の変化（例えば、テクスチャの変化等）を検出する（ステップＳ１３）。
続けて、輪郭変位部１０５ｅは、輪郭状態検出部１０５ｄによる検出結果に基づいて、検出領域Ｂの輪郭に画素値の変化が相対的に大きい輪郭部分が含まれているか否かを判定する（ステップＳ１４）。

ステップＳ１４にて、画素値の変化が相対的に大きい輪郭部分が含まれていると判定されると（ステップＳ１４；ＹＥＳ）、輪郭変位部１０５ｅは、検出領域Ｂを構成する複数の画素の位置座標の平均値を重心として算出して特定する（ステップＳ１５）。続けて、輪郭変位部１０５ｅは、検出領域Ｂの輪郭を構成する複数の画素の中で、画素値の変化が相対的に大きい輪郭部分（例えば、黒目の部分と白目の部分とに跨がっている上瞼側の部分等）を、特定された検出領域Ｂの重心を基準として外側に拡げるように輪郭の位置を変位させる（ステップＳ１６）。
その後、画像処理部１０５は、処理をステップＳ１３に戻し、上記と略同様に、輪郭状態検出部１０５ｄは、検出領域Ｂの変位後の輪郭の画素値の変化を検出し（ステップＳ１３）、輪郭変位部１０５ｅは、検出領域Ｂの輪郭に画素値の変化が相対的に大きい輪郭部分が含まれているか否かを判定する（ステップＳ１４）。

ステップＳ１４にて、画素値の変化が相対的に大きい輪郭部分が含まれていないと判定されると（ステップＳ１４；ＮＯ）、画像処理部１０５は、輪郭変位部１０５ｅにより検出領域Ｂの輪郭が変位されているか否かを判定する（ステップＳ１７）。
ここで、輪郭変位部１０５ｅにより検出領域Ｂの輪郭が変位されていると判定されると（ステップＳ１７；ＹＥＳ）、消去部１０５ｆは、処理対象画像としての顔を含む画像内にて、輪郭変位部１０５ｅにより変位させられた検出領域Ｂの輪郭の内側部分を塗り潰して、当該検出領域Ｂに対応する顔構成部Ｐを消去する（ステップＳ１８；図７（ａ）参照）。

次に、配置部１０５ｇは、記録部１０４の顔構成部画像データ１０４ｂを参照して、消去部１０５ｆにより消去された顔構成部Ｐに対応する顔構成部画像Ｄを取得し、処理対象画像としての顔を含む画像における検出領域Ｂの輪郭の内側に、取得された顔構成部画像Ｄを配置する（ステップＳ１９；図７（ｂ）参照）。
続けて、画像変形部１０５ｈは、顔構成部画像Ｄに予め対応付けられている複数の制御点の位置を取得して、当該複数の制御点を変形処理に用いられる制御点として登録する（ステップＳ２０）。

次に、画像処理部１０５は、顔構成部検出部１０５ｃにより検出された全ての顔構成部Ｐについて処理したか否かを判定する（ステップＳ２１）。
ここで、全ての顔構成部Ｐについて処理していないと判定されると（ステップＳ２１；ＮＯ）、画像処理部１０５は、処理をステップＳ１２に戻し、それ以降の各処理を実行する。

一方、ステップＳ１７にて、輪郭変位部１０５ｅにより輪郭が変位されていないと判定されると（ステップＳ１７；ＮＯ）、画像変形部１０５ｈは、検出された顔構成部Ｐの所定位置に複数の制御点を設定し、当該複数の制御点を変形処理に用いられる制御点として登録する（ステップＳ２２）。
その後、画像処理部１０５は、処理をステップＳ２１に移行して、顔構成部検出部１０５ｃにより検出された全ての顔構成部Ｐについて処理したか否かを判定する（ステップＳ２１）。

上記の各処理は、ステップＳ２１にて、全ての顔構成部Ｐについて処理したと判定（ステップＳ２１；ＹＥＳ）されるまで繰り返し実行される。
ステップＳ２１にて、全ての顔構成部Ｐについて処理したと判定されると（ステップＳ２１；ＹＥＳ）、画像処理部１０５は、顔画像特定処理を終了する。

図４に戻り、画像処理部１０５は、記録部１０４から指定されている映像コンテンツの映像データ１０４ａを読み出して取得する（ステップＳ５）。ここで、映像コンテンツは、ユーザによる操作入力部１０２の所定操作に基づいて所望の映像コンテンツが中央制御部１０１のＣＰＵにより予め指定されるようになっているが、例えば、聴衆Ｏが選択可能な複数の映像コンテンツを用意しておき、聴衆Ｏが所望の映像コンテンツを選択して指定するような構成としても良い。

次に、画像変形部１０５ｈは、変形処理により顔構成部Ｐや顔構成部画像Ｄを変形させた画像の画像データを生成し、画像処理部１０５は、画像変形部１０５ｈにより生成された画像データを映像コンテンツの映像データ１０４ａとともに、第１Ｉ／Ｆ１０７を介して投影装置３に出力する（ステップＳ６）。
そして、投影装置３は、第１Ｉ／Ｆ１０７を介して入力された映像コンテンツの映像データ１０４ａ及び画像変形部１０５ｈにより生成された画像データに基づいて、映像コンテンツの内容に応じて投影対象物の顔を変形させるようにして映像コンテンツをスクリーン５に投影する（ステップＳ７）。具体的には、投影装置３は、例えば、映像コンテンツに含まれる投影対象物の顔領域内にて顔構成部Ｐや顔構成部画像Ｄをリップシンクさせたり表情を変化させるように変形させた映像コンテンツを投影する。

次に、画像処理装置１にあっては、中央制御部１０１のＣＰＵは、投影装置３による映像コンテンツの投影が終了したか否かを判定する（ステップＳ８）。
ここで、映像コンテンツの投影が終了していないと判定（ステップＳ８；ＮＯ）、中央制御部１０１のＣＰＵは、当該判定処理を所定の時間間隔毎に行う。
一方、映像コンテンツの投影が終了したと判定されると（ステップＳ８；ＹＥＳ）、中央制御部１０１のＣＰＵは、当該投影処理を終了させる。

以上のように、本実施形態の投影システム１００によれば、顔画像から検出された顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値の変化を検出し、当該検出結果に基づいて、検出領域Ｂの輪郭を変位させるので、顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値を用いて当該検出領域Ｂの輪郭の位置を調整することができる。具体的には、検出領域Ｂの輪郭の画素値の変化が相対的に大きい部分を、当該検出領域Ｂの所定位置を基準として外側に拡げるように輪郭を変位させるので、顔構成部Ｐの誤検出により検出領域Ｂの輪郭（例えば、目に対応する検出領域Ｂの変位前の輪郭Ｃ１）に画素値の変化が相対的に大きい部分が含まれていても、変位後の検出領域Ｂの輪郭（例えば、目に対応する検出領域Ｂの変位後の輪郭Ｃ２）の画素値の変化を相対的に小さくすることができる。結果として、顔画像からの顔構成部Ｐの検出を適正に行うことができる。
これにより、顔構成部Ｐや顔構成部Ｐに対応する顔構成部画像Ｄに対する変形処理にて、当該顔構成部Ｐや顔構成部画像Ｄとの境界部分の表現を適正に行うことができ、例えば、変形処理が施された顔構成部Ｐや顔構成部画像Ｄをスクリーン５に投影した場合に、リップシンクや表情の表現をより自然なものとすることができる。

また、顔画像内で検出領域Ｂの輪郭の内側部分を塗り潰して、当該検出領域Ｂに対応する顔構成部Ｐを消去する処理にて、輪郭を変位させた検出領域Ｂを用いることで、当該検出領域Ｂに対応する顔構成部Ｐの境界部分の表現を適正に行うことができる。特に、検出領域Ｂの輪郭の内側部分を当該輪郭の画素値を用いて塗り潰すことで、検出領域Ｂに対応する顔構成部Ｐを消去するので、顔構成部Ｐが消去された顔画像にて本来顔構成部Ｐが存するべき部分とそれ以外の部分との境界部分の表現を適正に行うことができる。
さらに、顔画像における顔構成部Ｐに対応する検出領域Ｂの輪郭の内側に、消去された顔構成部Ｐに対応する顔構成部画像Ｄを配置するので、顔画像からの顔構成部Ｐの検出精度が低い場合であっても、検出領域Ｂに対応する顔構成部Ｐを消去して、当該顔構成部Ｐに対応する顔構成部画像Ｄを配置することで、当該顔構成部画像Ｄを利用して変形処理を行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、スクリーン５に映像を投影する投影システム１００を例示したが、一例であってこれに限られるものではなく、投影装置３を備えずに画像処理装置１単体から構成されていても良い。

また、上記実施形態では、画像処理装置１は、顔を含む画像内で検出領域Ｂに対応する顔構成部Ｐを消去するようにしたが、一例であってこれに限られるものではなく、必ずしも顔構成部Ｐを消去する消去部１０５ｆを具備する必要はない。
さらに、画像処理装置１は、消去された顔構成部Ｐに対応する顔構成部画像Ｄを配置するようにしたが、一例であってこれに限られるものではなく、必ずしも顔構成部画像Ｄを配置する配置部１０５ｇを具備する必要はない。
また、画像処理装置１は、顔構成部Ｐや顔構成部画像Ｄに対して変形処理を施すようにしたが、一例であってこれに限られるものではなく、必ずしも顔構成部Ｐや顔構成部画像Ｄを変形する画像変形部１０５ｈを具備する必要はない。

加えて、上記実施形態にあっては、取得手段、第一の検出手段、第二の検出手段、変位手段としての機能を、画像処理装置１の中央制御部１０１の制御下にて、画像取得部１０５ａ、顔構成部検出部１０５ｃ、輪郭状態検出部１０５ｄ、輪郭変位部１０５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、第一の検出処理ルーチン、第二の検出処理ルーチン、変位処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０１のＣＰＵを、顔画像を取得する手段として機能させるようにしても良い。また、第一の検出処理ルーチンにより中央制御部１０１のＣＰＵを、取得された顔画像から顔を構成する顔構成部Ｐを検出する手段として機能させるようにしても良い。また、第二の検出処理ルーチンにより中央制御部１０１のＣＰＵを、検出された顔構成部Ｐに対応する検出領域Ｂの輪郭の画素値の変化を検出する手段として機能させるようにしても良い。また、変位処理ルーチンにより中央制御部１０１のＣＰＵを、検出領域Ｂの輪郭の画素値の変化の検出結果に基づいて、前記検出領域Ｂの輪郭を変位させる手段として機能させるようにしても良い。

同様に、消去手段、配置手段、変形手段についても、中央制御部１０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段と、
前記第一の検出手段により検出された顔構成部に対応する検出領域の輪郭の画素値の変化を検出する第二の検出手段と、
前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭を変位させる変位手段と、
を備えたことを特徴とする顔画像処理装置。
＜請求項２＞
前記変位手段は、更に、
前記第二の検出手段により検出された前記検出領域の輪郭の画素値の変化が相対的に大きい部分を、当該検出領域の所定位置を基準として外側に拡げるように輪郭を変位させることを特徴とする請求項１に記載の顔画像処理装置。
＜請求項３＞
前記顔画像内における前記検出領域の輪郭の内側部分を塗り潰して、当該検出領域に対応する顔構成部を消去する消去手段を更に備えることを特徴とする請求項１又は２に記載の顔画像処理装置。
＜請求項４＞
前記消去手段は、更に、
前記検出領域の輪郭の内側部分を当該輪郭の画素値を用いて塗り潰すことで、前記検出領域に対応する顔構成部を消去することを特徴とする請求項３に記載の顔画像処理装置。
＜請求項５＞
前記顔構成部は、一対の目を含み、
前記消去手段は、更に、
前記顔画像内で、前記一対の目のうち、何れか一方の目の輪郭の内側部分を塗り潰した場合には、他方の目の輪郭の内側部分を塗り潰して、当該一対の目を消去することを特徴とする請求項３又は４に記載の顔画像処理装置。
＜請求項６＞
前記顔画像における前記顔構成部に対応する検出領域の輪郭の内側に、前記消去手段により消去された顔構成部に対応する顔構成部画像を配置する配置手段を更に備えることを特徴とする請求項３〜５の何れか一項に記載の顔画像処理装置。
＜請求項７＞
請求項６に記載の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、
前記顔画像処理装置は、
前記第一の検出手段により検出された顔構成部及び前記配置手段により配置された顔構成部画像に対して変形処理を施す変形手段を更に備え、
前記投影装置は、
前記変形手段により変形処理が施された顔構成部及び顔構成部画像を前記スクリーンに投影することを特徴とする投影システム。
＜請求項８＞
顔画像処理装置を用いた画像処理方法であって、
顔画像を取得する処理と、
取得された顔画像から顔を構成する顔構成部を検出する処理と、
検出された顔構成部に対応する検出領域の輪郭の画素値の変化を検出する処理と、
前記検出領域の輪郭の画素値の変化の検出結果に基づいて、前記検出領域の輪郭を変位させる処理と、
を含むことを特徴とする画像処理方法。
＜請求項９＞
顔画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段、
前記第一の検出手段により検出された顔構成部に対応する検出領域の輪郭の画素値の変化を検出する第二の検出手段、
前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭を変位させる変位手段、
として機能させることを特徴とするプログラム。

１００ 投影システム
１ 画像処理装置
１０１ 中央制御部
１０５ 画像処理部
１０５ａ 画像取得部
１０５ｃ 顔構成部検出部
１０５ｄ 輪郭状態検出部
１０５ｅ 輪郭変位部
１０５ｆ 消去部
１０５ｇ 配置部
１０５ｈ 画像変形部
２ 撮像装置
３ 投影装置

Claims (9)

1. 顔画像を取得する取得手段と、
   前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段と、
   前記第一の検出手段により検出された顔構成部に対応する検出領域の連続する輪郭線上の画素値の変化を検出する第二の検出手段と、
   前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる変化手段と、
   を備えたことを特徴とする顔画像処理装置。
2. 前記変化手段は、更に、
   前記第二の検出手段により検出された前記検出領域の輪郭の画素値の変化が相対的に大きい部分を、当該検出領域の所定位置を基準として外側に拡げるように輪郭を変位させることを特徴とする請求項１に記載の顔画像処理装置。
3. 前記顔画像内における前記検出領域の輪郭の内側部分を塗り潰して、当該検出領域に対応する顔構成部を消去する消去手段を更に備えることを特徴とする請求項１又は２に記載の顔画像処理装置。
4. 前記消去手段は、更に、
   前記検出領域の輪郭の内側部分を当該輪郭の画素値を用いて塗り潰すことで、前記検出領域に対応する顔構成部を消去することを特徴とする請求項３に記載の顔画像処理装置。
5. 前記顔構成部は、一対の目を含み、
   前記消去手段は、更に、
   前記顔画像内で、前記一対の目のうち、何れか一方の目の輪郭の内側部分を塗り潰した場合には、他方の目の輪郭の内側部分を塗り潰して、当該一対の目を消去することを特徴とする請求項３又は４に記載の顔画像処理装置。
6. 前記顔画像における前記顔構成部に対応する検出領域の輪郭の内側に、前記消去手段により消去された顔構成部に対応する顔構成部画像を配置する配置手段を更に備えることを特徴とする請求項３〜５の何れか一項に記載の顔画像処理装置。
7. 請求項６に記載の顔画像処理装置と、スクリーンに顔画像を投影する投影装置と、を備えた投影システムであって、
   前記変化手段は、前記第一の検出手段により検出された顔構成部及び前記配置手段により配置された顔構成部画像に対して変形処理を施す変形手段を含み、
   前記投影装置は、
   前記変形手段により変形処理が施された顔構成部及び顔構成部画像を前記スクリーンに投影することを特徴とする投影システム。
8. 顔画像処理装置を用いた画像処理方法であって、
   顔画像を取得する処理と、
   得された顔画像から顔を構成する顔構成部を検出する処理と、
   検出された顔構成部に対応する検出領域の連続する輪郭線上の画素値の変化を検出する処理と、
   前記検出領域の輪郭の画素値の変化の検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる処理と、
   を含むことを特徴とする画像処理方法。
9. 顔画像処理装置のコンピュータを、
   顔画像を取得する取得手段、
   前記取得手段により取得された顔画像から顔を構成する顔構成部を検出する第一の検出手段、
   前記第一の検出手段により検出された顔構成部に対応する検出領域の連続する輪郭線上の画素値の変化を検出する第二の検出手段、
   前記第二の検出手段による検出結果に基づいて、前記検出領域の輪郭線の形状又は位置を変化させる変化手段、
   として機能させることを特徴とするプログラム。

Images