JP2004054759A

JP2004054759A - 表情変形装置、方法及びプログラム

Info

Publication number: JP2004054759A
Application number: JP2002213979A
Authority: JP
Inventors: Shotaro Miwa; 三輪　祥太郎; Kazuo Hajima; 羽島　一夫
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-07-23
Filing date: 2002-07-23
Publication date: 2004-02-19

Abstract

【課題】エッジの発生や不自然な変形を抑える表情変形を少ない計算機負荷で可能にする。
【解決手段】表情変形において、顔画像のデジタルデータを受け取り、入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定する。さらに、顔画像の顔パーツに対して、前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定し、設定された変形領域の内部に、前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定する。制御線の移動量を受け取ると、その移動量に基いて変形領域内で制御線を移動し、画像処理により補間する。
【選択図】　　　　図１１

Description

【０００１】
【発明の属する技術分野】
本発明は、人物の画像において、人の顔の表情を変形する技術に関する。
【０００２】
【従来の技術】
デジタル化された画像データに対して種々の画像処理が可能である。撮影された人の顔の画像データについても、顔の表情を変形したい場合がある。たとえば、変な顔をして撮影されてしまったときに好ましい画像に変更したい場合がある。また、撮影画像を基に部分的変形などの処理をしたい場合がある。そこで、顔の表情を変形する手法が提案されている。表情は、目尻の上げ下げ、口の両端の上げ下げ、口の開閉、拡大などにより変形できる。
【０００３】
人の顔の表情を変形する手法として、コンピュータグラフィックスを用いるものがある。たとえば特開平１１−１６７６２６号公報に記載された画像処理手法（図３参照）では、ポリゴンによるモデル化を行い、ポリゴンの各頂点の移動とテキスチャマッピングを組み合わせる。この手法では、まず顔のパーツ（目、眉、口など）ごとに変形領域を設定し、口の場合は、まずその左右端（ｘ＝ｘ_０、ｘ＝ｘ_１）での垂直（ｙ）方向の移動量を決め、左右端の間（ｘ_０≦ｘ≦ｘ_１）のピクセルについては口の中心（ｘ＝（ｘ_０−ｘ_１）／２）での移動量が０になるような二次方程式（ｙ＝ａｘ^２＋ｂ）を求め、この式を用いて移動量を計算する。そして、変形領域内のピクセルに対し、ｘ座標ごとに移動量を計算し、この移動量を用いて変形領域内のピクセルをｙ方向に平行移動させる。目と眉の場合は、片目（眉）ごとにその左右端での変形量を決め、間のピクセルについては両端での値を線形補間して移動量を求める。そして、この移動量を用いて、変形領域内のピクセルをそのｘ座標に基づいてｙ方向に移動させる。最後に、移動されたピクセルをその色で新しい座標（ｘ、ｙ）で元の顔画像に上書きする。
【０００４】
この手法では、一般的に顔全体（顔全体のポリゴンデータと顔全体のテキスチャデータ）に対して処理が必要である。したがって、テキスチャマッピング処理の計算量が多く、また、標準のポリゴンモデルからユーザのモデルを生成するために、標準ポリゴンの各頂点を移動させるフィッティングプロセスが必要となる。したがって、計算機負荷が大である。さらに、次のような問題がある。変形領域がパーツごとに固定される。また、元顔画像に上書きするため、エッジが生じる。また、実際の人の表情変形の過程を考慮してないため、不自然さが残る。また、変形後の画像に顔パーツを垂直方向に移動させるだけである。また、弾性体である顔パーツが引き延ばされるような変形ができない。
【０００５】
一方、特開２００１−１５５１７４号公報に記載された画像処理手法（図９（ａ）、８（ｂ）参照）は、顔のパーツごとに変形領域を設定し、この変形領域をその各頂点を移動させることで変形させる。変形後の変形領域の内部のピクセルの値を補間計算により求める。こうして、表情が変形された顔画像が得られる。この手法は、顔パーツの含まれる変形領域のみを処理対象として表情合成を簡便に行える。このため、計算機の負荷が小さい。
【０００６】
【発明が解決しようとする課題】
前述の特開２００１−１５５１７４号公報に記載された画像処理手法では、計算機負荷は軽減されるが、次のような問題がある。変形領域の変形（拡大・縮小）により顔パーツを変形させるが、変形領域がパーツごとに固定されている。変形した変形領域を元顔画像に上書きするため、変形後の境界部分が周囲のテキスチャと異なり、境界部分でエッジが生じる。変形領域の変形手法が実際の人の表情変形の過程を考慮してないため、ともすると変形に不自然さが残る。矩形の端点を動かし領域内を補間することで表情変形を行っており、領域内の目眉口は不自然に変形される。
【０００７】
この発明の目的は、エッジの発生や不自然な変形を抑えつつ少ない計算機負荷で表情変形を可能にすることである。
【０００８】
【課題を解決するための手段】
本発明に係る表情変形装置は、顔画像のデジタルデータを受け取る顔画像入力手段と、顔画像入力手段により入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定する顔特徴量入力手段と、顔画像の顔パーツに対して、顔特徴量設定手段により入力された前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定する変形領域設定手段と、変形領域設定手段により設定された変形領域の内部に、顔特徴量設定手段により入力された前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定する制御線設定手段と、制御線の移動量を受け取る移動量入力手段と、移動量入力手段により入力された制御線の移動量に基いて変形領域内で制御線を移動し、制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正する修正手段とからなる。
【０００９】
本発明に係る表情変形方法は、顔画像のデジタルデータを受け取るステップと、入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定するステップと、顔画像の顔パーツに対して、前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定するステップと、設定された変形領域の内部に、前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定するステップと、制御線の移動量を受け取るステップと、前記の制御線の移動量に基いて変形領域内で制御線を移動するステップと、制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正するステップとからなる。
【００１０】
本発明に係る表情変形プログラムは、顔画像のデジタルデータを受け取るステップと、入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定するステップと、顔画像の顔パーツに対して、前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定するステップと、設定された変形領域の内部に、前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定するステップと、制御線の移動量を受け取るステップと、前記の制御線の移動量に基いて変形領域内で制御線を移動するステップと、制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正するステップとをコンピュータにより実行させるための表情変形プログラムである。
【００１１】
前記の表情変形プログラムにおいて、前記のピクセル値を修正するステップにおいて、たとえば、移動後の制御線の位置を用いて変形領域内でのピクセル位置の移動を表わす関係式を用いて、移動後のピクセル位置のピクセル値を、当該ピクセル位置に対応する移動前のピクセル位置のピクセル値とする。
【００１２】
好ましくは、前記の表情変形プログラムにおいて、さらに、前記の移動量を受け取るステップにおいて受け取った変形量がしきい値を越えるとき、設定された前記の変形領域の大きさを変化させるステップを備える。
【００１３】
好ましくは、前記の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、１つの顔パーツについて２つの隣接する変形領域を設定する。
【００１４】
好ましくは、前記の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、隣接する複数の顔パーツについて１つの変形領域を設定する。
【００１５】
好ましくは、前記の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、さらに、前記の顔パーツを含む変形領域に、制御線の移動方向に垂直な方向に隣接して、顔パーツを含まない変形領域を追加して設定する。そして、前記の制御線を設定するステップにおいて、前記の顔パーツを含まない変形領域内の制御線を前記の顔パーツを含む変形領域内の制御線に連続して設定する。
【００１６】
好ましくは、前記の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、さらに、前記の顔パーツを含む変形領域に、制御線の移動方向に垂直な方向に隣接して、顔パーツを含まない変形領域を追加して設定する。そして、前記の制御線を設定するステップにおいて、前記の顔パーツを含まない変形領域内の制御線を前記の顔パーツを含む変形領域内の制御線に連続して設定する。また、前記の制御線の移動量を受け取るステップに並行して、さらに、前記の顔パーツを含む変形領域と前記の顔パーツを含まない変形領域との境界を、前記の制御線の移動方向に垂直な方向に移動する変位量を受け取るステップを備える。さらに、前記の制御線を移動するステップの前に、前記の変位量に基いて前記の変形領域の大きさを変化させるステップを備える。これにより、たとえば口について、制御線の移動方向での変形とそれに垂直な方向の変形とを組み合わせた２次変形が可能となる。
【００１７】
好ましくは、前記の表情変形プログラムにおいて、さらに、前記の制御線を移動するステップの後で、前記の移動された制御線についての形状変形量を受け取るステップと、前記の形状変形量に基いて前記の制御線の形状を変形するステップとを備える。そして、前記の移動後のピクセル値を、変形された制御線を基に求める。たとえば、制御線の形状の変形は、直線的な制御線から２次曲線で表わされる制御線への変形である。
【００１８】
本発明に係る記録媒体は、前記のいずれかの表情変形プログラムを記録した、コンピュータ読出可能な記録媒体である。
なお、この発明の以上に説明した構成要素は、可能な限り組み合わせることができる。
【００１９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
本発明による表情変形手法では、顔画像の表情を変形するとき、顔画像のデジタルデータにおいて顔パーツごとに顔パーツを含む矩形の領域（変形領域という）を設定する。ここで、顔パーツとは、顔の表情に寄与し得る部分であり、目、眉、口などをいう。顔の形状、鼻、耳、頭髪なども含むが、表情の変化を重視する立場からは、除外する場合もある。次に、変形領域内の画像を変形し、変形された変形領域内のピクセルを元の顔画像に上書きする。矩形領域内での変形は表情の生成過程を考慮する。こうして、表情変形画像が得られる。
【００２０】
図１は、表情変形における画像処理の流れを示す。まず、顔画像（デジタルデータ）と顔の特徴のデータを入力する。顔の特徴は、各顔パーツの位置と輪郭に関するものであり、顔パーツをたとえば矩形で囲んだ領域のサイズと顔パーツの形状の定義からなる。次に、顔パーツごとに、顔パーツを含む変形領域を設定する。そして、変形規則と変形量を用いて、変形領域内の画像を変形する画像処理（変形処理）を行う。変形規則は、表情の生成過程を考慮して設定されている。変形量は、ユーザーが入力する。次に、変形した画像を、変形領域外の顔画像と合成する。こうして、表情を変形した画像が生成される。この方法では、ポリゴンとテキスチャを用いた表情変形手法にくらべ、全体的なステップが少なくなる。また、変形領域を顔の特徴量データから計算したパーツごとの変形領域に限るので、計算量も少なくてすむ。したがって、計算機の負荷が小さい。
【００２１】
表情の変形についてさらに説明する前に、人の顔の表情を作り出す筋肉について説明する。図２に示すように、顔面には、表情を作り出す表情筋という筋肉が存在する。表情筋は、主に線状の筋肉と括約筋の２つのタイプに分けられる。両者は種類が異なり、線状の筋肉は筋肉の繊維方向の変形を引き起こし、円状の括約筋は円の中心を基準点とした拡大・縮小の変形を引き起こす。目、眉、口の周囲にある代表的な表情筋として、目の周りには眼輪筋、眉の周りには前頭筋、口の周りには口輪筋という筋肉が存在する。このうち、眼輪筋と口輪筋は括約筋であり、前頭筋は線状の筋肉である。目の場合、構造上、眼輸筋は目周辺の骨と結合しているため、口輪筋とは異なり、本来括約筋の持つ円状の変形はほぼ上下方向の変形として近似できる。すなわち、線状の筋肉により変形する眉と合わせて、目と眉の動きは、上下方向の１次元での動きとして近似できる。
【００２２】
次に、変形規則について説明する。各顔パーツに対応する変形領域内での画像処理では、表情筋の動きを考慮した変形規則を設定しておき、変形量に応じて変形領域内に設定した制御線を動かして表情を変形する。変形規則は、目、眉、口などの顔パーツごとに、変形領域の位置の設定、変形領域内部への制御線の位置の設定および制御線の動きの設定を定めたものである。そして、変形規則と変形量にしたがって変形領域内で制御線を動かす。表情筋の配置と動きを考慮して変形処理を行うので、実際の筋肉の動きと異なるような顔パーツの変形すなわち不自然な表情変形を避けることができ、自然な変形が行われる。
【００２３】
変形領域は、顔特徴量（顔パーツの位置と輪郭）をもとに設定される。顔特徴量は、顔の画像から公知の手法で自動的に抽出される。そこで、顔パーツごとに、顔パーツを含む変形領域が、顔パーツの位置を基に、その部分の筋肉の可動方向と範囲に基づいてあらかじめ設定された関係式を用いて設定される。ここで、表情筋の動きを考慮して、たとえば顔パーツの輪郭に所定の係数を乗ずることにより変形領域を算出する。変形領域の設定には、後で説明するような種々の形態が採用できる。たとえば、眉の場合、１つの変形領域を設定するが、目の場合、好ましくは上下に２つの変形領域を設定する。また、隣接する複数の顔パーツ（眉と目）に対して１つの変形領域を設定することもできる。また、口の場合、変形領域の左右にも別の変形領域を設定し、相互に関連して変形させることも可能である。変形領域の大きさは調整可能としてもよい。顔面の皮膚は１枚の皮であるため、個々の表情筋自体は独立していても、見かけ上お互いの変位が影響し合う。変形領域を大きくとることで、この効果を模擬できる。これらの詳細は後で説明する。
【００２４】
変形領域が設定されると、次に、変形領域ごとに、表情筋の解析に基づいて設定されている変形規則に基き、変形を制御する線分（制御線という）を変形領域内に設定する。制御線はたとえば直線である。なお、制御線は水平方向のベクトルと平行である必要はない。たとえば、眉の場合、眉の位置と傾きを抽出し、それに合うように制御線の位置を設定する。
【００２５】
変形領域内の画像変形は、顔パーツを含む変形領域内に、顔パーツの特徴点の近傍に、変形を制御する線分（制御線という）を設け、制御線を移動することにより行う。すなわち、変形処理では、目の輸郭などの特徴点を直接移動させるのではなく、変形領域内に設定した制御線を移動させる。そして、この制御線の移動に対応してピクセル位置も移動させる。顔パーツの変形は制御線付近で最大となるので、制御線のデフォールト位置は、これを考慮してあらかじめ変形規則において設定しておく。表情変形の大きさは、制御線の移動量（変形量という）できまる。
【００２６】
制御線は、変形領域を２分する位置に設定され、これにより変形領域は２つの部分領域に分けられる。制御線はたとえば直線であるが、それには限らない。制御線を移動すると、２つの部分領域が、それぞれ、境界位置を固定しつつ制御線の方に拡大または縮小され、この部分領域の拡大または縮小に対応して、部分領域内のピクセルの位置が変化する。変形領域内のピクセル位置の移動量は、制御線の付近のピクセルがもっとも大きく、変形領域の境界付近のピクセルでは０である。制御線と境界の間にあるピクセルの位置の移動は、変形規則で定められている。たとえば、境界と制御線の間での位置に応じて線形的に変化するものとする。そして、制御線の移動に対応して、まず移動後の各ピクセル位置（整数）に対する移動前のピクセル位置（一般に実数）を算出するが、存在するピクセル位置は整数であるので、この実数のピクセル位置付近のピクセル値を用いた補間計算により、移動後のピクセル位置を算出する。制御線を移動して、画像を変形するため、顔特徴量として入力される顔パーツの位置に誤差が含まれている場合にも、制御線付近の画素も変形されるので、誤差による不自然な変形が起きる可能性が低い。ピクセル位置の移動量は、変形領域の境界付近では０になるので、変形後の境界部分が周囲のテキスチャと異なることはなく、したがって、境界部分でエッジが生じることはない。また、後で説明するように、２方向での変形などの多様な処理を行うように変形規則を作成できる。
【００２７】
制御線の移動により、制御線の両側の部分領域が拡大または縮小されるので、その拡大に応じてピクセル位置が移動することになる。部分領域の変形を考慮して、移動後のピクセル位置に対応する移動前のピクセル位置を補間により算定する。これにより、変形領域の位置を固定したままでの顔パーツの変形が可能となる。制御線の移動による変形は制御線の位置で最大であり、変形領域の境界部分ではエッジが発生しない。これにより、変形領域内でのエッジのない表情変形が可能となる。
【００２８】
このように制御線を用いて表情変形を実現するが、変形領域内で制御線を動かして顔の表情を変形させるときの表情変形のレベル（変形量）は、たとえばユーザーが入力する。変形量自体、変形のやり方に応じて変わる。たとえば、制御線のパラメータ（制御線の位置と傾き）を調整して制御線の位置を移動させる。また、直線である制御線を２次曲線に変形させてもよい。そして、制御線の両側の部分領域においてピクセル位置を補間計算で求める。制御線の動かし方は、顔パーツの性質に応じて、あらかじめ変形規則に設定されている。その表情変形のレベル（変形効果）は、制御線の移動量により制御する。
【００２９】
たとえば、眉の場合、制御線の左右端の移動量が等しい変形処理を行うことで、眉の上がり下がりの変形が起こり、目の場合、目の開閉が起きる。また、制御線の左右端を自由に動かせることで、制御線が水平でなくなり、眉の上下動に角度変化を加えた変形も可能であり、眉の外側が上がる（下がる）、眉の内側が上がる（下がる）、またその組み合わせといった多様な変形が可能となる。
【００３０】
以上に説明したように、変形領域においてその内部の制御線の移動により表情を変形するので、自然な表情変形が可能になる。たとえば、エッジの生じない表情変形が可能になる。また、制御線の位置が最大変位点となるように非線形な補間をすることで、制御線の位置の調整による微妙な表情変形が可能になる。
【００３１】
さらに、変形規則において制御線の動きを定義可能である。自然さ、おもしろさなどの表情変化に合った変形を、制御線の動きを定義することにより実現できる。後で、２次変形の例を説明する。
【００３２】
次に、制御線の調整のいくつかの例を示す。表情変形において、図３〜図６に示すように、顔画像を表示する表示装置の画面に、変形領域を示す矩形領域とその内部の制御線を表示する。さらに、制御線の両端にボタンを表示する。ユーザーは、ボタンを移動することにより制御線の位置を調整でき、この位置が変形量として設定される。
【００３３】
図３は、眉の変形の例を示す。図の左側に示した画像に、眉を含む変形領域１００を設定し、さらに、その中に制御線１０２を設定する。この例では、図の右側に示すように、ユーザーは、制御線１０２の右端の位置を高く設定する。
【００３４】
図４は、目の変形の例を示す。図の左側に示した画像に、目を含んで設定された変形領域１１０と、その中の制御線１１２を表示する。この例では、図の右側に示すように、ユーザーは、制御線１１２の左端の位置を低く、かつ、右端の位置を高く設定する。
【００３５】
図５は、眉と目の一括変形（第３の実施の形態参照）の例を示す。図の左側に示した画像に、眉と目を含む変形領域１２０を設定し、さらに、その中に制御線１２２を設定する。そして、図の右側に示すように、この例では、ユーザーは、制御線１２２の右端の位置を低くする。
【００３６】
図６は、口の変形の例を示す。図の左側に示した画像に、口を含む変形領域１３０と、その中の制御線１３２を表示する。そして、図の右側に示すように、この例では、ユーザーは、制御線１３２の右端と左端の位置をともに高くし、曲線的に変化させる（第６の実施の形態参照）。
【００３７】
図７は、変形領域１４０と制御線１４２を用いた変形アルゴリズムの１例を示す。この例では、設定した変形領域１４０の内部で制御線１４２の両端を独立して上下動させることで各パーツヘの変形処理が行われる。変形領域１４０は、Ｘ方向にｍピクセル、Ｙ方向にｎピクセルの大きさであるとする。図の左側に変形前の変形領域１４０を示す。制御線１４２は、水平（ｙ＝ｄ）に設定されている。移動後は、制御線１４２の位置は、左端でｙ＝ｄ＋ａ、右端でｙ＝ｄ＋ｂである。この例では、ユーザーにより設定されたａとｂが変形量である。制御線は変形領域を２分して２つの部分領域としており、制御線の移動により、２つの部分領域が拡大または縮小され、したがって、各部分領域内のピクセル位置も移動する。変形規則において、移動後の制御線の位置に基いて変形領域内でのピクセル位置の移動を表わす関係式を定めておく。この例では、変形後の部分領域１４０Ｂにおけるピクセルの座標値（ｉ，ｊ）から、逆計算により変形前の部分領域１４０Ａのピクセル位置（ｙ，ｊ）を求めると、変形後の位置（ｉ，ｊ）に対応する変形前のＹ方向の位置ｙは次のように表わせる。
ｙ＝ｄ／（ｄ＋ｄ’）＊ｊ
ここに、ｄ’＝ａ＋（ｂ−ａ）＊（ｉ／ｎ）
同様に、変形前の部分領域１４０Ｃのピクセル位置（ｙ，ｊ）も、変形後の部分領域１４０Ｄにおけるピクセルの座標値（ｉ，ｊ）から逆計算により求めることができる。そして、移動後のピクセル位置のピクセル値を、対応する移動前のピクセル位置のピクセル値とする。なお、ここでは、計算量の少ない線形補間を用いたが、他の補間法を用いてもよい。また、ピクセル位置により重みを変化させてもよい。これにより表情変形の程度を多様に表現できる。
【００３８】
図８は、表情変形装置の構成を図式的に示す。この構成は、通常のコンピュータと同様である。表情変形装置は、全体を制御するＣＰＵ１０を中心として構成される。ＣＰＵ１０は、バスを介して、プログラムなどを記憶するＲＯＭ１２と、データなどを記憶するＲＡＭ１４に接続され、また、フレキシブルディスク（ＦＤ）１６、ハードデイスク（ＨＤ）２０、ＣＤ−ＲＯＭ２４をそれぞれ記録媒体とするフレキシブルディスク装置１８、ハードデイスク装置２２、ＣＤ−ＲＯＭ装置２６に接続される。さらに、ＣＰＵ１０は、各種画面などを表示するモニター装置２８や、各種入力、指示操作などを行うための入力手段であるキーボード３０とマウス３２、画像を読み取るスキャナ３４に接続される。さらに、ＵＳＢインタフェース３６を介して、外部のデジタルカメラ３８、ビデオカメラ（図示しない）などに接続可能である。ここで、ハードディスク２０には、オペレーションシステムプログラムのほか、後で説明する表情変形プログラム（変形規則を含む）などのアプリケーションが記憶される。デジタル画像としての顔画像は、たとえば、スキャナ３４、デジタルカメラ３８などから入力される。また、通信装置４０からネットワークを通して他のコンピュータなどから受け取ってもよい。表情変形プログラムにおいて用いられる顔特徴量、変形領域、変形量などのデータは、ＲＡＭ１４に記憶され、必要ならハードディスク２０などの他の記憶媒体に記憶される。
【００３９】
図９は、表情変形が可能なデジタル携帯電話の構成を図式的に示す。携帯電話の送受信の構成は公知のものを採用する。たとえば、送信の際は、マイク５０からの信号は音声コーデック部５２においてデジタル化され、符号化され、フレーム処理部５４においてフレーム単位のデータに変換される。デジタル変復調部５６は、フレーム処理部５４からの信号を変調し、増幅してアンテナ５８に送る。受信の際は、デジタル変復調部５６は、アンテナ５８からの信号をデジタル信号に復調し、フレーム処理部５４は、デジタル変復調部５６から受け取った信号をもとのデジタル信号とする。音声コーデック部５２は、フレーム処理部５４からの音声信号を符号化し、スピーカー６０に送る。ＣＰＵ６２を含む制御部６４は、メモリ６６のプログラムに基いて、送受信制御のため、これらの処理部に各種制御信号を送る。また、フレーム処理部５４から映像信号を受け取り、画像メモリ６８に記憶し、液晶表示装置などの表示部７０に表示する。ウェブブラウザ、電子メールソフトなどのプログラムや表情変形プログラムは、メモリ６６に記憶される。
【００４０】
また、図１０にカメラを内蔵した携帯電話の構成を図式的に示す。この携帯電話はカメラを内蔵している。カメラ制御部７２は、ＣＰＵ６２からの制御情報により動作して、カメラインタフェース７４を介して内蔵カメラ７６を制御する。内蔵カメラ７６で撮像された画像データは、カメラインタフェース７４から直接にデータバスを介してメモリ６６に送られる。それ以外の要素については、図９と同じ処理を行う。
【００４１】
表情変形処理について説明すると、たとえば、デジタルカメラなどで撮影された写真画像などの顔画像を電子メールで受信すると、画像メモリ６８に記憶し、表示部７０の画面に表示する。ユーザーは、表情変形プログラムを起動して、画像メモリ６８に記憶した顔画像の表情変形処理を行える。内蔵のカメラ７６で撮像した場合も、メモリ６６から撮像画像データを取り出して表情変形処理することが可能である。また、内蔵カメラ７６で撮像した画像も、いったん画像メモリ６８に保存した場合には、受信した画像データと同じ処理を行うことになる。
【００４２】
以下に表情変形処理の実施の形態について説明する。
第１の実施の形態
図１１は、第１の実施の形態における表情変形プログラムのフローチャートである。ここでは、図８に示す表情変形装置のＣＰＵ１０の制御として説明する。（図９に示す制御部６４による制御も同様であるが、説明の重複を避けるため説明を省略する。）表情変形プログラムが起動されると、まず、デジタル画像である顔画像を入力する（Ｓ１０）。顔画像は、たとえば、スキャナ３４やデジタルカメラ３８から入力される。なお、顔画像はモニタ装置２８の画面に表示されるが、複数人を含む画像の場合、その中の１人を指定する操作が必要である。画像入力の際に、指定が求められると、操作者が変形対象の顔画像を指定する。次に、顔の特徴量を入力する（Ｓ１２）。顔特徴量は、顔パーツの位置と顔パーツの形状の定義からなる。公知の画像処理により顔画像データから顔画像を抽出し、さらに、変形対象となる目などの顔パーツの位置と輪郭（形状）を自動的に抽出する。顔パーツの位置と輸郭の情報を顔特徴量とする。ただし、顔特徴量は、マニュアルによる入力も可能ではある。
【００４３】
次に、顔パーツごとに、顔特徴量より変形規則により顔パーツを囲む矩形の変形領域を算出する（Ｓ１４）。変形領域は、顔パーツを含むと共に、その周囲の補間領域を含む矩形の領域である。顔特徴量として入力された顔パーツの位置と形状から、予め設定されている関係式を用いて変形領域を設定する。変形領域位置の設定では、顔パーツの変形は変形領域内で制御線が移動できる範囲に限られるので、これを考慮して、顔特徴量として得られた顔パーツの領域を内部に含んだ変形領域を算出する。具体的には、たとえば眉の場合は、変形領域は、顔特徴量として得られた眉領域より所定の因子分だけ広げたエリアを設定する。
【００４４】
次に、各変形領域において制御線の位置を算出する（Ｓ１６）。ここで、制御線の位置がもっとも変形の大きなところなので、これを考慮して、変形規則において、顔パーツごとにあらかじめ制御線の位置の決定方法が定められている（図３〜図６参照）。なお、顔パーツごとに制御線位置の算定方法は異なる。たとえば、眉の制御線は、変形領域内部で眉の位置と傾きに合う形で設定する。
【００４５】
次に、ユーザーがキーボード３０などで入力する変形量を受け取る（Ｓ１８）。算出された変形領域と制御線は顔画像に重ねて表示される。ユーザーは、これを基に変形量を入力する。顔画像の画面に制御線の両端にボタンを表示して、それを移動することにより変形量を設定するようにしてもよい。変形量は、設定領域内の制御線の動きの量であり、これにより表情変化を定義する。変形のやり方に応じて変形量自体も変わる。また、ユーザーの入力による設定でなく、顔パーツ／表情ごとに変形量をデフォルト値として予め記憶しておき、それを設定してもよい。また、設定したデフォルト値を、キーボード３０などでマニュアルで修正できるようにしてもよい。
【００４６】
次に、受け取った変形量に基いて制御線を移動する（Ｓ２０）。移動後の制御線を顔画像に重ねて表示することもできる。そして、制御線の移動に対応するピクセル位置の変化を基に変形領域内の顔データを修正する（Ｓ２２）。ここで、制御線の移動に対応して、変形規則に含まれる関係式より変形後のピクセルの位置と変形前のピクセルの位置の対応を求め、それにより顔データ（ピクセル値）を修正する。これにより表情が変形される。得られた変形画像はモニター装置２８に表示する。
【００４７】
制御線の変形手法として、１つの例では、図７に示したような線形補間を採用する。この場合、変形量は、制御線１４２の両端の移動量ａ、ｂである。ここで、上下方向での補間計算により変形後のピクセル値を求めるため、変形領域１４０の上下の境界にはエッジがでない。また、簡単な線形計算による変形処理であるため、計算機負荷が低く応用範囲が広い。
【００４８】
また、１つの顔パーツに２つの変形領域を設定してもよい。図１２の顔画像の場合、眉（点描部分）を含む変形領域１５０と、目を含む２つの変形領域１５４、１５８が設定される。そして、各変形領域内に制御線１５２，１５６，１５９が設けられる。ここで、目を含む変形領域として、図に右下側に拡大して示すように、上下２つの隣接する変形領域１５４、１５８が設けられる。ここで、２つの変形領域の接する部分、すなわち上部変形領域の底辺と下部変形領域の上辺が縦方向の瞳位置にくるように設定し、かつ、２つの変形領域全体の外周が目領域より広くなるように設定する。そして、２つの変形領域の内部で制御線１５６、１５９の両端を独立して上下動させることで、表情変形が行われる。それぞれの変形領域と制御線を用いた具体的な計算アルゴリズムは図７と同様である。
【００４９】
第２の実施の形態
目と眉に関連する表情筋は互いに独立しているが、人間の顔の皮膚は部位ごとに分かれているわけではなく、１つの面としてつながっている。このため、表情としてみた場合、ある顔パーツに関連した表情筋の働きによって、その他の顔パーツにも変形がおきる。ある表情筋による顔パーツの変形量が小さい場合はさほど問題がないか、変形量が大きくなった場合には、他の顔パーツの変形が目に見える影響としてあらわれてくる。たとえば前頭筋の場合、大きな表情筋であり、眉を大きく引き上げられたときに、眼のまぶた部分も引き上げられるという影響がある。また眼輪筋の場合には、目を強く閉じられたときに、ほほが同時に引き上げられるという影響がある。そこで、この実施の形態では、入力される変形量に応じて変形領域の大きさを変化させる。これにより、ある顔パーツの変形量が大きい場合に、その影響として他の顔パーツに与える変形が自然に合成できる。
【００５０】
図１３は、第２の実施の形態における表情変形プログラムのフローチャートである。図１１に示す第１の実施の形態における表情変形プログラムとの相違は、ステップＳ１８で入力される変形量に応じて変形領域の大きさを変化させ変形領域を調整する（Ｓ２４）ことである。変形領域が調整されると、ステップＳ１４に戻って、処理を繰り返す。すなわち、ユーザーが入力した変形量に応じて、必要と判断すると自動的に変形領域の大きさを調整する。その場合、ステップＳ１４に戻って、変形領域の設定から処理を繰り返す。
【００５１】
具体例について説明すると、眉における変形の場合に、前に説明したように変形領域と制御線が設定された後、ステップＳ１８で変形量が入力される。この変形量が所定のしきい値を越えていると判断する場合、ステップＳ２２で変形領域の位置を調整する。たとえば、変形量が大きすぎて、しきい値を越えて上へ眉が移動させられるとき、変形量の大きさに応じて、図１４の左側に示すように、眉の変形領域１６０の底辺を下方向に移動させる。これにより、眉が上がると同時にまぶたも引き上げられる変形が可能となる。同様に、目の変形の場合にも、変形量によれば、目を閉じる方向でしきい値を越えていたときに、図１４の右側に示すように、目の下部変形領域１６８の底辺を下方向に移動させる。これで、ほほの一部が変形領域１６８に入り、目が閉じられると同時に頬が引き上げられる変形が可能となる。
【００５２】
第３の実施の形態
日常生活で現れる顔の表情は、１つの表情筋の動きだけが関与しているのではなく、複数の表情筋の動きが関与している。悲しい顔の場合は、前頭筋（図２参照）の働きにより眉、特に内側が引き上げられる。それと同時に目の内側部分がその動きに影響されて引き上げられる。また、怒った顔の場合は、雛鼻筋（図２参照）の働きにより、眉の内側と目の内側とが引き下げられる。そこで、第３の実施の形態では、複数の表情筋を統一的に処理できるようにする。たとえば、眉と目の移動を統合的に処理する（図５参照）。
【００５３】
図１５は、第３の実施の形態における表情変形プログラムのフローチャートである。図１１に示す表情変形プログラムとの相違は、顔画像と顔特徴量の入力（Ｓ１０、Ｓ１２）の後に、統合化処理を選択する（Ｓ１３）ことである。ステップＳ１３では、所定の複数の顔パーツに対して統合処理が選択される。たとえば、眉と目に対して統合化処理を選択する。この統合化処理選択に応じて、変形領域算出（Ｓ１４）において、複数の顔パーツについて１つの変形領域を設定し、各顔パーツの間に制御線を設定する（Ｓ１６）。これにより、この１つの制御線の動きでその両側の顔パーツが互いに相関を持つて変形でき、自然な表情を生み出す。
【００５４】
眉と目に対する統合化処理では、たとえば図１６に示すように、眉と目の２つの顔パーツに対して１つの変形領域１７０と制御線１７２とを設定する。そして、制御線の両端を上下に移動させることで、怒った顔（図の右上側）や悲しい顔（図の右下側）のときの眉と目の形に変形させる。制御線の位置（変形量）はユーザーが設定する。したがって、日常生活の中で見られる表情が自然かつ簡単に合成できる。たとえば、顔を表示する画面において、「怒る」、「悲しむ」などの表情を表わすことばと、その強さ（レベル）を表示し、ユーザーが表情と強さを選択できるようにしてもよい。たとえば「怒る」を選択した場合は、図の右上側のように制御線１７２を移動して表示する。さらに、ユーザーが「怒る」のレベル（強さ）を選択すると、それに対応して制御線の位置を移動する。
【００５５】
第４の実施の形態
以上の実施形態に説明した表情変形では、上下方向の変形のみを考慮していた。この場合、変形領域の左右の境界では、変形後の表情にエッジが目立つ場合もある。そこで、第４の実施の形態では、上下と左右の２方向で変形を可能にする。このため、図１７に示すように、口について上下の唇をそれぞれ含む中央の上下の変形領域１８０、１８２を設定し、さらに左右に、顔パーツである口を含まない変形領域１８４、１８６、１８８、１９０を追加する。図１１に示す表情変形プログラムとの相違は、ステップＳ１４における変形領域設定の内容である。ステップＳ１４では、図１７に示すように、左右に変形領域を追加する。こうして、口に対して、併せて６つの変形領域が設定される。各変形領域に制御線１８１、１８３、１８５、１８７、１８９、１９１を設定するが、左側と右側にそれぞれ設けた変形領域では、制御線１８５、１８７、１８９、１９１は、中央の変形領域の制御線１８１、１８３に連続する位置から変形領域の左上端、右上端、左下端、右下端に向かう直線である。これにより、上下と左右で表情が変形できる。また、変形領域の左端と右端では変形はしないので、中央の２つの変形領域の上下の境界に加えて、左右の境界においても変形後にエッジが生じないので、自然な変形が可能になる。
【００５６】
たとえば、図１８に示す上半分の３つの変形領域１８０、１８４、１８６において、中央の変形領域１８０は制御線１８１をはさんで部分領域１８０Ａと部分領域１８０Ｃからなり、左側の変形領域１８４は制御線１８５をはさんで部分領域１８４Ｉと部分領域１８０Ｋからなり、右側の変形領域１８６は制御線１８７をはさんで部分領域１８６Ｅと部分領域１８６Ｇからなる。制御線１８１、１８５、１８７が移動することで、これら左右の変形領域が部分領域１８４Ｊ、部分領域１８４Ｌ、部分領域１８６Ｆ、部分領域１８６Ｈへと変化される。これらの部分領域に起きるのは縦方向の変形だけであり、図７と同様の補間処理により内部の画素のピクセル値を求めることができる。
【００５７】
第５の実施の形態
口（唇）は、口輪筋の働きにより、口の中心を原点とした２次元の拡大縮小変形を起こす。上下方向と左右方向とで変形できると、この２次元的な変形が可能となり、口の自然な変形が可能となる。そこで、この実施の形態では、第４の実施の形態と同様に、顔パーツを含まない左右の変形領域を追加するとともに、さらに２次元変形処理機能を持たせるため、追加の変形領域と中央の変形領域の間の境界の位置を移動可能とする。これにより、上下方向の変形に加えて左右方向の変形も可能となる。
【００５８】
具体的には、図１１に示す表情変形プログラムとの相違は、ステップＳ１４における変形領域設定の内容と、ステップＳ１における変形量の入力の内容である。ステップＳ１４では、口について、変形領域を左右の両側に設定する。さらに、ステップＳ１８における変形量の入力において、中央の変形領域と左右の変形領域との境界の移動量をユーザーが設定する。また、この移動に制御線位置を対応させる。
【００５９】
図１９は、領域設定における変形手法を示す。ここで、上半分の変形領域１８０、１８４，１８６のみを示す。ここでは、変形処理は２段階で行う。まず、中央の上側変形領域１８０の制御線１８１の両端の点Ａと点Ｂとを、同じ大きさ（ｄ０）だけ下方向または上方向に点Ａ’、点Ｂ’へと移動させる。変形後の補間は、図７の手法を用いて行う。次に、左側領域１８４と右側領域１８６に対して、点Ａ’、点Ｂ’をそれぞれ通る境界を、左右方向に同じ大きさ（ｄ１）だけ内側または外側の点Ａ”、点Ｂ”に移動させる。変形後の補間は、点Ａ”、点Ｂ”をそれぞれ通る境界を制御線として図７の手法を用いて行う。これにより上下と左右に変形できるので、口の２次元の拡大縮小変形が可能となる。
【００６０】
第１から第５の実施の形態では、直線の制御線を移動して、それに合わせて補間計算をしている。しかし、計算性能が高い装置の場合は、制御線を直線以外の形状、たとえば２次曲線、に変形して、それに合わせてピクセル位置の補間計算をすることもできる。
【００６１】
第６の実施の形態
変形規則において制御線の動きを定義することにより、自然さ、おもしろさなど表情変形にあった変形を実現できる。たとえば、制御線を直線から２次元曲線に変形する２次変形を用いると表情変形がより柔軟に行える。そこで、第６の実施の形態では、表情変形において２次変形を採り入れる（図６参照）。口について２次変形を用いることにより、大頬骨筋や口角下制筋の働きによる口角の引き上げおよび引き下げ変形の機能が実現でき、笑った顔、怒った顔、悲しい顔といった表情変形が可能となる。この実施の形態では、第１の実施の形態などで説明した直線の制御線を用いた変形処理に続けて、制御線を直線から２次元曲線に変形する２次変形処理を追加する。なお、いうまでもないが、直線の制御線を用いない変形処理として、２次変形以外の他の処理を追加できる。
【００６２】
図２０は、第６の実施の形態における表情変形プログラムのフローチャートである。図１１に示す表情変形プログラムとの相違は、第１の実施の形態などにおいて説明したような、直線的な制御線の移動（Ｓ２０）の後に、２次変形量入力（Ｓ２１ａ）と２次変形処理（Ｓ２１ｂ）を追加したことである。ここで、ユーザーによる２次変形量の入力を受け取り、これに対応する２次変形後の制御線の位置を基にピクセル位置の補間計算をおこなう。２次変形量は、２次変形の計算に用いるパラメータである。そして、２次変形に対応してピクセル値を変化させる（Ｓ２２）。
【００６３】
変形領域の設定の１例として、大頬骨筋で口角が引き上げられるという変形を説明する。変形は、横方向の変形（＝拡大）と縦方向の変形（＝２次変形）の２段階に分けて行う。
【００６４】
まず、図２１の上側に示すように、入力される顔特徴量に基づいて、変形領域を口周辺に設定する。第４の実施形態の図１７や第５の実施形態の図１９と同様に、顔パーツである口を含む変形領域２００に加え、その左右に隣接する変形領域２０２、２０４を設定する。内側の変形領域２００とその両側の変形領域２０２、２０４の境界２０６（ＢＣ）、２０８（ＥＦ）は口角の近くをとおるように設定する。第１段階の横方向の拡大では、図２１に示すように、第５の実施の形態に説明した手法で、横方向に隣接する変形領域との境界線２０６、２０８を左右に変位する。第５の実施の形態の図１９に示した例では内側方向に変形領域の間の境界を移動したが、ここでは、矢印で示すように、境界２０６、２０８を外側方向に移動して中央の変形領域２００をＸ軸方向に拡大し、左右の変形領域２０２、２０４を縮小する。境界の変位量は、ユーザーが入力する。そして、この境界２０６、２０８を制御線として扱って、図７と同様な手法で補間計算をする。
【００６５】
次に、第２段階（縦方向の変形）で、図２２に示すように、中央の領域２００の制御線２０１を２次曲線に変化させる。ここで、口全体を含む中央の変形領域２１０では、制御線２０１は口角を通る線上に設定し、２次曲線の原点Ｏは、唇の中心位置に設定する。また、追加の変形領域２０２、２０４では、制御線２０３、２０５は、変位された制御線２０１に連続する位置から左上端、右上端に向かう直線になる。２次曲線の形状への変形処理は、唇の中心位置（点Ｏ）を通る２次曲線をｙ’＝ａ＊ｘ’^２（ここにｘ’は原点からのＸ軸方向の距離、ｙ’はＸ軸から上方向の距離）とすると、図７の変形手法において、ｄ’＝−ａ＊ｘ’^２とすることで、補間計算が可能である。また、変形領域２０２、２０４では、制御線２０１の変形に対応して移動された制御線２０３、２０５により図７の変形手法で補間計算を行う。この例では、ユーザーが入力する２次変形量は係数ａである。なお、左右対称に変形されるとは限らないので、原点の左側と右側とで２次曲線の形状を異ならせてもよい。また、中央の変形領域２００を原点Ｏを通る線で左右に分割してもよい。なお、ユーザーが画面において制御線２０１の終端である点Ｐを移動することにより、移動後の点Ｐから境界の変位量と制御線の２次変形量とを設定するようにしてもよい。
【００６６】
同様に、口角下制筋で口角が下がる場合は、図２３に示すように、大頬骨筋の場合（図２２参照）とは上下を逆転させた変形処理を行う。すなわち、制御線２０１は、ａ＜０の２次曲線とする。また、追加の変形領域２０２、２０４では、制御線２０３’、２０５’は、変位された制御線２０１に連続する位置から左下端、右下端に向かう直線になる。実際に日常的な表情が生成される場合には、口角下制筋と大頬骨筋とが一緒に働くケースはないので、別々に扱っても問題は生じない。
【００６７】
以上に第１〜第６の実施の形態についてそれぞれ説明した。しかし、当業者により容易に理解されるように、これらの実施の形態において説明した各種の表情変形の手法は、種々の形態で組み合わせることができる。
【００６８】
【発明の効果】
人の顔の表情変形において、制御線により２分される変形領域の２つの部分領域において、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正するので、顔特徴量として入力される顔パーツの位置に誤差が含まれている場合にも、制御線付近の画素も変形されるので、誤差による不自然な変形が起きる可能性が低い。また、変形領域の境界でのエッジの発生を抑えられる。制御線の位置が最大変位点となるような補間をすることにより、制御線の位置調整により微妙な表情変形が可能になる。
【００６９】
前記のピクセル値を修正するステップにおいて、制御後の制御線の位置と変形領域の境界との間で画像処理で補間するので、少ない計算機負荷で、弾性体である顔パーツの引き延ばしなどの変形が可能になり、また、エッジのない表情変形が可能である。
【００７０】
変形領域の大きさを変化可能とするので、ある顔パーツの変形が大きい場合に、その影響として他の顔パーツに与える変形が自然に合成できる。
【００７１】
表情筋の挙動を考慮して、１つの顔パーツについて２つの隣接する変形領域の設定や、隣接する複数の顔パーツについて１つの変形領域の設定をすることにより、種々の表情筋の挙動に個別に対応する表情変更が可能になる。
【００７２】
顔パーツを含む変形領域に隣接して顔パーツを含まない変形領域を追加することにより、変形領域の境界でのエッジの発生を２次元的に抑えられる。
【００７３】
顔パーツを含む変形領域に隣接して顔パーツを含まない変形領域を追加し、かつ、それらの変形領域の境界を移動できるので、２つの方向での変形すなわち２次元的変形が可能となる。
【００７４】
移動された制御線についてさらに形状を変形できるので、そのような変形を定義しておくことにより豊かな表情が表現できる。
【図面の簡単な説明】
【図１】表情変形手法を示す図
【図２】人の顔における表情筋の配置を示す図
【図３】眉の変形の例を説明するための図
【図４】目の変形の例を説明するための図
【図５】眉と目の一括変形を説明するための図
【図６】口の変形の例を説明するための図
【図７】変形アルゴリズムを説明するための図
【図８】表情変形装置の構成を示すブロック図
【図９】携帯電話の構成を示すブロック図
【図１０】カメラを内蔵した携帯電話の構成を示すブロック図
【図１１】第１の実施の形態における表情変形プログラムのフローチャート
【図１２】目と眉の変形領域の設定と制御線の設定の例を示す図
【図１３】第２の実施の形態における表情変形プログラムのフローチャート
【図１４】変形領域の調整を説明するための図
【図１５】第３の実施の形態における表情変形プログラムのフローチャート
【図１６】統合化手法を説明するための図
【図１７】口の変形領域の設定を説明するための図
【図１８】境界処理が滑らかな変形処理を説明するための図
【図１９】口の２次元の変形を説明するための図
【図２０】第６の実施の形態における表情変形プログラムのフローチャート
【図２１】口の２次変形の第１段階での横方向の変形を説明するための図
【図２２】口の２次変形の第２段階で口角を上側に上げる変形処理を説明するための図
【図２３】口の２次変形の第２段階で口角を下側に下げる変形処理を説明するための図
【符号の説明】
１０　ＣＰＵ、　　１４　ＲＡＭ、　　２０　ハードデイスク、　　２２　ハードデイスク装置、　　３０キーボード、　　３２　マウス、　　３４　スキャナ、　　３８デジタルカメラ、　　６２　ＣＰＵ、　　６４　制御部、　　７０
表示装置。

Claims

顔画像のデジタルデータを受け取る顔画像入力手段と、
顔画像入力手段により入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定する顔特徴量入力手段と、
顔画像の顔パーツに対して、顔特徴量設定手段により入力された前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定する変形領域設定手段と、
変形領域設定手段により設定された変形領域の内部に、顔特徴量設定手段により入力された前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定する制御線設定手段と、
制御線設定手段により設定された制御線の移動量を受け取る移動量入力手段と、
移動量入力手段により入力された制御線の移動量に基いて変形領域内で制御線を移動し、制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正する修正手段と
からなる表情変形装置。
顔画像のデジタルデータを受け取るステップと、
入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定するステップと、
顔画像の顔パーツに対して、前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定するステップと、
設定された変形領域の内部に、前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定するステップと、
制御線の移動量を受け取るステップと、
前記の制御線の移動量に基いて変形領域内で制御線を移動するステップと、
制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正するステップと
からなる表情変形方法。
顔画像のデジタルデータを受け取るステップと、
入力された顔画像をもとに顔パーツの位置とその輸郭の情報を設定するステップと、
顔画像の顔パーツに対して、前記の顔パーツの情報に基いて、顔パーツを含む変形領域を設定するステップと、
設定された変形領域の内部に、前記の顔パーツの情報に基いて、変形領域を２分する位置に制御線を設定するステップと、
制御線の移動量を受け取るステップと、
前記の制御線の移動量に基いて変形領域内で制御線を移動するステップと、
制御線により２分される変形領域の２つの部分領域において、制御線の移動による部分領域の拡大または縮小に対応して、制御線の移動により拡大または縮小された部分領域内のピクセル値を、制御線を移動する前における当該部分領域のピクセル値を基に修正するステップと
をコンピュータにより実行させるための表情変形プログラム。
請求項３記載の表情変形プログラムにおいて、
前記のピクセル値を修正するステップにおいて、移動後の制御線の位置を用いて変形領域内でのピクセル位置の移動を表わす関係式を用いて、移動後のピクセル位置のピクセル値を、当該ピクセル位置に対応する移動前のピクセル位置のピクセル値とすることを特徴とする表情変形プログラム。
請求項３または請求項４記載の表情変形プログラムにおいて、さらに、前記の移動量を受け取るステップにおいて受け取った変形量がしきい値を越えるとき、設定された前記の変形領域の大きさを変化させるステップを備えることを特徴とする表情変形プログラム。
請求項３から請求項５のいずれかに記載の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、１つの顔パーツについて２つの隣接する変形領域を設定することを特徴とする表情変形プログラム。
請求項３から請求項５のいずれかに記載の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、隣接する複数の顔パーツについて１つの変形領域を設定することを特徴とする表情変形プログラム。
請求項３から請求項７のいずれかに記載の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、さらに、前記の顔パーツを含む変形領域に、制御線の移動方向に垂直な方向に隣接して、顔パーツを含まない変形領域を追加して設定し、前記の制御線を設定するステップにおいて、前記の顔パーツを含まない変形領域内の制御線を前記の顔パーツを含む変形領域内の制御線に連続して設定することを特徴とする表情変形プログラム。
請求項３から請求項７のいずれかに記載の表情変形プログラムにおいて、前記の変形領域を設定するステップにおいて、さらに、前記の顔パーツを含む変形領域に、制御線の移動方向に垂直な方向に隣接して、顔パーツを含まない変形領域を追加して設定し、前記の制御線を設定するステップにおいて、前記の顔パーツを含まない変形領域内の制御線を前記の顔パーツを含む変形領域内の制御線に連続して設定し、前記の制御線の移動量を受け取るステップに並行して、さらに、前記の顔パーツを含む変形領域と前記の顔パーツを含まない変形領域との境界を、前記の制御線の移動方向に垂直な方向に移動する変位量を受け取るステップを備え、
前記の制御線を移動するステップの前に、前記の変位量に基いて前記の変形領域の大きさを変化させるステップを備えることを特徴とする表情変形プログラム。
請求項３から請求項９のいずれかに記載の表情変形プログラムにおいて、さらに、前記の制御線を移動するステップの後で、
前記の移動された制御線についての形状変形量を受け取るステップと、
前記の形状変形量に基いて前記の制御線の形状を変形するステップとを備え、
前記の移動後のピクセル値を、変形された制御線を基に求めることを特徴とする表情変形プログラム。