JP2007081682A - 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム - Google Patents

Abstract

【課題】 画像信号間のずれを算出する場合に、人物を基準として構図のずれを算出しようとすると、手足の動きなどに影響されやすい。人物を避けて背景を基準として構図のずれを算出しようとすると、被写界深度が浅い場合にはボケた画像を対象とするために精度が悪い。
【解決手段】 基準情報とのマッチングを行うことで画像信号から特定の領域を検出する。画像信号を複数の領域に分割し、この特定の領域の検出結果に応じて、領域毎に位置ずれを示す情報（動きベクトル）に対して異なる重み付けを設定する。
【選択図】 図４

Description

本発明は、複数の画像間の構図のずれである動きベクトルを算出するための画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラムに関するものである。

現在のカメラは露出決定や焦点調節等の撮影にとって重要な作業が自動化されたものが多く、カメラ操作に未熟な人でも容易に適正な画像を得ることができる。これに加え、カメラに加わる手ぶれを防ぐ装置も開発されている。この手ぶれを防ぐ方法としては、例えば光学式の手ぶれ補正がある。これは、手ぶれによる振動を、加速度、角加速度、角速度、角変位などを検知するセンサーによって検出し、その検出値に応じて補正レンズを変位させて光軸を補正するものである（例えば、特許文献１参照）。

また、光学式の手ぶれ補正と異なるものとして、画像合成式の手ぶれ補正がある。これは、手ぶれの生じないような短い露光時間で撮影を繰り返し、撮影された複数の画像の位置を合わせながら合成することで、画像毎の構図の違いを補正しつつ、露出の不足を補完するものである（例えば、特許文献２参照）。

この画像合成方式の手ぶれ補正では、人物を基準として構図のずれを補正しようとすると、手足の動きなどに影響されて、この基準となる人物を高い精度で検出することが困難である。そこで、人物が位置する領域を避けた背景を使って動きベクトルを算出する方法が提案されている（例えば、特許文献３参照）。
特開平０５−０６６４５２号公報 特開２００２−０６４７４３号公報 特開２００４−２１９７６５号公報

画像合成方式の手ぶれ補正では、光学式の手ぶれ補正と異なり、補正レンズ及びその駆動機構を設ける必要がないため、小型化に適している。しかしながら、画像合成方式の手ぶれ補正は、次の課題が生じる場合がある。

例えば、絞りを開いて被写界深度を浅く設定すると、主要となる被写体と背景でボケ量が大きく異なる。そのため、背景を使って動きベクトルを算出すると、ボケた領域の画像情報を用いて位置合わせ演算を行うため、精度の悪い結果しか得られない。

本発明は上記課題に鑑み、主要となる被写体を精度良く検出することで、主要となる被写体の画像信号間における構図のずれを適正に算出することを目的とする。

斯かる目的下において、第１の発明は、複数の画像信号間の位置ずれを検出するずれ検出手段と、画像信号から、基準情報との比較結果に応じて、特定の領域を検出する特定領域検出手段とを有し、ずれ検出手段は特定領域検出手段による特定の領域の検出結果に応じて、画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする画像処理装置を提供するものである。

同様に、斯かる目的下において、第２の発明は、複数の画像信号間の位置ずれを検出するずれ検出手段と、画像信号から人物の顔の形状を示す情報との比較結果に応じて人物の顔が存在する領域を検出する顔領域検出手段をと有し、ずれ検出手段は、画像信号の人物の顔が存在する領域の位置ずれを示す情報と、画像信号の人物の顔が存在する領域とは異なる領域の位置ずれを示す情報のいずれかを出力することを特徴とする画像処理装置を提供するものである。

同様に、斯かる目的下において、第３の発明は、複数の画像信号間の位置ずれを検出するずれ検出工程と、画像信号から、基準情報との比較結果に応じて、特定の領域を検出する特定領域検出工程とを有し、ずれ検出工程では特定領域検出工程での特定の領域の検出結果に応じて、画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする画像処理方法を提供するものである。

同様に、斯かる目的下において、第４の発明は、複数の画像信号間の位置ずれを検出するずれ検出工程と、画像信号から人物の顔の形状を示す情報との比較結果に応じて人物の顔が存在する領域を検出する顔領域検出工程をと有し、ずれ検出工程では、画像信号の人物の顔が存在する領域の位置ずれを示す情報と、画像信号の人物の顔が存在する領域とは異なる領域の位置ずれを示す情報のいずれかを出力することを特徴とする画像処理方法を提供するものである。

同様に、斯かる目的下において、第５の発明は、上記第３の発明または第４の発明を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラムを提供するものである。

本発明によれば、基準情報と比較処理することによって高い精度で特定の対象を検出できるため、この特定の対象を中心とした画像信号間における構図のずれを適正に算出することができる。

以下、添付図面を参照して本発明の好適な実施の形態について詳しく説明する。

（第１の実施の形態）
本発明の第１の実施の形態である画像処理装置について、図１乃至図４を用いて説明を行う。

なお、ここでは被写体検出機能を備えた画像処理装置の例として、人物の顔を検出する機能を備えたデジタルカメラをあげて説明する。

画像処理装置は、複数の連続した画像データを入力できる構成であればどのようなものであっても構わない。例えば、ＣＣＤやＣＭＯＳセンサ等の撮像素子と、撮像素子の出力信号を基にデジタル信号処理を行うプロセッサを備えたデジタルカメラ、デジタルビデオカメラ、あるいはカメラ付き携帯電話が、画像処理装置の例としてあげられる。また、外部から無線通信、あるいは有線通信によって受信した画像データを基に、デジタル信号処理を行うコンピュータも画像処理装置の例としてあげられる。

被写体検出機能は、特定の形状、特定の輝度分布、特定の色相分布等を検出し判別することによって、所定の被写体を検出する機能であればよい。被写体の対象としては、例えば犬、猫、鳥といった動物や、車、飛行機、電車といった乗り物のように、人物の顔以外のものであってもよい。

このような被写体検出機能に関しては、様々な方法が公知となっている。

例えば、特開平０５−１９７７９３号公報では、顔の各部品の形状データと入力画像とのマッチング結果から被写体を検出する技術が開示されている。この技術では、虹彩、口、鼻等の形状データを用意しておき、まず２つの虹彩を求める。続いて口、鼻等を求める際に、その虹彩の位置に基づいて、口、鼻等の顔部品の探索領域を限定する。つまり、このアルゴリズムでは、虹彩（眼）、口、鼻といった顔を構成する顔部品を並列的に検出するのではなく、虹彩（眼）を最初に見つけ、その結果を使用して、順に口、鼻という顔部品を検出している。

他にもマッチングを行う処理としては、例えば、画像データならば、特開平９−１３０７１４号公報に記載の画像情報抽出装置で用いる方法を利用することができる。この装置では、被写体距離に応じたサイズのテンプレート画像を生成する。そして、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算することにより入力画像の局所部分とモデルデータとの類似度分布を算出する。他にも、特許３０７８１６６号公報に記載の局所的特徴の空間配置関係に基づくアルゴリズムや特開２００２−８０３２号公報に記載の、畳み込み神経回路網をベースにしたアルゴリズムなどを用いても良い。

本実施の形態では、画像データの輝度情報を用いてエッジを抽出し、抽出できたエッジの形状、画像における位置、色相などの指標を、予め記憶されたデータベースと比較してパターンマッチングを行うことで所望の被写体の検出を行う方法を用いている。

図１に本実施の形態における撮像装置１００のブロック図を示す。

図１において、１０１はズームレンズ及びフォーカスレンズを含む複数のレンズにて構成された撮影レンズであり、１０２は撮影レンズを通過した光束の量を調節する絞り、１０３は撮影レンズを通過した光束を遮るためのシャッタである。１０４はＣＭＯＳセンサやＣＣＤ等の撮像素子であり、絞り１０２とシャッタ１０３は、撮影レンズ１０１と撮像素子１０４の間に配置されている。

１０５は撮像素子の電荷蓄積動作及びリセット動作を制御する撮像素子駆動手段である。１０６はＡＦ駆動モータであり、撮影レンズ１０１に含まれるフォーカスレンズを光軸方向に駆動し、焦点位置を変更する。１０７はシャッタ１０３を駆動するシャッタ駆動手段であり、１０８は絞り１０２を駆動して絞り口径を調節する絞り駆動手段であり、１０９はＡＦ駆動モータ１０６の駆動量、駆動方向を制御する焦点制御手段である。

１１０はアナログ／ディジタル（以下、Ａ／Ｄという）変換手段であり、１１１はＡ／Ｄ変換手段１１０から出力された画像信号や、後述するメモリ１１２に記憶された画像信号に対して信号処理を施す信号処理手段である。撮像素子１０４から出力されたアナログ信号はＡ／Ｄ変換手段１１０によってディジタル信号に変換され、信号処理手段１１１に入力される。信号処理回路１１１はＡ／Ｄ変換手段１１０から入力されたディジタル信号から輝度信号や色信号を形成し、表示用の画像信号、記録用の画像信号、及び顔検出用の画像信号を形成する。１１２は顔検出の画像信号や表示用の画像信号を一時的に記憶するメモリである。１１３は制御手段であり、シャッタ駆動手段１０７、絞り駆動手段１０８、焦点制御手段１０９、信号処理手段１１１、及び後述する顔検出手段１１４の各々は、制御手段１１３からの制御指令に基づいて動作する。

１１４は顔検出手段であり、信号処理手段１１１で形成されてメモリ１１２に記憶された顔検出用の画像信号を解析し、人物の顔が存在する領域を検出する。後述するが、顔検出手段１１４は顔と判定するための基準レベルとして、第１の基準レベルと、この第１の基準レベルよりも顔の判定基準が厳しい第２の基準レベルを備えている。１１５はずれ検出手段であり、複数の画像信号間で相関演算を行い、画像信号間の相対的な位置ずれ量（動きベクトル）を算出する。ずれ検出手段１１５の動きベクトルの算出方法については後述する。１１６は座標変換手段であり、ずれ検出手段１１５で算出された動きベクトルにあわせて各画像信号の画像変換を行う。１１７は座標変換手段１１６にて座標変換された画像信号を記憶するための画像記憶手段であり、１１８は画像記憶手段１１７に記憶された画像信号を合成する画像合成手段である。

ずれ検出手段１１５、座標変換手段１１６、画像記憶手段１１７及び画像合成手段１１８は、ぶれが生じる可能性が高くないときは動作せずに、ぶれが生じる可能性が高いときのみカメラが画像合成モードが設定されることによって動作しても構わない。具体的な例としては、シャッタ速度が所定値よりも長く、かつ、カメラが三脚等に固定されていない場合である。なお、画像合成モードは、ユーザーによって手動で設定されるようにしてもよい。

１１９はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示手段であり、信号処理手段１１１にて形成された表示用の画像信号を入力して被写体像を表示する。シャッタ速度、絞り値、感度、及び撮影モード等の撮影に関する各種のパラメータを被写体像に重畳させて表示することもできる。また、この表示手段１１５は、既に撮影されてカメラ内部に保存されている画像を再生するためにも用いられる。信号処理手段１１１は顔検出手段１１３にて検出された顔の領域に関する情報を受け取り、顔の位置及び大きさを示す枠を表示用の画像信号に重畳させる。表示手段１１９はこの画像信号を受け取って表示することで、カメラの使用者に顔検出結果を認識させることができる。１２０は記録手段であり、信号処理手段１１１にて形成された記録用の画像信号を記録する。１２１は操作手段であり、撮影用の測光動作及び焦点調節動作を指示するためのスイッチＳＷ１、撮影を開始するためのスイッチＳＷ２、後述する撮影モードや画像合成モード、あるいは流し撮りモードを設定するための操作部材が含まれている。

画像合成モードが設定され、撮影者によってレリーズボタンが半押しされてスイッチＳＷ１がオンすると、撮像装置は本撮影のための焦点調節動作及び測光動作を行う。このときの測光結果に応じて、制御手段１１３が絞り１０２の絞り口径とシャッタ１０３のシャッタ速度（露光時間）を決定する。被写体輝度が低ければ、絞り口径は全開となり、露光時間も長くなる。露光時間が長ければそれだけ手ぶれが発生する可能性が高いため、露光時間が所定値よりも長い場合は、短い時間での露光を複数回連続して行う画像合成モードが設定される。

画像合成モードでは、１回の露光で得られた画像信号は輝度が不足した状態となるが、手ぶれの影響は低減させることができる。また、連続して得られた複数の画像信号を合成すれば、それぞれの画像信号の輝度が加算されるため、合成後の画像信号の輝度をほぼ適正値とすることができる。しかしながら、１つ１つの画像信号のぶれは小さくとも、連続撮影中の手ぶれにより各画像信号の構図は変化しているため、このまま画像信号の合成を行うと画像信号間の構図のずれが累積されてしまう。

そこで、連続して露光された複数の画像信号を、それぞれ信号処理手段１１１を介して顔検出手段１１４及びずれ検出手段１１５に入力し、これら複数の画像信号間の相対的な位置ずれ量、即ち動きベクトルを算出する。

ずれ検出手段１１５は、信号処理手段１１１から送られてきた複数の画像信号を、それぞれ図２にあるように複数のブロックに分割する。図２は画像信号の動きベクトルを説明するための図である。本実施の形態では１つの画像信号の長辺方向を８分割、短辺方向を６分割し、合計４８のブロックに分割した例を示す。勿論、ブロックの分割数は任意であり、他の数、他の形状でも構わない。

図２では説明を容易にするために、左からＡ列、Ｂ列、Ｃ列、Ｄ列、Ｅ列、Ｆ列、Ｇ列、Ｈ列とし、上から１行、２行、３行、４行、５行、６行とする。そしてｘ列ｙ行にあるブロックを、ｘｙと称する。つまり、左上のブロックはＡ１となり、右下のブロックはＨ６となる。

ずれ検出手段１１５は、複数の画像信号間の同位置のブロックにおける二次元の相関演算を行って、ブロック毎の位置ずれ量である動きベクトルを算出する。そして算出された４８個のブロックのそれぞれの動きベクトルに対して重み付けをしてからヒストグラムを求め、その最頻値をもって画像信号全体の動きベクトルとする。

本実施の形態においては、顔検出手段１１４にて画像信号から人物の顔が存在するブロックを検出し、顔が検出されたブロックの位置を重み付けに反映させる。具体的には、顔が検出されたブロックの動きベクトルの出現頻度を他の領域よりも高くして画像全体の動きベクトルを求める。

具体的には、顔が検出されたブロックの動きベクトルを他の領域よりも大きくして画像全体の動きベクトルを求める。もしくは、顔が検出されたブロックの動きベクトルのみを用いて画像全体の動きベクトルを求める。

図３に人物の顔が検出された位置と重み付けを反映させるブロックの位置との関係を示す。図３にて、楕円が人物の顔の輪郭を示しており、ブロックＣ４、Ｃ５、Ｄ４、Ｄ５、Ｆ３、Ｆ４、Ｆ５、Ｇ３、Ｇ４、Ｇ５の計１０ブロックが顔の領域と完全に重畳している。本実施の形態では、これら１０ブロックの動きベクトルの重み付けを、他の全てのブロックよりも大きくし、動きベクトルのヒストグラムから画像全体の動きベクトルを決定している。図３に示す例では、顔の領域と完全に重畳しているブロックを重み付けを大きくする対象としているが、顔の領域が所定の割合以上重畳しているブロックを同様の対象としてもよい。また、顔までの距離や、顔の存在する位置も、重み付けする際に考慮してもよい。例えば、中心に近い顔の領域と重畳しているブロックの重み付けを、周囲の顔の領域と重畳しているブロックの重み付けよりも大きくする方法が考えられる。

座標変換手段１１６は画像信号間のずれを相殺するため、各画像信号に対して、ずれ検出手段１１５にて算出された画像全体の動きベクトルにあわせて座標変換を行う。座標変換手段１１６にて座標変換された画像信号は画像記憶手段１１７に記憶され、記憶された画像信号は画像合成手段１１８にて１枚の画像に合成されて、メモリ１１２に記憶される。画像信号間のずれを相殺するために合成した画像信号には、合成前の全ての画像信号と重畳する領域と、合成前の一部の画像信号とのみ重畳する領域が発生する。そこで画像合成手段１１８は、合成前の一部の画像信号とのみ重畳する領域はカットし、合成前の全ての画像信号と重畳する領域のみ合成した画像信号を生成する。そして合成した画像信号に拡散補完処理を施し、元のフレームと同じ大きさの画像信号を生成する。この画像信号はメモリ１１２を介して記録手段１２０に記録されるとともに、この画像信号を間引いて生成された表示用の画像信号を用いて表示手段１１９が合成後の画像信号の表示を行う。

次に、本実施の形態の動きベクトルの演算処理について、図４に示すフローチャートを用いて詳細に説明する。

カメラの電源スイッチが操作されてカメラが起動すると、ステップＳ１からスタートする。ステップＳ１で、制御手段１１３がシャッタ駆動手段１０７、絞り駆動手段１０８、及び、焦点制御手段１０９の各制御パラメータを初期化する。そして撮像素子１０４の出力信号をＡ／Ｄ変換手段１１０を介して信号処理回路１１１に入力し、信号処理回路１１１が表示用の画像信号を生成して、表示手段１１９に入力する。このような撮像動作を周期的に繰り返すことで、カメラの操作者は表示手段１１９に表示される画像を観察することによって、被写体の様子をリアルタイムでモニターすることができる。

制御手段１１３は顔検出手段１１４に顔を判定するための基準レベルの初期値として、第１の基準レベルよりも判定基準の厳しい第２の基準レベルを設定させる。ここで、顔を判定するための基準レベルとは、参照用データベースとして保存された顔のテンプレート情報に対して、入力された画像信号がどの程度まで一致したものを顔として判定するかのレベルのことである。

基準レベルに差を設ける方法としては、次のような例が考えられる。例えば、第１の基準レベルを用いた場合は、テンプレート情報との一致度が顔の形状において所定の条件を満たす領域があれば、その領域を顔として判定する。これに対し、第２の基準レベルを用いた場合には、テンプレート情報との一致度が顔の形状に加え、顔の色、及び顔の大きさの全てにおいて所定の条件を満たす領域があれば、その領域を顔として判定する。

他の例としては、第２の基準レベルを設定した場合には、第１の基準レベルを設定した場合に比べて、検出対象として認める所定の数値範囲を狭くする方法があげられる。例えば、第１の基準レベルを設定した場合は、互いの距離が５．５ｃｍ〜７．５ｃｍの範囲に虹彩のペアが存在することを顔として判定するために必要な条件の一つとする。これに対して、第２の基準レベルを設定した場合は、互いの距離が、第１の基準レベルよりも狭い６．０ｃｍ〜７．０ｃｍの範囲に虹彩のペアが存在することを顔として判定するために必要な条件の一つとする。第１の基準レベルと第２の基準レベルとで、顔として認識するための基準値に差を設けることができるのであれば、別の方法であっても構わない。

以上の準備が整ったら、ステップＳ２で制御手段１１３が撮影モードの判定を行う。これは、操作手段１２１によってカメラの撮影モードが複数枚の画像を撮影した後それらを合成する画像合成モードに設定されているか、その他の撮影モードに設定されているかを判定する。撮影モードが画像合成モードに設定されていればステップＳ３に進み、その他の撮影モードに設定されていればステップＳ２２に進む。

まず、ステップＳ２にてその他の撮影モードに設定されていると判定された場合について説明する。ステップＳ２２で、制御手段１１３は操作手段１２１に含まれるスイッチＳＷ１がオンされたかを判定し、オンされたならばステップＳ２３に進み、オンされていなければオンされるまで待機する。

ステップＳ２３で、スイッチＳＷ１がオンされたことを受けて、信号処理手段１１１は顔検出用の画像信号を生成し、顔検出手段１１４がこの顔検出用の画像信号に対して顔検出を行う。そして制御手段１１３は顔検出結果に応じて焦点調節エリア、測光エリアを決定し、焦点調節動作、測光動作を行わせる。顔検出に失敗した場合は、至近にいる被写体に焦点を合わせる方法や、画面中央付近の重み付けを大きくして被写体輝度を求める方法を用いて、焦点調節動作や測光動作を行わせる。

ステップＳ２４で、制御手段１１３は操作手段１２１に含まれるスイッチＳＷ２がオンされているかを判定し、オンされているならばステップＳ２５に進み、オンされていなければステップＳ２２に戻る。

ステップＳ２５で、ステップＳ２３で得た測光情報をもとに、絞り値、シャッタ速度を設定して撮影を行い、得られた画像をメモリ１１２に記憶する。そして信号処理手段１１１が、このメモリ１１２に記憶された合成後の画像信号を表示用の画像信号、或いは記憶用の画像信号に変換する。この変換された画像信号を受けて、表示手段１１９が合成後の画像信号を表示し、記録手段１２０が合成後の画像信号を記録する。

次にステップＳ２で画像合成モードに設定されていると判定された場合について説明する。

ステップＳ３で、制御手段１１３は顔検出手段１１４に顔を判定するための基準レベルとして第１の基準レベルを設定させる。顔を判定する基準レベルを変更するのは、流し撮りなどで被写体とカメラが相対的に動いて、被写体が静止している状態に比較して顔検出が困難である状況であっても、顔検出を成功させる確率を高く維持するためである。このため、ステップＳ３では第２の基準レベルよりも判定基準の緩やかな第１の基準レベルを設定する。

ステップＳ４で、制御手段１１３は操作手段１２１に含まれるスイッチＳＷ１がオンされているかを判定する。スイッチＳＷ１がオンされているならばステップＳ５に進み、オンされていなければオンされるまで待機する。

ステップＳ５で、スイッチＳＷ１がオンされていることを受けて、信号処理手段１１１は顔検出用の画像信号を生成し、顔検出手段１１４がこの顔検出用の画像信号に対して顔検出を行う。そして制御手段１１３は顔検出結果に応じて焦点調節エリア、測光エリアを決定し、焦点調節動作、測光動作を行わせる。その際、検出された顔が存在する領域の座標情報をメモリ１１２に記憶する。顔検出に失敗した場合は、至近にいる被写体に焦点を合わせる方法や、画面中央付近の重み付けを大きくして被写体輝度を求める方法を用いて、焦点調節動作や測光動作を行わせる。

なお、画像合成モードは被写体の輝度によって自動的に設定されるものとして、ステップＳ５での測光結果を受けてから、ステップＳ２における画像合成モードに設定されているかの判定を行うようにしても構わない。この場合は、ステップＳ２の位置がステップＳ５とステップＳ６の間に変更され、画像合成モードが設定されていなければ、ステップＳ２２に進む。

ステップＳ６で、制御手段１１３は操作手段１２１によって、カメラ自身が移動したり、カメラ自身の向きが変わることが予想される流し撮りモードに設定されているかを判定する。流し撮りモードに設定されていれば、制御手段１１３内のメモリに格納された流し撮りフラグｆｌｇを１に設定し（ステップＳ７）、そうでない場合はフラグｆｌｇを０に設定する（ステップＳ８）。

このフラグｆｌｇの値は、操作手段によって流し撮りモードが設定されなくとも、カメラに内蔵された不図示の加速度、角加速度、角速度、角変位などを検知するセンサーの出力に応じて設定しても構わない。この場合は、不図示のセンサーによってカメラが一定方向に動いていると検知された場合は、フラグｆｌｇを１に設定する。

ステップＳ９で、制御手段１１３は操作手段１２１に含まれるスイッチＳＷ２がオンされているかを判定し、オンされているならばステップＳ１０に進み、オンされていなければステップＳ４に戻る。

ステップＳ１０で、ステップＳ５で得た測光情報をもとに、連続撮影を行う。連続撮影する枚数ｎは、そのシーンで１枚撮影する場合に必要な本来の露光時間をＴ_Ｓ、複数枚撮影時の一枚あたりの露光時間をＴ_Ｍとすると、
Ｔ_Ｓ＝Ｔ_Ｍ×ｎ
を満たせばよい。具体的な例としては、ＴＭとして手ぶれしない露光時間の目安とされる「1/焦点距離」を与え、これにより撮影枚数nを決定する方法が考えられるが、実際はこの限りではない。

ステップＳ１１で、ずれ検出手段１１５は連続撮影されたそれぞれの画像信号を、図２に示すように複数のブロックに分割する。これら画像信号の全てのブロックを対象として、同一のブロックに対してそれぞれ画像信号間の２次元の相関演算を行う。これによりブロック毎のずれ量、すなわち動きベクトルが求まり、これをバッファメモリに格納する。

ステップＳ１２で、制御手段１１３は操作手段１２１によって設定された画像合成モードが、主要被写体である人物を優先して合成を行う人物優先モードであるかを判定する。人物優先モードが設定されていればステップＳ１３に進み、そうでなければステップＳ１８に進む。

ステップＳ１３で、制御手段１１３は顔検出手段１１４に顔を判定するための基準レベルとして第２の基準レベルを設定させる。焦点調節エリア、測光エリアを決定するための顔検出よりも時間は要するが、撮影済みの画像信号に対して顔検出を行うため、撮影動作における顔検出とは異なり、レリーズタイムラグ等の影響が発生しない。基準レベルを厳しくすることで、ステップＳ５よりも精度の高い顔検出ができる。

ステップＳ１４で、顔検出手段１１４はステップＳ１０で連続撮影された最初の画像信号に対して顔検出を行う。ただし一つ一つの画像の輝度が低いため、デジタルゲイン処理を行うなどして輝度を高めた顔検出用の画像信号を生成し、この顔検出用の画像信号に対して顔検出を行う。また、最初の画像信号から顔検出ができなければ、２枚目、３枚目、と別の画像信号に対し顔検出を行う。もし全ての画像信号に対して顔検出が失敗したのであれば、ステップＳ５での顔検出結果を代用してもよい。

本実施の形態では、予め登録された個人別に顔検出用の異なるテンプレート情報を備えており、画像信号から顔検出だけでなく個人認識まで行うことができるものとする。顔として検出された領域に対して、更に個人別に用意されたテンプレート情報と順次マッチングを行う。一致度が最も高く、かつ、所定の閾値を満たしている場合は、そのテンプレート情報として登録されている個人であると判定する。そして、個人別のテンプレート情報には、予めその個人の優先順位に関する情報が関連付けられて記憶されている。これは複数の人物の顔が映っている場合に、全員に対して最適となるように位置ずれを補正することはほぼ不可能であるためである。また、予め優先度をつけておくことで、使用者の意図した被写体の位置ずれ補正を優先させることができる。

図３のように高い優先順位（例えば、１位）で登録されたＡさんの顔と、優先順位が登録されていないＢさんの顔が存在する場合を例にあげて説明する。Ａさんの顔と重畳する長方形領域の左上の座標を（ｘ_Ａ１、ｙ_Ａ１）、右下の座標を（ｘ_Ａ２、ｙ_Ａ２）とする。Ｂさんの顔と重畳する長方形領域の左上の座標を（ｘ_Ｂ１、ｙ_Ｂ１）、右下の座標を（ｘ_Ｂ２、ｙ_Ｂ２）とする。Ａさんの顔検出結果の信頼性をＲ_Ａ、Ｂさんの顔検出結果の信頼性をＲ_Ｂすると、ＡさんとＢさんの顔検出結果に関してそれぞれ次の情報がメモリ１１２に記憶される。もちろん、この情報は検出された人数や、その個人に応じて、記憶される情報は異なる。
Ａさん ｛（ｘ_Ａ１、ｙ_Ａ１）、（ｘ_Ａ２、ｙ_Ａ２）、Ｒ_Ａ、１｝
Ｂさん ｛（ｘ_Ｂ１、ｙ_Ｂ１）、（ｘ_Ｂ２、ｙ_Ｂ２）、Ｒ_Ｂ、−｝
ここで、顔検出結果の信頼性について説明する。

顔検出結果の信頼性にはいくつかの算出方法が考えられる。例えば、テンプレートマッチング結果、色（顔なら肌色）、動き検出（顔（人）なら動いている）などいくつかのパラメータを有していて、これらのパラメータの組み合わせによって信頼度を設定する方式がある。他には、テンプレートに対してどの程度マッチしたのかによって信頼度を設定する方式や、顔検出領域の解像度や面積に応じて信頼度を設定する（高解像度の画像に写った顔、大きく写った顔の方が信頼度が高い）方式などが考えられる。特開２００４−２０６６６５号公報には、肌色領域を検出しておき、この肌色領域から検出された顔領域は信頼性が高いと判定する方法が開示されている。特開２００３−２６６３４８号公報には、テンプレートの画素数ｎに対して、マッチした画素数をｎｍａｔｃｈとし、ｎｍａｔｃｈ／ｎを信頼度とする方法が開示されている。

本実施の形態では、上述のような種々の方法によって得られる顔検出結果の信頼性を示す値として、０〜１に正規化された値を設定する。信頼性が高いほど１に近い値となる。

もし、ステップＳ１４で顔検出に失敗し、顔の存在する領域を検出することができなければ、後述するステップＳ１９に進む（ステップＳ１５）。

ステップＳ１６で、ずれ検出手段１１５はメモリ１１２に記憶された顔検出結果の座標情報の範囲に含まれるブロックに対する重み付けＷを計算する。重み付けＷの計算には、顔検出結果の信頼性Ｒ（０≦Ｒ≦１）と、登録された顔に関する優先順位が加味される。具体的なＷの計算方法の例を挙げると、予め登録された顔の優先順位ごとの重みｗ_ｆ（ｆは優先順位）と、登録されていない一般の顔に対する重みｗ_０をカメラ内に保持している。優先順位が高い顔ほど重みが増すように
ｗ_１≧ｗ_２≧・・・≧ｗ_０≧１
を満たしているとする。この時、各顔ブロックの重み付けＷが、
Ｗ＝｛（ｗ_ｆ−１）×Ｒ｝＋１
で表されたとすると、登録された優先順位と顔検出時の信頼性が高いほど重み付けＷの値は大きくなる。Ａさん、Ｂさんの顔が検知された図３に示す例では、Ａさんの顔が検出されたブロックであるＦ３〜Ｆ５、Ｇ３〜Ｇ５の計６ブロックに対して｛（ｗ_１−１）×Ｒ_Ａ｝＋１の重み付けが与えられる。また、Ｂさんの顔が検出されたブロックであるＣ４〜Ｃ５、Ｄ４〜Ｄ５の計４ブロックに対しては｛（ｗ_０−１）×Ｒ_Ｂ｝＋１の重み付けが与えられる。なお、登録されていない顔の重み付けＷを０とするように設定するように構成すれば、位置ずれを算出する際に、たまたま写ってしまった通りがかりの人物等の、使用者の意図していない人物を無視することができる。

なお、本実施の形態では、登録された優先順位と顔検出時の信頼性の両方を用いて重み付けＷを与えているが、登録された優先順位と顔検出時の信頼性の一方のみを用いて重み付けＷを与えてもよい。

ステップＳ１７で、ステップＳ１１で算出してバッファメモリに記憶したブロック毎の動きベクトルと、ステップＳ１６で計算した重み付けを基に、画像信号毎に動きベクトルのヒストグラムを作成する。顔が検出されていないブロックに関しては、ブロック毎で算出された動きベクトル１つにつき１を加算するのに対して、顔が検出されたブロックに関してはＷ（Ｗ＞１）だけ加算して、その出現頻度をヒストグラムとして作成する。そしてステップＳ２０に進む。

ステップＳ１２に戻り、通常の合成モードに設定されていた場合は、ステップＳ１８にて、ステップＳ７において設定したフラグｆｌｇの値を検出する。フラグｆｌｇが１に設定されている場合は、カメラが流し撮りモードに設定されているか、撮影時にカメラが一定方向に動いていたことを示す。そのため、被写体を中心に画像合成を行う方が好ましい結果が得られると考えられる。そこでフラグｆｌｇが１に設定されている場合は、ステップＳ１３に進み、顔検出結果を利用して画像合成を行う処理に進む。

一方、フラグｆｌｇが０に設定されている場合は、ステップＳ１９に進み、ブロック別に重み付けをすることなく、ブロック毎に算出された動きベクトル１つにつき１を加算して、画像信号毎に動きベクトルのヒストグラムを作成する。ステップＳ１４にて顔検出に失敗した場合は、ステップＳ１５を経て、このステップＳ１９の処理を行う。そしてステップＳ２０に進む。

ステップＳ２０で、ステップＳ１７、或いはステップＳ１９で作成したヒストグラムにおいて最頻出となった動きベクトルを抽出し、その画像信号の動きベクトルとする。

そしてこの結果を基に、ステップＳ２１で、座標変換手段１１６が座標変換を行い、画像記憶手段１１７に記憶する。ステップＳ２０で求めた画像全体の動きベクトルを基に座標変換を行うことで、連続撮影された画像信号間の主たる位置ずれが相殺される。画像合成手段１１８は、画像記憶手段１１７から座標変換された一連の画像信号を読み出し、全ての画像信号とのみ重畳する領域のみを合成した画像信号を生成する。本実施の形態では、画像合成手段１１８は一部の画像信号のみが重畳する領域は合成せずにカットするが、一部の画像信号のみが重畳する領域も合成し、不足する輝度をデジタルゲインにて補償するようにしても構わない。画像合成手段１１８は合成した画像信号を拡散補完処理で元のフレームの大きさとしてから、メモリ１１２に記憶させる。そして信号処理手段１１１が、このメモリ１１２に記憶された合成後の画像信号を表示用の画像信号、或いは記憶用の画像信号に変換する。この変換された画像信号を受けて、表示手段１１９が合成後の画像信号を表示し、記録手段１２０が合成後の画像信号を記録する。

このように本実施の形態においては、人物の顔が存在する領域の重み付けを大きくして動きベクトルを求める。そのため、手足の動きなどの影響をあまり受けることなく、人物を優先させて複数の画像信号間のずれである動きベクトルを高い精度で求めることができる。

（第２の実施の形態）
上述した第１の実施の形態では、先に撮影画像を分割した全てのブロックについて動きベクトルを計算し、それから顔を検出して、顔が検出されたブロックに重み付けを行った上で、画像信号全体の動きベクトルを算出した。本実施の形態では、先に顔を検出して、顔が検出されたブロックのみを用いて画像信号全体の動きベクトルを算出する。

本実施の形態における撮像装置であるカメラのブロック図は、第１の実施の形態のブロック図と同様である。

本実施の形態の動きベクトルの演算処理について、図５に示すフローチャートを用いて、第１の実施の形態と異なる処理を中心に詳細に説明する。図５に示すフローチャートは、第１の実施の形態のフローチャートと共通する処理については、図４と同じステップ番号を付してある。図５に示すフローチャートは、図４に示すフローチャートのステップＳ１０までは同じ処理を行う。

ステップＳ１０で、ステップＳ５で得た測光情報をもとに連続撮影を行うと、ステップＳ１２に進む。第１の実施の形態と異なり、連続撮影をした後に、全てのブロックに対してそれぞれ２次元の相関演算を行うことはしない。

ステップＳ１２で、制御手段１１３は操作手段１２１によって設定された画像合成モードが、主要被写体である人物を優先して合成を行う人物優先モードであるかを判定する。人物優先モードが設定されていればステップＳ１３に進み、そうでなければステップＳ１８に進む。

ステップＳ１３で、制御手段１１３は顔検出手段１１４に顔を判定するための基準レベルとして第２の基準レベルを設定させる。

そして、ステップＳ１４で、顔検出手段１１４はステップＳ１０で連続撮影された最初の画像信号に対して顔検出を行う。ただし一つ一つの画像の輝度が低いため、デジタルゲイン処理を行うなどして輝度を高めた顔検出用の画像信号を生成し、この顔検出用の画像信号に対して顔検出を行う。また、最初の画像信号から顔検出ができなければ、２枚目、３枚目、と別の画像信号に対し顔検出を行う。もし全ての画像信号に対して顔検出が失敗したのであれば、ステップＳ５での顔検出結果を代用してもよい。

本実施の形態でも、予め登録された個人別に顔検出用の異なるテンプレート情報を備えており、画像信号から顔検出だけでなく個人認識まで行うことができるものとする。

図３の画像信号に対して顔検出を行うものとし、第１の実施の形態と同様の顔検出結果、及び個人認識結果が得られるとすると、ＡさんとＢさんの顔検出結果に関してそれぞれ次の情報がメモリ１１２に記憶される。
Ａさん ｛（ｘ_Ａ１、ｙ_Ａ１）、（ｘ_Ａ２、ｙ_Ａ２）、Ｒ_Ａ、１｝
Ｂさん ｛（ｘ_Ｂ１、ｙ_Ｂ１）、（ｘ_Ｂ２、ｙ_Ｂ２）、Ｒ_Ｂ、−｝
次に、ステップＳ３１で、ずれ検出手段１１４は連続撮影されたそれぞれの画像信号を複数のブロックに分割する。これら画像信号のメモリ１１２に記憶された座標情報の範囲に含まれるブロックのみを対象として、同一のブロックに対してそれぞれ画像信号間の２次元の相関演算を行う。これにより顔が検出されたブロック毎のずれ量、すなわち動きベクトルが求まり、バッファメモリに格納する。

そしてステップＳ３２で、顔が検出されたブロックに対して、顔検出結果の信頼性Ｒ（０≦Ｒ≦１）と、登録された顔に関する優先順位を加味して重み付けＷを計算する。そして、この重み付けＷを基に、画像信号毎に顔が検出されたブロックの動きベクトルのヒストグラムを作成する。そしてステップＳ２０に進み、ヒストグラムにおいて最頻出となった動きベクトルを抽出し、その画像信号の動きベクトルとする。

ステップＳ１２に戻り、通常の合成モードに設定されていた場合は、ステップＳ１８に進み、ステップＳ７、もしくはステップＳ８において記憶したフラグｆｌｇの値を検出する。フラグｆｌｇが１に設定されている場合は、カメラが流し撮りモードに設定されているか、撮影時にカメラが一定方向に動いていたことを示す。そのため、被写体を中心に画像合成を行う方が好ましい結果が得られると考えられる。そこでフラグｆｌｇが１に設定されている場合は、ステップＳ１３に進み、顔検出結果を利用して画像合成を行う処理に進む。

一方、フラグｆｌｇが０に設定されている場合は、ステップＳ３３に進む。ステップＳ３３で、ずれ検出手段１１５は連続撮影されたそれぞれの画像信号を複数のブロックに分割する。これら画像信号の全てのブロックを対象として、同一のブロックに対してそれぞれ画像信号間の２次元の相関演算を行う。これによりブロック毎のずれ量、すなわち動きベクトルが求まり、バッファメモリに格納する。

そしてステップＳ３４で、ブロック毎で算出された動きベクトル１つにつき１を加算して、画像信号毎に動きベクトルのヒストグラムを作成する。そしてステップＳ２０に進み、ヒストグラムにおいて最頻出となった動きベクトルを抽出し、その画像信号の動きベクトルとする。

ステップＳ２１で、第１の実施の形態と同様に、ステップＳ２０で求めた画像全体の動きベクトルを基に座標変換を行うことで、連続撮影された画像信号間の主たるずれを相殺し、これらの画像信号を合成する。

第２の実施の形態においては、人物優先モードの場合には、第１の実施の形態と異なり、顔が検出された領域に対してのみから動きベクトルを算出するため、動きベクトルの算出に要する時間が短縮される。

また、第１、第２の実施の形態においては、画像信号を複数のブロックに分割し、メモリ１１２に記憶された座標情報の範囲に含まれるブロックに対して相関演算を行っていた。本発明は、この方法に限定されるものではなく、例えば画像信号を複数のブロックに分割せずに、メモリ１１２に記憶された座標情報の範囲そのものに応じた領域に対して相関演算を行ってもよい。また、顔の形状に沿った領域を抽出して、その領域に対して相関演算を行ってもよい。

（その他の実施の形態）
第１の実施の形態、第２の実施の形態においては、静止画を前提とした構成について説明したが、本発明はこれに限ったものではなく、動画についても適用する事ができる。動画の手ぶれ補正については、例えば特開平１１−１８７３０３号公報に、特定の画像を基準とし、これと連続した他の画像との位置ずれを検出してこれを補正した画像を再生する技術が開示されている。この技術に本発明を適用する事により、動きベクトル算出の高精度化、処理時間の短縮が可能になるため、動画の再生にも効果的である。また、動画の手ぶれ補正に関しては、第１、第２の実施の形態で説明したように主要被写体（人物の顔）のある領域から算出される動きベクトルを優先するのではなく、主要被写体の無い領域（背景）を優先した方が望ましい。

つまり、図４のステップＳ１６での処理を、顔が検出された領域の重み付けを他の領域よりも小さくする処理に置き換えればよい。

もしくは、図５のステップＳ３１、Ｓ３２での処理を、顔が検出されていない領域のみの動きベクトルを算出し、ヒストグラムを作成する処理に置き換えればよい。

また、上述の実施の形態は、カメラの内部で動きベクトルの算出を行うものであったが、本発明はこれに限定されるものではない。カメラあるいはネットワーク上から有線通信或いは無線通信により複数枚画像を受け取ったＰＣ等の画像処理装置にも本発明を適用し、動きベクトル算出処理を実施することができる。

本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１、第２の実施の形態にかかる画像処理装置であるカメラのブロック図である。 画像信号の動きベクトルを説明するための図である。 人物の顔が検出された位置と重み付けを反映させるブロックの位置との関係を示す図である。 本発明の第１の実施の形態におけるカメラの動作を表すフローチャートである。 本発明の第２の実施の形態におけるカメラの動作を表すフローチャートである。

符号の説明

１００ 撮像装置
１０１ 撮影レンズ
１０２ 絞り
１０３ シャッタ
１０４ 撮像素子
１０５ 撮像素子駆動手段
１０６ ＡＦ駆動モータ
１０７ シャッタ駆動手段
１０８ 絞り駆動手段
１０９ 焦点制御回路
１１０ Ａ／Ｄ変換手段
１１１ 信号処理回路
１１２ メモリ
１１３ 制御手段
１１４ 顔検出手段
１１５ ずれ検出手段
１１６ 座標変換手段
１１７ 画像記憶手段
１１８ 画像合成手段
１１９ 表示手段
１２０ 記録手段
１２１ 操作手段

Claims (21)

1. 複数の画像信号間の位置ずれを検出するずれ検出手段と、
   画像信号から、基準情報との比較結果に応じて、特定の領域を検出する特定領域検出手段とを有し、
   前記ずれ検出手段は前記特定領域検出手段による特定の領域の検出結果に応じて、前記画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする画像処理装置。
2. 前記ずれ検出手段は前記特定領域検出手段の特定の領域の検出結果の信頼度に応じて、前記複数の画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記ずれ検出手段は前記特定領域検出手段の検出結果の信頼度が高い領域ほど、位置ずれを示す情報に対して大きな重み付けを設定して出力することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定領域検出手段は検出した特定の領域の種類を判別し、判別した種類に応じて、前記複数の画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記特定の領域とは人物の顔であり、前記特定領域検出手段は人物の顔の形状を示す基準情報との比較結果に応じて、人物の顔が存在する領域を検出することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記特定の領域とは人物の顔であり、前記特定領域検出手段は個人の顔の形状を示す基準情報との比較結果に応じて、検出した人物の顔から個人を判別し、判別した個人に応じて、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項４に記載の画像処理装置。
7. 前記ずれ検出手段は、前記画像信号の領域別に異なる重み付けが設定された位置ずれを示す情報を用いて、前記画像信号全体の位置ずれを算出することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 複数の画像信号間の位置ずれを検出するずれ検出手段と、
   画像信号から人物の顔の形状を示す情報との比較結果に応じて人物の顔が存在する領域を検出する顔領域検出手段をと有し、
   前記ずれ検出手段は、画像信号の前記人物の顔が存在する領域の位置ずれを示す情報と、画像信号の人物の顔が存在する領域とは異なる領域の位置ずれを示す情報のいずれかを出力することを特徴とする画像処理装置。
9. 前記顔領域検出手段の検出結果の信頼度が高い領域ほど、位置ずれを示す情報に対して大きな重み付けを設定して出力することを特徴とする請求項７に記載の画像処理装置。
10. 前記顔領域検出手段は、検出した人物の顔から個人を判別し、判別した個人に応じて、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項７に記載の画像処理装置。
11. 前記ずれ検出手段は、画像信号の前記人物の顔が存在する領域の位置ずれを示す情報と、画像信号の人物の顔が存在する領域とは異なる領域の位置ずれを示す情報のいずれかを用いて、前記画像信号全体の位置ずれを算出することを特徴とする請求項８から１０のいずれかに記載の画像処理装置。
12. 前記画像処理装置は撮像素子を備えたカメラであり、前記特定領域検出手段は、撮影時の焦点調節あるいは測光のために特定の領域を検出する際の検出基準と、撮影によって得られた画像信号に信号処理を施すために特定の領域を検出する際の検出基準とを、異ならせることを特徴とする請求項１から７のいずれかに記載の画像処理装置。
13. 前記画像処理装置は撮像素子を備えたカメラであり、前記ずれ検出手段は、前記画像処理装置自体の移動や向きに関する情報に応じて、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
14. 複数の画像信号間の位置ずれを検出するずれ検出工程と、
    画像信号から、基準情報との比較結果に応じて、特定の領域を検出する特定領域検出工程とを有し、
    前記ずれ検出工程では前記特定領域検出工程での前記特定の領域の検出結果に応じて、前記画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする画像処理方法。
15. 前記ずれ検出工程では前記特定領域検出工程での特定の領域の検出結果の信頼度に応じて、前記複数の画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１４に記載の画像処理方法。
16. 前記特定領域検出工程では検出した特定の領域の種類を判別し、判別した種類に応じて、前記複数の画像信号の領域別に、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１４または１５に記載の画像処理装置。
17. 前記特定の領域とは人物の顔であり、前記特定領域検出工程では人物の顔の形状を示す基準情報との比較結果に応じて、人物の顔が存在する領域を検出することを特徴とする請求項１４から１６のいずれかに記載の画像処理方法。
18. 前記特定の領域とは人物の顔であり、前記特定領域検出工程では個人の顔の形状を示す基準情報との比較結果に応じて、検出した人物の顔から個人を判別し、判別した個人に応じて、位置ずれを示す情報に対して異なる重み付けを設定して出力することを特徴とする請求項１６に記載の画像処理方法。
19. 前記ずれ検出工程では、前記画像信号の領域別に異なる重み付けが設定された位置ずれを示す情報を用いて、前記画像信号全体の位置ずれを算出することを特徴とする請求項１４から１８のいずれかに記載の画像処理装置。
20. 複数の画像信号間の位置ずれを検出するずれ検出工程と、
    画像信号から人物の顔の形状を示す情報との比較結果に応じて人物の顔が存在する領域を検出する顔領域検出工程をと有し、
    前記ずれ検出工程では、画像信号の前記人物の顔が存在する領域の位置ずれを示す情報と、画像信号の人物の顔が存在する領域とは異なる領域の位置ずれを示す情報のいずれかを出力することを特徴とする画像処理方法。
21. 請求項１４乃至２０のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。

Images