JP2008099273A - 画像処理装置 - Google Patents

Abstract

【課題】画像処理装置に関し、例えばデータ圧縮装置、画像認識装置に適用して、輪郭制御等の処理を簡易に実行できるようにする。
【解決手段】所定のサンプリングピッチによる第１の画像データと、前記第１の画像データを所定画素単位で平均値化して生成された第２の画像データとの間で差分データを生成する差分データ生成手段と、前記差分データにより、前記第１の画像データ又は前記第１の画像データに対応する処理対象の画像データの輪郭を補正する輪郭制御手段とを備えることを特徴とする画像処理装置。
【選択図】 図１

Description

本発明は、画像処理装置に関し、例えば画像認識装置、データ圧縮装置に適用することができる。本発明は、解像度の異なる画像データ間で差分データを生成すること等により、エッジ強調等の画像処理を簡易に実行できるようにする。

従来、画像処理装置においては、いわゆるピラミッド符号化等の階層符号化により画像データを符号化処理する方法が提案されている。この符号化方式においては、入力された画像データを異なる解像度による画像データに変換して符号化処理するものである。

すなわち図８に示すように、この種の符号化処理においては、入力された画像データＤＡ１１、ＤＡ１２、ＤＡ２１、ＤＡ２２、……より例えば２×２画素のブロックを順次形成し、各ブロック内において画素値の平均値を算出する。これによりこの符号化処理においては、画像データＤＡ１１、ＤＡ１２、ＤＡ２１、ＤＡ２２、……による最も上位階層の画像データに対し、水平方向及び垂直方向に解像度が１／２に低減してなる下位層の画像データＤＢ１１、ＤＢ１２、ＤＢ２１、ＤＢ２２、……を生成する。なおここでは、解像度の最も高い画像データを最上位の画像データとする。

さらにこの符号化処理においては、この画像データＤＢ１１、ＤＢ１２、ＤＢ２１、ＤＢ２２、……より例えば２×２画素のブロックを順次形成し、各ブロック内において画素値の平均値を算出する。これによりこの符号化処理においては、画像データＤＡ１１、ＤＡ１２、ＤＡ２１、ＤＡ２２、……による最も上位階層の画像データに対し、水平方向及び垂直方向に解像度が１／４に低減してなる下位層の画像データＤＣ１１、ＤＣ１２、ＤＣ２１、ＤＣ２２、……を生成する。

この符号化処理においては、このようにして生成した各階層の画像データより、必要とする階層の画像データを選択的に伝送することにより、伝送効率を向上するようになされている。

ところでこのようにして符号化処理して生成した複数階層の画像データを、画像伝送以外の処理に適用することができれば、この種の符号化装置の適用範囲を拡大することができ、この種の符号化装置の汎用性を向上できると考えられる。この場合、このようにして生成した複数階層の画像データを種々の画像処理に適用することが考えられる。
特開平０７−２６４６０３号公報 特開平０７−２２２１７０号公報 特開平０７−２２２１５７号公報 特開平０９−０６５３３９号公報

本発明は以上の点を考慮してなされたもので、解像度の異なる画像データを用いて種々の画像処理を実行することができる画像処理装置を提案しようとするものである。

かかる課題を解決するため請求項１の発明は、所定のサンプリングピッチによる第１の画像データと、前記第１の画像データを所定画素単位で平均値化して生成された第２の画像データとの間で差分データを生成する差分データ生成手段と、前記差分データにより、前記第１の画像データ又は前記第１の画像データに対応する処理対象の画像データの輪郭を補正する輪郭制御手段とを備えるようにする。

第１の画像データと第２の画像データとの間で差分データを生成すれば、差分データにおいては、第１の画像データのエッジ成分を示すことになる。これにより差分データにより、第１の画像データ又は第１の画像データに対応する処理対象の画像データの輪郭を補正する輪郭制御手段を備えるようにして、簡易に輪郭制御することができる。

本発明によれば、解像度の異なる画像データ間で差分データを生成することにより、簡易な構成でエッジ成分を検出することができ、このエッジ成分を利用して輪郭制御等の処理を簡易に実行することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）第１の実施例
図１は、本発明の第１の実施例に係る画像処理装置を示すブロック図である。この画像処理装置１は、画像認識に適用される。この画像処理装置１は、符号化回路２Ａ〜２Ｅにより画像データＤＡを順次演算処理し、これにより図８について上述した階層構造による画像データＤＡ〜ＤＥを生成すると共に、所定期間保持する。なおこの実施例は、本願の前提の構成を示す実施例である。

すなわち第１の符号化回路２Ａにおいては、連続する画像データＤＡを入力して保持することにより、最上位の階層による画像データＤＡを保持する。さらに符号化回路２Ａは、これら画像データＤＡを２×２画素のブロックによりブロック化し、各ブロックにおいてこれら画像データＤＡを平均値化することにより、この最上位の階層による画像データＤＡに対して、１階層下位層でなる画像データＤＢを出力する。

同様に第２の符号化回路２Ｂにおいては、連続する画像データＤＢを入力して保持することにより、最上位の階層による画像データＤＡに対して１階層下位層の画像データＤＢを保持する。さらに符号化回路２Ｂは、これら画像データＤＢを２×２画素のブロックによりブロック化し、各ブロックにおいてこれら画像データＤＢを平均値化することにより、この最上位の階層による画像データＤＡに対して、２階層下位層でなる画像データＤＣを出力する。

また同様に、第３及び第４の符号化回路２Ｃ及び２Ｄにおいては、前段の符号化回路２Ｂ及び２Ｃから出力される連続する画像データＤＣ及びＤＤを入力して保持することにより、最上位の階層による画像データＤＡに対してそれぞれ２階層及び３階層下位層の画像データＤＣ及びＤＤを保持する。さらに符号化回路２Ｃ及び２Ｄは、これら画像データＤＣ及びＤＤを２×２画素のブロックによりブロック化し、各ブロックにおいてこれら画像データＤＣ及びＤＤを平均値化することにより、この最上位の階層による画像データＤＡに対して、それぞれ３階層及び４階層下位層でなる画像データＤＤ及びＤＥを出力する。

最下位の符号化回路２Ｅにおいては、連続する画像データＤＥを入力して保持することにより、最上位の階層による画像データＤＡに対して４階層下位層の画像データＤＥを保持する。

このようにして画像データを保持する際に、これら符号化回路２Ａ〜２Ｅは、共通のメモリに画像データＤＡ〜ＤＥを保持する。さらに図２に示すように、２×２画素の各ブロックにおいて、所定の画素に対応するメモリ空間においては、このメモリ空間に本来記録する画像データＤＡ２２、ＤＢ２２、……に代えて、このブロックの平均値でなる１階層下位層の画像データＤＢ１１、ＤＣ１１を記録する。これにより符号化回路２Ａ〜２Ｅは、メモリ容量を低減して各階層の画像データを保持する。さらに符号化回路２Ａ〜２Ｅは、このようにして保持した画像データＤＡ〜ＤＥを入力時と同様の配列により出力する。

補間回路３は、システム制御回路４の制御により、最上位の符号化回路２Ａを除くこれら符号化回路２Ｂ〜２Ｅより画像データＤＢ〜ＤＥを選択的に入力して補間演算処理し、差分計算回路５における処理に対応したサンプリングピッチ（解像度）により出力する。なおここで補間回路３は、例えば線型補間、スプライン補間等により補間演算処理を実行する。これにより補間回路３は、差分計算回路５における処理に対応したサンプリングピッチにより、この差分計算回路５で処理する階層の画像データに対して、その下位層の画像データによる低解像度の画像データＤ１を生成して出力する。

差分計算回路５は、システム制御回路４の制御により、最下位の符号化回路２Ｅを除く符号化回路２Ａ〜２Ｄより画像データＤＡ〜ＤＤを選択的に入力し、補間回路３より出力される画像データＤ１との間で差分を計算して出力する。これにより差分計算回路５は、異なる階層の画像データより、高周波数成分による画像データＤ２を生成して出力する。ここでこの画像データＤ２は、符号化回路２Ａ〜２Ｄより入力する画像データＤＡ〜ＤＤの高周波数成分を示すことにより、各２×２画素単位のブロックについて見れば、このブロックにおける画素値の粗さを示すことになる。

システム制御回路４は、この画像処理装置１全体の動作を制御するコンピュータにより構成される。システム制御回路４は、補間回路３及び差分計算回路５の動作を制御し、画像処理回路６において処理する階層の画像データに対して、１階層下位層の画像データを補間演算処理して画像データＤ１を生成するように、補間回路３で処理する画像データの階層を指示する。またシステム制御回路４は、この処理に対応して、画像処理回路６において処理する階層の画像データと、補間回路３より出力される画像データＤ１との間で差分値を計算するように差分計算回路５の動作を制御する。

システム制御回路４は、このようにして得られる差分計算回路５の出力データＤ２を絶対値化した後、補間回路３で処理する画像データを単位にして平均値化する（以下、この平均値をアクティビティーと呼ぶ）。システム制御回路４は、このアクティビティーが所定値以上か否か判断し、ここで所定値以下の場合、システム制御回路４は、補間回路３に対して更に１階層下位層の画像データＤＣ〜ＤＥによる画像データＤ１の生成を指示し、この画像データＤ１による差分データＤ２を入力する。さらにシステム制御回路４は、４×４画素のブロックを単位にして、この差分データＤ２によるアクティビティーを計算し、このアクティビティーが所定値以上か否か判断する。

システム制御回路４は、差分データＤ２によるアクティビティーが所定値以上になるまで、順次補間回路３で処理する画像データの階層を切り換え、これにより画像処理回路６において、充分に有意な動きベクトルを検出することができるブロックサイズを計算する。

このようにしてブロックサイズを計算すると、システム制御回路４は、画像処理回路６に対してこの計算したブロックサイズを指示し、また動作の開始を指示する。これによりシステム制御回路４は、画像処理回路６に対して可変ブロックマッチングにより動きベクトルの検出対象を指示することになる。

画像処理回路６は、このシステム制御回路４から指示されたブロックサイズにより、事前に設定された階層の画像データについて、ブロックマッチングの手法を適用して動きベクトルを検出する。さらにこのようにして検出した動きベクトルより所望の被写体の動きを追跡してなる動き検出結果Ｄ３を出力する。

以上の構成において、順次入力される画像データＤＡは（図１）、符号化回路２Ａ〜２Ｅにおいて、階層符号化処理され、これにより上位層に対して順次画素数を１／４に低減して平均値化してなる画像データＤＡ〜ＤＥがこれら符号化回路２Ａ〜２Ｅに保持される。

このようにして符号化回路２Ａ〜２Ｂに保持された画像データは、ここで画像処理回路６において処理する画像データに対して１階層下位層の画像データが選択的に補間回路３に出力され、ここで補間処理され、この画像処理回路６において処理する画像データに対してサンプリング値が等しく設定されてなり、かつこの画像データの低周波成分でなる画像データＤ１が生成される。

続く差分計算回路５において、画像処理回路６において処理する画像データとこの画像データＤ１との差分値が計算され、これにより画像処理回路６において処理する画像データの２×２画素のブロックについて、画素の粗さを示してなる差分データＤ２が計算される。

この差分データＤ２の値ΔＥにおいては、図３に示すように、画像データＤＡの粗さを示すことにより、この差分値ΔＥが小さい場合、この１階層下位層による画像データの１画素に対応する画像データＤＡの２×２画素のブロックにおいては、画素値の変化が小さく、例えば単色物体のような領域と判断される。これによりこの２×２画素のブロックについては、連続する画像間で動きベクトルを検出しても、有意な動きベクトルを検出できないと考えられる。なおこの図３及び続く図４においては、説明の簡略化のため、１階層階層の異なる画像データ間で差分データＤ２を計算する場合であり、１つのブロックを２画素に設定して説明する。

これに対して図４に示すようにこの差分値ΔＥが大きい場合、このブロックにおいては、画素値の変化が大きく、これによりこのブロックについては、連続する画像間で動きベクトルを検出して、有意な動きベクトルを検出できると考えられる。

またこのようにして有意な動きベクトルを検出できない場合でも、この比較する階層を変化させて、画像処理回路６で処理する画像データに対して、２階層下位層の画像データにより補間演算処理した画像データＤ１より差分値ΔＥを計算すれば、１つのブロックを４×４画素のブロックにより平均値化した画像データより画像データＤ１を計算することにより、値の大きな差分値ΔＥを計算することができる場合がある。この場合、４×４画素のブロックにより動き検出すれば、有意な動きベクトルを検出することができる。

またこの場合でも差分値ΔＥの値が小さい場合、さらに下位層の画像データにより画像データＤ１を生成し差分値ΔＥを計算すれば、１つのブロックを８×８画素のブロックにより平均値化した画像データより画像データＤ１を計算することにより、値の大きな差分値ΔＥを計算することができる場合がある。この場合、８×８画素のブロックにより動き検出すれば、有意な動きベクトルを検出することができる。

これにより画像処理装置１においては、１階層下位層の画像データにより差分データＤ２の値ΔＥが絶対値化された後、２×２画素のブロック単位で平均値化されてアクティビティーが検出される。さらにこのアクティビティーが所定値以下の場合、システム制御回路４の制御により、続く下位層の画像データが補間回路３に出力され、ここで画像処理回路６にて処理する画像データに対してサンプリング値が等しく設定されて、かつこの画像データに対してさらに一段と周波数の低い画像データＤ１が生成される。さらにこの画像データにより差分データＤ２が生成され、この差分データＤ２が４×４画素のブロック単位で絶対値化された後、平均値化されてアクティビティーが検出される。さらにこのアクティビティーが所定値以下の場合、続く下位層の画像データが補間回路３に出力され、ここで画像処理回路６にて処理する画像データに対してサンプリング値が等しく設定されて、かつこの画像データに対してさらに一段と周波数の低い画像データＤ１が生成される。

これらの処理が繰り返されて、所定値以上のアクティビティーが検出されると、画像処理回路６において、このアクティビティーに対応するブロックサイズが動きベクトルの検出対象に設定され、予め設定された画像データについて動きベクトルが検出され、またこの検出した動きベクトルにより所望の被写体の動きＤ３が検出される。

これらによりこの画像処理装置１では、階層化した画像データを有効に利用してブロックサイズを可変して動きベクトルが検出されることになる。かくするにつき、この実施例においては、このブロックサイズが最大で２×２画素、４×４画素、８×８画素、１６×１６画素、３２×３２画素の範囲で選択されることになる。さらに検出したブロックサイズにより動きベクトルを検出して、画像に応じて適応的に動きベクトル検出範囲を切り換えることになる。

以上の構成によれば、階層の異なる画像データ間で差分データを生成し、この差分データを基準にしてブロックサイズを検出して動きベクトルの検出対象を設定することにより、複数階層の画像データを有効に利用して、簡易な構成により有意な動きベクトルを検出することができる。

（２）第２の実施例
図５は、本発明の第２の実施例に係る画像処理装置を示すブロック図である。この画像処理装置１０において、図１について上述した画像処理装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この画像処理装置１０において、システム制御回路１１は、画像処理回路１２において処理する画像データに対して、オペレータにより設定された画像データを処理するように補間回路３及び差分計算回路５の動作を制御する。ここでこの画像データは、例えば画像処理回路１２において処理する画像データＤＡに対して、差分計算回路５においては、同一の画像データＤＡが、補間回路３においては、所定数だけ下位層の画像データが設定される。

なお補間回路３は、この設定に対応して、画像処理回路１２において処理する画像データＤＡと同一のサンプリングピッチにより画像データを生成する。また差分計算回路５は、必要に応じて処理する画像データを補間演算処理し、これにより画像処理回路１２において処理する画像データＤＡと同一のサンプリングピッチによる画像データについて差分データＤ２を生成する。

これによりシステム制御回路１１は、補間回路３及び差分計算回路５によりサーフボードフィルタを構成し、図６に示すように、画像処理回路１２において処理する画像データＤＡについて、差分計算回路５よりエッジ成分の画像データＤ２を出力する（図６（Ａ）〜（Ｃ））。

画像処理回路１２は、処理対象の画像データＤＡにエッジ成分の画像データＤ２を加算し、これによりこの画像データＤＡのエッジを強調してなる画像データＤ４を出力する。またシステム制御回路４の制御により、処理対象の画像データＤＡよりエッジ成分の画像データＤ２を減算し、これによりこの画像データＤＡのエッジをぼかしてなる画像データＤ４を出力する。またこれらの処理において、画像処理回路１２は、システム制御回路４の制御により、画像データＤ２を重み付けして加算し、これにより輪郭の程度を種々に可変する。これらにより画像処理回路１２は、画像データＤ４の輪郭を制御する。

またこのエッジ成分の画像データＤ２を所定のしきい値により２値化し、続く画像処理装置にエッジデータＤ４として出力する。これにより画像処理回路１２は、エッジ成分の画像データＤ２をキー信号等により利用できるようになされている。

図５に示す構成によれば、階層の異なる画像データ間で差分データＤ２を生成することにより、処理対象画像のエッジ成分を簡易に抽出することができ、これにより簡易な構成で輪郭制御することができる。

また必要に応じて差分データＤ２の生成に用いる補間回路３及び差分計算回路５について、処理対象画像の階層を変更して、輪郭制御の程度、さらには制御対象でなる輪郭の周波数成分を種々に変更することができ、これにより所望の特性による輪郭制御を実行することができる。

またこの輪郭制御の程度、さらには制御対象でなる輪郭の周波数成分を種々に変更することができるエッジ成分の画像データＤ２を２値化することにより、例えばキー信号等の、種々の画像処理に使用することができる基準データＤ５を生成することができる。

（３）第３の実施例
この実施例においては、画像処理装置において、画像データのシェーディングを補正する。なおこの実施例においては、補間回路３、差分計算回路５、画像処理回路１２の動作、これに対応するシステム制御回路１１の動作が異なる以外、第２の実施例と同一の構成でなることにより、第２の実施例について説明した図５に示す構成を流用して説明する。なおこの実施例は、本願発明の参考例を示すものである。

補間回路３は、システム制御回路１１の指定により、最も下位層の画像データＤＥを受け、この画像データＤＥの所定サンプリング数による移動平均を計算する。このとき補間回路３は、画像データＤＥを演算処理して移動平均を計算することにより、画像データＤＥの明度について、移動平均を計算する。ここでこの移動平均によるサンプリング値を所定の範囲に設定すれば、この補間回路３による画像データＤ１は、画像処理回路１２において処理する画像データＤＡについて、シェーディングの情報を有し、この画像データＤＡにおける画像について照度分布を示すことになる。

図７に示すように、差分計算回路５は、画像処理回路１２において処理する画像データＤＡを受け、この画像データＤＡより画像データＤ１を減算する（図７（Ａ）及び（Ｂ））。ここで差分計算回路５は、補間回路３と同様に、演算処理により画像データＤＡの明度について、この減算処理を実行する。これにより差分計算回路５は、画像データＤ１による照度分布を基準にして、画像データＤＡの画素値の変化を順次示してなる画像データＤ２を生成する。かくするにつきこの画像データＤ２は、シェーディングを含む画像データＤＡによる画像の照度分布より、画像データＤＡの画素値の変化を順次示すことになる。

画像処理回路１２は、画像データＤＡを１画面分累積して平均値化する。このとき画像処理回路１２は、差分計算回路５と同様に、画像データＤＡの明度について、平均値を計算する。これにより画像処理回路１２は、画像データＤＡによる画像の平均明度ＤＬを計算する。画像処理回路１２は、差分計算回路５の出力データＤ２にこの平均値ＤＬを加算することにより、出力データＤ２に平均明度ＤＬ分の直流レベルを加算し、これにより画像データＤＡのシェーディングを補正してなる補正画像を生成する（図７（Ｃ）及び（Ｄ））。

画像処理回路１２は、システム制御回路１１の制御により、このようにして生成した補正画像データの明度にオフセット値を与えることにより、補正画像の明度を種々に補正する。さらにシステム制御回路１１の制御により、この明度の補正に代えて、又は明度の補正に加えて、出力データＤ２及び又は画像データＤＡの明度を所望の利得により補正し、これにより補正画像における明度のコントラストを種々に調整する。

以上の構成によれば、最下位層の画像データの移動平均を検出することにより、画像データによる画像の照度分布を簡易に計算することができる。これによりこの計算した照度分布の画像データＤ１を用いて、被写体の照明に照明ムラがある場合でも、この照明ムラによるシェーディングを簡易に補正することができる。

これにより、補正画像等について輝度レベルを補正することにより、このシェーディングによる影響を有効に回避してコントラスト及び明度を種々に調整することができる。

（４）他の実施例
なお上述の第１の実施例においては、事前に設定した画像データについてブロックサイズを可変して動きベクトルを検出する場合について述べたが、本発明はこれに限らず、アクティビティーにより動きベクトル検出対象でなる画像データの階層を切り換えるようにしてもよい。このようにすれば例えば固定したブロックサイズにより有意な動きベクトルを検出することができる。

また上述の第１の実施例においては、下位層の画像データを補間演算処理して上位層に対応するサンプリングピッチの画像データを生成し、この画像データより差分データＤ２を生成する場合について述べたが、本発明はこれに限らず、実用上充分な精度によりアクティビティーを検出できる場合、この補間演算処理を省略して、下位層の画像データを対応するブロックの画像データから減算して差分データを生成してもよい。このようにすれば全体構成をさらに一段と簡略化することができる。

さらに同様にして、第２の実施例においても、補間回路３における補間演算処理を省略してもよい。

また上述の第３の実施例においては、最下位層の画像データＤＥを移動平均して画像データＤ１を生成する場合について述べたが、本発明はこれに限らず、必要に応じて種々の階層の画像データより移動平均を生成する場合にも広く適用することができる。

さらに上述の第３の実施例においては、最上位層の画像データＤＡを１画面分平均値化して平均照度を計算する場合について述べたが、本発明はこれに限らず、下位層の画像データを平均値化して平均照度を計算してもよい。

また上述の第３の実施例においては、画像データＤＡを１画面分平均値化して平均照度を計算し、この平均照度による直流レベルを加算する場合について述べたが、本発明はこれに限らず、この直流レベルを種々の値に設定するようにしてもよい。

また上述の第１の実施例においては、動きベクトルを検出して被写体の動きを検出する場合について述べたが、本発明はこれに限らず、例えば動きベクトルを検出してデータ圧縮処理に利用することもできる。

また上述の実施例においては、順次２×２画素単位で画像データを平均値化して階層構造による画像データを生成する場合について述べたが、本発明はこれに限らず、種々の画素単位で階層構造の画像データを生成する場合に広く適用することができる。

本発明は、画像処理装置に関し、例えば画像認識装置、データ圧縮装置に適用することができる。

本発明の第１の実施例に係る画像処理装置を示すブロックである。 図１の画像処理装置の符号化回路の説明に供する略線図である。 図１の符号化処理装置の差分データの説明に供する略線図である。 図３の差分データの値が大きな場合の説明に供する略線図である。 本発明の第２の実施例に係る画像処理装置を示すブロックである。 図５の画像処理装置の動作の説明に供する略線図である。 本発明の第３の実施例に係る画像処理装置の動作の説明に供する略線図である。 階層符号化の説明に供する略線図である。

符号の説明

１、１０……画像処理装置、２Ａ〜２Ｅ……符号化回路、３……補間回路、４、１１……システム制御回路、５……差分計算回路、６、１２……画像処理回路

Claims (2)

1. 所定のサンプリングピッチによる第１の画像データと、前記第１の画像データを所定画素単位で平均値化して生成された第２の画像データとの間で差分データを生成する差分データ生成手段と、
   前記差分データにより、前記第１の画像データ又は前記第１の画像データに対応する処理対象の画像データの輪郭を補正する輪郭制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記差分データを２値化する２値化手段を有する
   ことを特徴とする請求項１に記載の画像処理装置。
   

Images