JP2008158946A - 画像処理システム - Google Patents

Abstract

【課題】
そこで、本発明の目的は、原画像に補正処理を施すことによって得られる補正画像から原画像のノイズ強度を推定する。
【解決手段】判定部６は、補正画像において、画素ブロック内のそれぞれの隣接画素間の輝度変化量を輝度判定しきい値と比較することによって、輝度変化が小さい画素ブロックを無効ブロックＩＢとして複数抽出する。逆補正部７は、複数の無効ブロックＩＢに対して、補正処理の逆補正処理を施し、逆補正ブロックＲＢを生成する。ノイズ強度推定部８は、逆補正ブロックＲＢに関して、隣接画素間の輝度変化量のヒストグラムを生成するとともに、このヒストグラム上における輝度変化量が０である原点近傍の出現頻度分布を原画像のノイズ強度分布と推定する。
【選択図】図１

Description

本発明は、原画像のノイズ強度を推定する画像処理システムに関する。

特許文献１には、車外の景色を撮像した一対の画像を入力としたステレオマッチング処理によって、視差を画素ブロック単位で算出し、これに基づいて車外の状況を監視するステレオ式車外監視装置が開示されている。この監視装置では、視差の算出単位である個々の画素ブロックに関して、画素ブロック中の隣接画素間における輝度変化量と、輝度判定しきい値との比較によって、輝度変化の大きな画素ブロックが特定される。そして、この特定された画素ブロックに関する視差のみが、物体認識で使用する有効距離データとして用いられ、それ以外は無効とされる。輝度判定しきい値は、例えば、過剰な数の距離データが算出されがちな日中では大きな値に設定され、距離データの数が不足しがちな夜間では小さな値に設定されるといった如く、有効距離データの数に応じて自動的に調整される。このように、監視環境（撮像環境）に応じて輝度判定しきい値を調整することで、環境に依存することなく、必要な数の距離データを安定して確保できる。
特開２００１−６７４８４号公報

しかしながら、上述した特許文献１では、原画像に重畳しているノイズについては何ら考慮されていない。

そこで、本発明の目的は、原画像に補正処理を施すことによって得られる補正画像から、原画像のノイズ強度を推定できる新規な手法を提供することである。

かかる課題を解決すべく、本発明は、判定部と、逆補正部と、ノイズ推定部とを有し、原画像に補正処理を施すことによって得られる補正画像から原画像のノイズ強度を推定する画像処理システムを提供する。判定部は、補正画像において、画素ブロック内のそれぞれの隣接画素間の輝度変化量を輝度判定しきい値と比較することによって、輝度変化が小さい画素ブロックを第１の画素ブロックとして複数抽出する。逆補正部は、判定部によって抽出された複数の第１の画素ブロックに対して、補正処理の逆補正処理を施す。ノイズ強度推定部は、逆補正部によって逆補正処理が施された複数の第１の画素ブロックに関して、隣接画素間の輝度変化量のヒストグラムを生成するとともに、このヒストグラム上における輝度変化量が０である原点近傍の出現頻度分布を原画像のノイズ強度分布と推定する。

ここで、本発明において、ノイズ強度推定部は、原点近傍に存在する出現頻度のピーク高さに応じて、出現頻度の高さに関するしきい値レベルを設定するとともに、このしきい値レベルの出現頻度を有する輝度変化量に基づいて、ノイズ強度推定値を算出することが好ましい。この場合、ノイズ強度推定部は、しきい値レベルの出現頻度を一方が上回り、他方が下回る互いに隣接した一対の輝度変化量を入力とした補間演算によって、ノイズ強度推定値を整数レベルよりも細かい分解能で算出してもよい。

また、本発明において、ノイズ強度推定部によって算出されたノイズ強度推定値に応じて、輝度判定しきい値を調整する調整部をさらに設けてもよい。この場合、調整部は、ノイズ強度推定値が大きくなるほど、輝度判定しきい値を大きくすることが好ましい。

また、本発明において、判定部は、平均輝度が下限値以下の画素ブロック、および、平均輝度が上限値以上の画素ブロックについては、第１の画素ブロックとして抽出しないことが好ましい。

さらに、本発明において、一対の画像を入力としたステレオマッチング処理を行うことによって、距離データを画素ブロック単位で算出するステレオマッチング部とをさらに設けてもよい。この場合、判定部は、補正画像において、隣接画素間の輝度変化量を輝度判定しきい値と比較することによって、輝度変化が大きい画素ブロックを第２の画素ブロックとして抽出するとともに、この第２の画素ブロックに関して算出された距離データを、物体認識を行う際に使用する有効距離データとして特定することが好ましい。

輝度変化の少ない画素ブロックをサンプルとしたヒストグラムの特性として、輝度変化量が０である原点近傍に出現頻度が集中する。理論的には原点のみに出現するが、実際にはノイズの影響があるので、略原点を中心としたピーク形状を形成する。一方、画素ブロック内に物体に起因したエッジが多少入っている場合、このエッジは原点近傍のピーク形状には含まれず、原点近傍から比較的離れた位置において別のピークとなって現れる。このような特性に鑑み、ヒストグラム中の原点近傍の出現頻度分布を、原画像のノイズ強度分布と推定することができる。

図１は、画像処理システムを適用したステレオ式物体認識装置のブロック図である。この物体認識装置は、ステレオカメラ１と、画像処理システム２と、物体認識部３とを主体に構成されており、画像に写し出された検出対象物の実空間上の位置を認識する。ステレオカメラ１は、メインカメラ１ａと、サブカメラ１ｂとを有し、所定の間隔で撮像を繰り返すことによって、一対の原画像（受光画像）を時系列的に出力する。画像処理システム２は、その主要な機能として、時系列的に撮像された一対の画像を入力としたステレオマッチング処理を行い、距離データを生成する。物体認識部３は、画像処理システム２によって生成された距離データ（実際には、後述する有効距離データ）に基づいて、検出対象物を認識し、その実空間上の位置を算出する。

画像処理システム２は、補正部４と、ステレオマッチング部５と、判定部６と、逆補正部７と、ノイズ強度推定部８と、調整部９とで構成されている。この処理システム２の特徴は、基本的な処理機構４〜６にフィードバック機構７〜９を新たに追加した点にあり、後者によって、ノイズ強度の推定機能と、これに基づく輝度判定しきい値ＤＣＤＸthの調整機能とが実現される。

補正部４は、ステレオカメラ１から出力された一対の原画像に対して、各種の補正処理を施して、補正画像を生成する。補正処理は、原画像に重畳しているノイズの変調を生じるあらゆる処理をすべて含み、例えば、原画像の輝度補正（ガンマ補正等）、カメラ１ａ，１ｂ内のＣＣＤ特性に応じた補正、システムの周囲温度に応じた補正、各種のフィルタ処理等が挙げられる。これらの補正処理は、テーブル・ルック・アップ方式（すなわち、予め用意されたテーブルを参照して補正を行う方式）や所定の数式を用いた数値演算等によって行われる。

ステレオマッチング部５は、補正部４より出力された一対の補正画像を入力としたステレオマッチング処理を行い、距離データｄij（視差ｄij）を画素ブロック単位で算出する。図２に示すように、視差ｄijの算出単位は、メインカメラ１ａの基準画像（メインカメラ１ａの補正画像）を縦横に分割することによって得られる画素ブロックＰＢij（画像の一部を構成する小領域）である。例えば、基準画像のサイズが512×200画素、一画素ブロックＰＢijのサイズが４×４の場合、一フレーム相当の撮像画像から、最大で画素ブロックＰＢijの個数相当（128×50個）の視差群が算出される。視差ｄijは、算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ１に近いほど、この画素ブロックＰＢijの視差ｄijは大きくなり、対象物が遠いほど視差ｄijは小さくなる（無限に遠い場合、視差ｄijは０になる）。ある画素ブロックＰＢij（相関元）に関する視差ｄijを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像（サブカメラ１ｂの補正画像）において特定する。上述したように、ステレオカメラ１から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオマッチング部５は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。２つの画素ブロックの相関は、例えば、輝度差絶対和または輝度差自乗和といった周知の相関評価値を用いて評価することができる。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄijとなる。画素ブロックＰＢij内に写し出された対象物の実空間上の位置（Ｘ，Ｙ，Ｚ）は、この画素ブロックＰＢijの画像平面上の座標（ｉ，Ｊ）と、その視差ｄijとを入力とした座標変換によって一義的に特定される。

判定回路６は、一方の補正画像（例えば基準画像）を参照して、画素ブロックＰＢij内の水平方向に輝度エッジ（輝度変化）を評価することにより、ステレオマッチング部５において算出された距離データｄijにフィルタリング処理を施す。図３は、画素ブロックＰＢij内の輝度エッジの説明図である。ある画素ブロックＰＢijにおいて、水平方向において隣接した画素対の輝度変化量（絶対値）Δｐ1〜Δｐ16が算出される。ただし、一番左側の画素列（ｐ11，ｐ12，ｐ13，Ｐ14）に関しては、左側に隣接した画素ブロックの一番右側の画素列から輝度変化量（Δｐ1，Δｐ5，Δｐ9，Δｐ13）が算出される。つぎに、これらの輝度変化量Δｐ1〜Δｐ16のうち、輝度判定しきい値ＤＣＤＸth以上のものの数（すなわち、輝度のエッジ数）がカウントされる。この輝度判定しきい値ＤＣＤＸthは、後述するフィードバック制御により、調整部９によって適切に設定される。判定部６は、それぞれの画素ブロックＰＢijに関して、輝度判定しきい値ＤＣＤＸth以上の値を有する輝度変化量Δｐの個数をエッジ数としてカウントする（エッジ数は０から１６の範囲内となる）。

判定部６は、所定の個数（例えば４個）以上のエッジ数を有する画素ブロックＰＢijを有効ブロックとして抽出し、有効ブロックに関する距離データｄijを有効距離データｄ'ijとして物体認識部３に出力する。水平方向の輝度変化が少ない画素ブロックＰＢij、換言すれば、輝度的な特徴（テクスチャ）があまりないような画素ブロックＰＢijは、ステレオマッチング部５においてマッチングが取れたとしても、その視差ｄijの信頼性は低いことが多い。そこで、テクスチャがあまりない画素ブロックＰＢijについては、その視差ｄijを無効にすることで、有効距離データｄ'ijの信頼性を高めている。物体認識部３は、判定部６から出力された信頼性の高い有効距離データｄ'ijに基づいて、検出対象物の認識を行う。

また、判定部６は、所定の個数（例えば０または１個）以下のエッジ数を有する画素ブロックＰＢij（輝度変化が小さく、テクスチャがないもの）を無効ブロックＩＢとして複数抽出し、無効ブロックＩＢに関する情報（輝度変化量Δｐを含む）を逆補正部７に出力する。本実施形態では、複数の無効ブロックＩＢをサンプルとした統計処理によって、原画像に重畳しているノイズの強度を推定する。統計的傾向の顕在化という観点でいえば、画面中に分散して多数のサンプルを確保することが好ましい。また、例えば自動車に搭載される前方監視システム等のように、撮像する景色がある程度決まっている場合には、テクスチャがあまり存在しない画像領域（例えば道路が写し出される部分）にウインドウを設定し、このウインドウ内でサンプルを抽出することが好ましい。

なお、無効ブロックＩＢの抽出に際して、判定部６は、上述したエッジ数に基づく判定に加えて、画素ブロックＰＢijの輝度平均を考慮してもよい。例えば、平均輝度が下限値（例えば２５６階調で０）以下の画素ブロックＰＢijと、平均輝度が上限値（例えば２５６階調で２５５）以上の画素ブロックＰＢとについては、無効ブロックＩＢとして抽出しないといった如くである。輝度平均を考慮する理由は、完全飽和等している画素ブロックＰＢijについてはノイズ振幅が測定できないので、これを避けるためである。さらに、これらに加えて、上下の画素ブロックＰＢijの距離データｄijが連続していないことを加味してもよい（この状態は、物体ではなくノイズによるミスマッチの可能性があるため）。

逆補正部７は、複数の無効ブロックＩＢのそれぞれに対して、補正部４にて行われた補正処理の逆補正処理を施す。図４は、輝度とノイズ増幅率の関係を示す特性図であり、同図（ａ）は、補正画像の特性の一例である。受光強度に対する認識画像（物体認識部３への入力画像）のノイズ増幅率は、同図（ｂ）に示すように、輝度全域に亘って一定であることが好ましい。しかしながら、同図（ａ）に示すように、ＣＣＤ特性に応じた補正やガンマ補正等が施された補正画像では、ノイズ増幅率は一定ではなく非線形になってしまっている。このようにノイズが変調している状態（補正画像）のままでは、原画像に重畳しているノイズ強度を有効に推定することは困難である。そこで、その前処理として、補正画像から特性・補正分を除去して、同図（ｂ）の状態（補正画像の非線形的なノイズ特性）を同図（ａ）の状態（原画像本来の線形的なノイズ特性）に戻す処理、すなわち、逆補正処理を行う必要がある。

補正部４における補正内容（すなわち、ＣＣＤノイズ特性から認識画像に至るまでのノイズに影響を与える全処理）は既知なので、これに基づいて、逆補正部７における逆補正の内容も一義的に特定される。具体的には、先の補正がテーブル・ルック・アップ方式の場合には、補正時に用いられたテーブルの逆変換テーブルを用意することで、この補正に対応した逆補正が可能になる。また、先の補正が数値演算の場合には、補正時に用いられた数式の逆変換式を用意しておけば、この補正に対応した逆補正が可能になる。このような逆補正処理によって生成された逆補正ブロックＲＢは、ノイズ強度推定部８に出力される。

ノイズ強度推定部８は、複数の逆補正ブロックＲＢをサンプルブロックとして用い、図５に示すような、隣接画素間の輝度変化量Δｐのヒストグラムを生成する。Ｎ個のサンプルブロックより、輝度変化量Δｐのサンプルが（Ｎ×１６）個得られる。これらのサンプルは、輝度変化量の絶対値｜Δｐ｜を横軸とした投票空間に順次投票される。これによって得られるヒストグラムの特性として、輝度変化量｜Δｐ｜＝０の原点近傍に出現頻度が集中する。テクスチャのないブロックをサンプルとしているので、理論的には原点のみに出現するはずだが、実際にはノイズの影響があるので、略原点を中心としたピーク形状を形成する。一方、ブロック内に物体に起因したエッジが多少入っている場合、このエッジは原点近傍のピーク形状には含まれず、原点近傍から比較的離れた位置において別のピークとなって現れる。以上のような理由で、ヒストグラム中の原点近傍の出現頻度分布を、原画像のノイズ強度分布と推定することができる。同図の例では、輝度変化量が０〜｜Δｐ3｜の範囲がノイズ強度分布として特定される。

なお、本実施形態では、輝度変化量Δｐの絶対値ベースでヒストグラムを生成しているが、輝度変化量Δｐの符号も考慮したヒストグラムを用いてもよい。

また、ノイズ強度推定部８は、ノイズ強度分布に基づいて、ノイズ強度の目安値となるノイズ強度推定値Ｎを算出する。具体的には、まず、ノイズ強度分布（ヒストグラム上の原点近傍）に存在する出現頻度のピーク高さが特定される。同図の例では、輝度変化量｜Δｐ｜＝０がピークなので、ピーク高さは出現頻度ｋ0となる。つぎに、このピーク高さＫ0に応じて、出現頻度の高さに関するしきい値レベルｋthが設定される。このしきい値レベルｋthは、例えば、ピーク高さｋ0を基準にした所定の割合δ（例えば25％）を乗じた値（ｋ0×δ）を用いることができる。そして、このしきい値レベルｋthとなる輝度変化量に基づいて、ノイズ強度推定値Ｎが算出される。

図５において、しきい値ｋthを一方が上回り、他方が下回る互いに隣接する輝度変化量｜Δｐ2｜，｜Δｐ3｜のうち、しきい値レベルＫthを下回る方の値｜Δｐ3｜をノイズ強度推定値Ｎとしてもよい。また、しきい値レベルＫthを上回る方の値｜Δｐ2｜としてもよい。この場合、ノイズ強度推定値Ｎは整数値となる。ノイズ強度推定値Ｎを整数レベルよりも細かい分解能（小数レベル）で求めたい場合、しきい値レベルｋthによって出現頻度がスライスされる互いに隣接した一対の輝度変化量｜Δｐ2｜，｜Δｐ3｜を入力とした補間演算（例えば線形補間）を行い、その補間値を用いればよい。算出されたノイズ強度推定値Ｎは、調整部９に出力される。

調整部９は、ノイズ強度推定値Ｎに応じて、輝度判定しきい値ＤＣＤＸthを調整し、これを判定部６にフィードバックする。輝度判定しきい値ＤＣＤＸthは、ノイズ強度推定値Ｎが大きくなるほど大きな値に設定される。例えば、ノイズ強度推定値Ｎに一定値αを乗じた値をゲインとし、これを現在の輝度判定しきい値ＤＣＤＸthに乗じることによって、新たな輝度判定しきい値ＤＸＣＤthを算出することができる。ノイズ強度推定値Ｎが大きいということは、現状の輝度判定しきい値ＤＣＤＸthでは判定が緩く、画像中のノイズのキャンセルが十分でないことを意味する。この場合には、輝度判定しきい値ＤＣＤＸthを現在値よりも大きな値に設定することによって、判定部６における輝度エッジの判定基準を現在よりも厳しくする（これによって、ノイズ・キャンセルが強化される）。なお、輝度判定しきい値ＤＣＤＸthの急激な変動を抑制するために、ノイズ強度推定値Ｎに対して時間的・空間的な平滑処理を施した上で使用することが好ましい。

本実施形態によれば、輝度変化量が０である原点近傍にノイズに起因した出現頻度が集中し、エッジに起因した出現頻度は原点から離れた位置に出現するというヒストグラム特性を利用して、原点近傍の出現頻度分布を原画像のノイズ強度分布と推定することができる。

また、ノイズ強度分布に基づいてノイズ強度推定値Ｎを算出し、これを用いて輝度判定しきい値ＤＣＤＸthをフィードバック制御することで、物体認識で使用される有効距離データｄ'ijの精度の向上を図ることができる。なお、ノイズ強度推定値Ｎの別の用途として、距離データｄijの信頼度（視差のばらつき具合）を算出するために用いてもよい。

なお、上述した実施形態では、画素ブロックＰＢijにおける水平方向の輝度変化量Δｐを輝度判定しきい値ＤＣＤＸthと比較することによって、画素ブロックＰＢijの輝度の変化の大小（テクスチャの強弱）を評価している。しかしながら、本発明はこれに限定されるものではなく、垂直方向の輝度変化量、または、垂直方向および水平方向の双方の輝度変化量に基づいて、かかる評価を行ってもよい。

画像処理システムを適用したステレオ式物体認識装置のブロック図 画像平面上に設定される画素ブロックの説明図 画素ブロック内の輝度エッジの説明図 輝度とノイズ増幅率の関係を示す特性図 隣接画素間の輝度変化量のヒストグラムを示す図

符号の説明

１ ステレオカメラ
１ａ メインカメラ
１ｂ サブカメラ
２ 画像処理システム
３ 物体認識部
４ 補正部
５ ステレオマッチング部
６ 判定部
７ 逆補正部
８ ノイズ強度推定部
９ 調整部

Claims (7)

1. 原画像に補正処理を施すことによって得られる補正画像から、原画像のノイズ強度を推定する画像処理システムにおいて、
   前記補正画像において、画素ブロック内のそれぞれの隣接画素間の輝度変化量を輝度判定しきい値と比較することによって、輝度変化が小さい画素ブロックを第１の画素ブロックとして複数抽出する判定部と、
   前記判定部によって抽出された前記複数の第１の画素ブロックに対して、前記補正処理の逆補正処理を施す逆補正部と、
   前記逆補正部によって逆補正処理が施された前記複数の第１の画素ブロックに関して、隣接画素間の輝度変化量のヒストグラムを生成するとともに、当該ヒストグラム上における輝度変化量が０である原点近傍の出現頻度分布を前記原画像のノイズ強度分布と推定するノイズ強度推定部と
   を有することを特徴とする画像処理システム。
2. 前記ノイズ強度推定部は、前記原点近傍に存在する出現頻度のピーク高さに応じて、出現頻度の高さに関するしきい値レベルを設定するとともに、当該しきい値レベルの出現頻度を有する輝度変化量に基づいて、ノイズ強度推定値を算出することを特徴とする請求項１に記載された画像処理システム。
3. 前記ノイズ強度推定部は、前記しきい値レベルの出現頻度を一方が上回り、他方が下回る互いに隣接した一対の輝度変化量を入力とした補間演算によって、前記ノイズ強度推定値を整数レベルよりも細かい分解能で算出することを特徴とする請求項２に記載された画像処理システム。
4. 前記ノイズ強度推定部によって算出された前記ノイズ強度推定値に応じて、前記輝度判定しきい値を調整する調整部をさらに有することを特徴とする請求項１から３のいずれかに記載された画像処理システム。
5. 前記調整部は、前記ノイズ強度推定値が大きくなるほど、前記輝度判定しきい値を大きくすることを特徴とする請求項４に記載された画像処理システム。
6. 前記判定部は、平均輝度が下限値以下の画素ブロック、および、平均輝度が上限値以上の画素ブロックについては、前記第１の画素ブロックとして抽出しないことを特徴とする請求項１に記載された画像処理システム。
7. 一対の画像を入力としたステレオマッチング処理を行うことによって、距離データを画素ブロック単位で算出するステレオマッチング部とをさらに有し、
   前記判定部は、前記補正画像において、前記隣接画素間の輝度変化量を前記輝度判定しきい値と比較することによって、輝度変化が大きい画素ブロックを第２の画素ブロックとして抽出するとともに、当該第２の画素ブロックに関して算出された前記距離データを、物体認識を行う際に使用する有効距離データとして特定することを特徴とする請求項１から６のいずれかに記載された画像処理システム。

Images