JP4021261B2 - Image processing device - Google Patents

Description

【０００９】
【数２】

【００１０】
【数３】

【００１１】
以上のように、この従来の発明では周辺視野での平均画素値に対する対象画素値を調整された画素値I'(i,j)として算出し、この値に対して、ディスプレイ２４３によって使用されるレティネックス出力R(i,j)を生成するためのフィルタ処理が２４２により行われる。２４２はI'(i,j)を対数領域からディスプレイ２４３で扱われるR(i,j)の画素値領域へ変換するものであり、処理の簡便化のために全ての画素に対して同一のオフセット及び利得変換関数を適用する処理が用いられる。
【００１２】
しかしながら、この手法の場合、周辺視野関数を制御するcによる影響を大きく受ける。例えば、このcが大きな値になると対象画素に寄与する周辺視野が大きくなることで、大きな影における色の補償のみが可能となるが、一方、このcが小さい値の場合、対象画素近傍のみが影響を与えることとなり、小さな影領域での改善のみが見受けられる。このように扱う画像内の画素値のダイナミックスレンジに応じて適切なcを考慮する必要があり画像依存性の問題が挙げられる。その改善として、複数の周辺視野領域を設ける手法も同じ特許内に提案されているが、いくつ周辺視野領域を用意するかが明確になっていない。また、改善精度を向上されるために大きな周辺領域から小さい周辺領域を多く用意することにより、処理時間が膨大になってしまうという問題点がある。
【００１３】
また、複数の定数cにより設定される最大の周辺視野内で画素値変動が非常に小さい場合、調整された画素値I'(i,j)は複数領域を用意してもI(i,j)に関係なく1.0近傍になる。このような場合、画素値変動の小さい対象画素でのI'(i,j)はその入力画像全体におけるI'(i,j)の平均近傍に位置する場合が多く、２４２におけるオフセット及び利得変換関数如何に問わず、実際の画素値における中央付近に向かいやすい傾向がある。特にハイライト輝度をもつ一様に広い画像領域では、調整後の輝度が下がる方向に調整されやすく視覚的に悪化する問題がある。一方、夜景等の輝度の低く広い領域では過剰に強調されることで撮影時に発生した色ノイズや圧縮ノイズが表れることがあった。
【００１４】
この課題を解決するための手法として、先行出願より入力画像と強調画像の適応的な合成画像を導出することでこれらを改善できることを示した。その一方で、画像の平坦化、特に輪郭部分における濃度差の減少が発生した。
【００１５】
【発明が解決しようとする課題】
このように、従来の人間の視覚モデルをもとにしたコントラスト改善技術では、その他の手法よりもより鮮明なコントラスト変換画像を得ることができたが、人間の周辺視野を規定するための定数や最終的に扱うための実際の画素値に変換する際のフィルタ処理の設計に経験的知識を多く含むという問題点を抱えている。その対応策として、複数の周辺視野を用意した多重解像度モデルも提案されているが、処理時間が膨大となってしまう。
【００１６】
また、画像合成時により生じた合成画像の平坦化、特に輪郭部分のさらなる強調が必要になる。
【００１７】
本発明はかかる点に鑑みてなされたものであり、撮像された明暗部を持つ画像のみを用いてより鮮明かつ高速に撮像画像のコントラストを改善することができる画像処理装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために本発明の画像処理装置は、画像データを入力する入力部と、前記画像データの画像サイズより小さいサイズであって水平方向に７画素以上を有する周囲領域を決定し、対象画素の輝度値と前記対象画素を中心画素とする前記サイズの周囲領域の平均輝度値との比に基づいて前記対象画素の改善輝度を導出するコントラスト改善部と、前記改善輝度と入力輝度とを合成し合成輝度を出力する画像合成部と、前記合成輝度と前記入力輝度との輝度比である改善度合いを算出する輝度比算出手段、前記改善度合いを前記対象画素の入力色差に乗算して改善色差を算出する色差成分修正手段、及び、前記合成輝度と前記改善色差とからＲＧＢ成分を算出する画像再生成手段、を含む後処理部と、を備え、同一の画像データを構成する第１画素と第２画素の輝度値を入力し、前記第１画素の輝度値と前記第１の画素を中心画素とする前記サイズの周囲領域の平均輝度値との比である第１改善輝度を導出し、前記第１改善輝度と前記第１画素の入力輝度との合成値である第１合成輝度を出力し、前記第１合成輝度と前記第１入力輝度との輝度比である改善度合いに基づいて前記第１画素の第１改善色差を算出し、前記第１合成輝度と前記第１色差とから前記第１画素のＲＧＢ成分を算出し、前記第２画素の輝度値と前記第１の領域と異なる領域であって前記第２画素を中心画素とする前記サイズの第２の周囲領域の画素の平均輝度値との比である第２改善輝度を導出し、前記第２改善輝度と前記第２画素の入力輝度との合成値である第２合成輝度を出力し、前記第２合成輝度と前記第２入力輝度との輝度比である改善度合いに基づいて前記第２画素の改善色差を算出し、前記第２合成輝度と前記第２色差とから前記第２画素のＲＧＢ成分を算出する。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の実施の形態である画像処理装置の全体構成図を、図２は本発明の実施の形態である画像処置装置におけるコントラスト改善手段の構成を、図４は本発明の実施の形態である画像処置装置における画像合成手段の構成図を表す。
【００２０】
図５は本発明の実施の形態である画像処理装置における強調量導出善手段の構成図を表す。
【００２１】
図６は本発明の実施の形態である画像処理装置における強調量導出善手段の別の構成例を表す。
【００２２】
図７は本発明の実施の形態である画像処理装置における強調量導出善手段のさらに別の構成例を表す。
【００２３】
図１４は本発明の実施の形態である画像処理装置におけるコントラスト改善手段の別の構成例を表し、図１７は本発明の実施の形態である画像処理装置におけるコントラスト改善手段のさらに別の構成例を表す。
【００２４】
図１９は本発明の実施の形態である画像処理装置における後処理手段の構成図を表す。
【００２５】
また、図９は本発明の実施の形態に係る画像処理方法における全体のフローチャートを表す図である。
【００２６】
図１０は本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャートを表す図である。
【００２７】
図１１は本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理のフローチャートを表す図である。
【００２８】
図１２は本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理の別の例に関するフローチャートを表し、図２０は本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理と後処理のフローチャートを表す図である。
【００２９】
なお、構成図の各図において、同一部には同じ番号を付している。また、なお、これ以降で、画素位置(i,j)の単位には全て画素単位が用いられることする。
【００３０】
（第１態様）
本発明の実施の形態である画像処理装置及び画像処理方法について説明する。図１はその全体の構成を表す図であり、１は入力画像を、２は最終的に出力される出力画像を、３はコントラスト改善手段１２で得られた強調処理後の画像を現す。そして、１０は１の入力画像を得るためのＣＣＤ素子のような画像入力手段であり、１１は入力画像に逆ガンマ変換等のような前処理を行う前処理手段、１２は１１で得られたデジタル入力画像の細部を強調するためのコントラスト改善処理を行うコントラスト改善処理手段、１３はデジタル入力画像と１２のコントラスト改善手段で得られた強調画像を合成する画像合成手段であり、１４は１３で得られた合成画像に入力画像にかかっていたガンマ変換のような後処理を行う後処理手段であり、１５は１３で得られた合成画像を最終処理後の画像として所望のデバイス（プリンタ、ディスプレイ等）で出力するための画像出力手段である。コントラスト改善手段は図２のような構成になる、図２において、２０は対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段であり、２１は対象画素Pijにおけるカラー３成分値VPij（r(i,j),g(i,j),b(i,j)）を広さcのPij周囲領域より選択された比較対象画素との比較によりコントラスト改善量VRPij(Rr(i,j), Rg(i,j), Rb(i,j))を算出する強調量導出手段であり、２２は強調量導出手段２１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段であり、２３は２２の変換基準値をもとに強調量導出手段２１で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段である。強調量導出手段２１は図５のように、周囲平均手段５０と改善量算出手段５１より構成される。
【００３１】
また、画像合成手段１３は図４に示されるように、入力画像１内の輝度情報をもとに入力画像１とコントラスト改善手段で得られた強調画像３に掛かる結合係数ws(s=1,3;ここでw1は入力画像１に掛かる結合係数であり、w3は強調画像３に掛かる結合係数を示す)を決定する結合係数導出手段４０と、結合係数導出手段４０で得られた結合係数w0、w1を使って、入力画像1とコントラスト改善手段で得られた強調画像3の加重平均画像を生成する加重平均合成手段４１、そして４１で得られた加重平均合成画像と入力画像１、そして強調画像３を比較して出力画像の画素値を決定する出力値決定手段４２より構成される。
【００３２】
以上のように構成された画像処理装置の動作について図９、図１０に従い説明する。
【００３３】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。
【００３４】
デジタル入力画像１に対して、図８のような前処理が行われる。近年、このようなコントラスト改善が行われる画像データはデジタルカメラ（ＤＳＣ）で撮影されたものが増えている。通常、ＤＳＣで撮影された画像データをパソコン等でモニタ表示を行う場合、入力画像をより鮮明にするために図８上左図のような上に凸の形をしているガンマ関数を用いた変換処理が行われている。一般に使用されているｓＲＧＢ空間ではこのガンマ変換におけるガンマγは2.2が使用される。プリンタで出力する場合にも、このガンマ関数が予め入力画像に掛けられていることを前提にして出力のための画像処理が実行される。そのため、ＣＣＤ等の撮影素子で得られた画像データを正確に抽出するために、γ=2.2の効果を戻すための逆ガンマ関数による変換処理が必要になり、前処理手段１１は図８上右図のような下に凸の逆ガンマ変換を行う。
【００３５】
次に、逆ガンマ変換されたデジタル入力画像１に対して、入力画像の暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図１３のように行われる。人間の視覚では、図１３に模式的に示されるように対象画素Pijに対して知覚された画素値のみでPijの画素情報（色、コントラストなど）を認知するのではなく、対象画素Pijをその周囲にある画素の情報との相対的な関係により、対象画素 Pijの画素値を調整することでPijの画素情報を知覚している。これは、従来例で説明したようにEdwin Landにより紹介されたレティネックス概念と呼ばれるものであり、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知することができる。本発明でも、この概念を利用することで影のような暗部における色や細部情報を明確にする。
【００３６】
まず、対象画素Pijの画素値VPij (r(i,j),g(i,j),b(i,j)）をLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、周辺視野における画素値の加重平均画素値VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を求めるとともに、このVAPijとVPijの間の相対的関係につながるコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。このVAPijとして、従来例のように式（数１）の第２項におけるc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))と式（数２）、（数３）のようにガウス関数で定義された周辺視野関数F(x,y)の畳み込み積分値で定義することも可能であり、コントラスト改善量VRPijも式（数１）を３成分独立に定義することも可能であるが、本発明では処理の簡単化と高速化を考慮して定義をすることとした。その例として、式（数４）のようにVAPijはc画素の周辺視野内における画素値VPij(r(i,j),g(i,j),b(i,j))の平均値を定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))も式（数５）のように各成分ごとの画素値VPijの加重平均画素値VAPijに対する比として定義することができる。
【００３７】
【数４】

【００３８】
【数５】

【００３９】
また、式（数６）、（数７）のようにc画素の周辺視野内における輝度y(i,j)の平均値をVAPijの３成分として定義し、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))は式（数７）のように画素Pijにおける各成分値の加重平均画素値VAPijに対する比として定義することも可能である。
【００４０】
【数６】

【００４１】
【数７】

【００４２】
こうすることで、式（数４）（数５）のように各成分独立でコントラスト改善量を算出するよりも得られたコントラスト改善量のバランスをよりうまく保持できると考える。そこで本発明では式（数６）、式（数７）による定義を採用することとした。
【００４３】
以上のような対象画素Pijに対するコントラスト改善量VRPijを入力画像内の全ての画像に対して行う。この処理を周囲平均手段５０と改善量算出手段５１が行う。
【００４４】
次に、このコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する必要がある。この処理としては、VRPijの各成分を0.0から1.0の範囲内の値に変換し、必要と思われる部分を抽出した実際の画素値に変換する方法等が考えられるが、ここではより簡易化のために、変換基準値VTc(trc,tgc,tbc)を算出してその変換基準値をVRPijの各成分に乗算して、強調画像３の画素Pijにおける画素値とする。この場合、通常扱われる8ビットの整数データである0から255に変換しても良いが、ここではその値を0.0から1.0の正規化した範囲内の実数データにまず変換基準値とコントラスト改善量VRPijを使って変換し、その後に0から255の8ビットデータの整数データに変換することとする。そのため、VTcの各成分が取りえる値は0.0から1.0の範囲になる。VTcの決定を変換基準値算出手段２２が行うが、一律にVTc=(0.5,0.5,0.5)のように取りえる画素値の平均に設定することもできる。しかしながら、輝度が高いほど高めに、低いほど低めになるように変換する方が入力画像１からの急激な変化を抑制することができると思われる。つまり、このように入力画像１の対象画素Pijにおける輝度y(i,j)に応じてVTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制することが可能となる。よって、ここでもそのようにy(i,j)におうじてVTc(trc,tgc,tbc)を制御することとした。その一例は式（数８）のようになるが、このような線形関数ではなく、非線形関数を用いることも考えられる。
【００４５】
【数８】

【００４６】
なお、この式（数８）における傾きを大きくしすぎると、暗部におけるコントラスト改善を抑制しすぎることで本来の特徴である、変動差がある部分を強調してコントラスト改善する特徴を損なうことがある。またVTcの取りうる範囲は0.0から1.0であるので、これらの条件をもとに式（数８）を設定する必要がある。
【００４７】
強調量導出手段２１のVRPijと変換基準値算出手段２２のVTcの結果を受けて、２３の画素値変換手段が強調画像３の画素Pijにおける画素値を求める。
【００４８】
一方、Retinex理論に基づくコントラスト改善手法の課題として、従来例で説明した非常に大きな領域で一律な色を持つハイライト部での輝度レベルの低下が生じる。同様に、非常に大きな領域で一律な色を持つシャドウ部では強調画像における輝度レベルが急激に上昇することで、ＣＣＤ等で入力時発生したシャドウ部における色ノイズを際立たせる。本件特許出願の発明者らは、先の出願（日本国 特願２００２−３３６５８号）において、これらの問題を解決するために、入力画像１と視覚モデルで得られた強調画像３を適応的に合成することで入力画像１が本来持つ輝度レベルの低減や上昇を抑えることとした。本発明でもその手段を用いるが、上記示した強調量導出手段２１からのVRPijを実際の画素値に変換する際の変換基準値VTcを対象画素Pijの輝度y(i,j)に応じて制御する処理と組み合わせてやることで、より入力画像１のもつ雰囲気を保ちながら、暗部の見えを改善することが可能となる。なお、画像合成手段１５は図４のように構成されており、まず４０で入力画像１に掛かる結合係数w1と強調画像３に掛かる結合係数w3を制御する。そして４１において、このw1とw3を用いた加重平均合成画像４を生成する。最後に４２において、入力画像１の対象画素Pijの輝度y(i,j)、色差cr(i,j),cb(i,j)を求めるとともに、合成画像４の対応する画素の輝度wy(i,j),色差wcr(i,j),wcb(i,j)を求める。そして、y(i,j)≧wy(i,j)の場合には、wy(i,j)=y(i,j)として、このwy(i,j),wcr(i,j),wcb(i,j)よりＲＧＢ空間におけるVWPij(wr(i,j),wg(i,j),wb(i,j))に変換することで最終的な出力画像２を生成する。
【００４９】
なお、４０の時点で、入力画像１画素値VPijと強調画像３の画素値VRPijを比較して、VPijが３成分ともVRPijより大きい場合にはw1=1.0、w3=0.0とし、それ以外にはw1=w3=0.5として合成画像の画素値VWPijを求めることとしたが、前記した先行出願（日本国 特願2002-33658号）のように入力画像の対応する画素におけるエッジ情報で制御する手法や、輝度y(i,j)と予め決めたしきい値TH,THCombを用いて、式（数９）のように制御する手法も可能である。
【００５０】
【数９】

【００５１】
なお、式（数９）の場合、exp関数による処理のオーバーヘッドが考えられるが、予め設定した精度に応じたexp関数をテーブル化してそのテーブル参照することでこの処理のオーバーヘッドは抑えることができる。この式（数９）は暗部では極力強調画像３を優先するが、入力画像の輝度と強調画像の輝度の比をもとに、その改善が急激な場合にはw3を抑制することで暗部でのノイズ強調を抑制するように工夫したものである。
【００５２】
以上のような構成や処理を行うことで本発明の実施の形態である画像処理装置及び画像処理方法は、従来例の視覚モデルの利点を有効に生かすことでハイライト部における輝度低下とシャドウ部における輝度の急激な上昇に対するノイズ強調を抑制したコントラスト改善を、簡易かつ高精度に行うことができる。また、先行出願やJobsonらの従来手法のように、２１で得られたコントラスト改善量より有効を思われる領域を抽出する処理が不要となるため、処理量の削減にもつながるという利点も持つ。
【００５３】
さらに、本発明ではコントラスト改善手段１２は図２のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図３のような構成になる。
【００５４】
周辺範囲初期化手段３０でまずc=c0というように、予め用意された複数の周辺視野領域サイズc[s](s=0,1,..,Cnum-1)のc0を周辺視野領域に設定する。この場合、c[s]は最小サイズ領域から昇順に用意しても構わないし、最大サイズから降順に用意しても構わないが、サイズの変更方向をそろえた方がよい。ここでは最大サイズから降順に用意されているとして、順に周辺視野領域を小さくしながら、入力画像における細部改善を行うこととする。２０、２１では、現在設定されているc=ckの矩形域の周辺視野に対して、周辺視野における画素値のコントラスト改善量VRPij[s] (Rr#s(i,j),Rg#s(i,j),Rb#s(i,j)) が算出される。そして、すべてのc[s]で２１での画素Pij周辺視野におけるコントラスト改善量計算が終了したかどうかの判定を終了判定手段３１で行う。終了していないと判定された場合には周辺範囲変更手段３２へ処理が移り、現在設定されている周辺視野領域cをつぎの候補に変更し再び２０、２１での処理が行われる。一方、３１で終了判定された場合には、各周辺視野領域c[s]に対するPijのコントラスト改善量VRPij[s](Rr#s(i,j),Rg#s(i,j),Rb#s(i,j))の重み付き平均値を求め、その値をPijのコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))と設定する。簡易化のために、各c[s]によるVRPij[s]の平均値をPijのコントラスト改善量VRPijとして採用する。これ以外にも、c[s]による値VRPij[s]を各成分別に比較して最大値となる値をPijのコントラスト改善量VRPijとすることも可能である。こうした場合、加算処理よりも比較処理により処理時間の増大が生じるが、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００５５】
これ以降の処理は1つの周辺範囲の場合と同様のため省略する。
【００５６】
なお、これらの処理は上述の画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００５７】
また、本発明の上述の画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００５８】
（第２態様）
次に本発明の実施の形態である画像処理装置及び画像処理方法の変形例について説明する。
【００５９】
その全体の構成図は第１態様と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図２のようになり、複数の周辺範囲c[s]を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図６のような構成になる。
【００６０】
強調量導出手段２１は、対象画素Pij (r(i,j),g(i,j),b(i,j))の周囲より選択された比較対象画素の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する周囲平均手段５０と、Pijにおける輝度のエッジ情報e(i,j)を求めるエッジ情報検出手段６０と、６０のe(i,j)をもとに５０のVAPijを補正する係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求める補正係数算出手段６１と、６１で得られた補正係数VDAPijをもとにVAPijを補正する比較量補正手段６２と、６２で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１より構成される。
【００６１】
以上のように構成された画像処理装置の動作について説明する。
【００６２】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲cもしくはc[s]内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。そして、この値を変換基準値VTc(trc,tgc,tbc)を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００６３】
強調量導出手段２１では、まず、入力画像内における画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を算出する。それとともに、この値を補正する補正係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求める。本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値VTcを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していたが、この輪郭付近での平坦化解消をするには、変換基準値VTcを制御するのではなく一律の中心値（ここでは、0.0から1.0での範囲で扱っているため0.5）に設定して、５０で得られた周囲範囲Aij内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を制御することでも同じような効果が得られると思われる。よって、本発明では入力画像内の対象画素Pijの情報を使って、VAPijを補正する補正係数VDAPij(dcr(i,j),dcg(i,j),dcb(i,j))を求め、この値を６１でVAPijに各成分ごとに乗算することで輪郭付近での強調程度を高めることとした。その補正係数制御としては、ここでは、対象画素Pijの輝度y(i,j)のエッジ情報e(i,j)をもとに式（数１０）のように、線形的にエッジ情報の程度におうじて補正係数を抑制することとした。しかし、この制御方法は一義的に決まるものではなく、非線形関数による制御も可能である。なお、式（数１０）においてave＿eはe(i,j)の画像内平均を表すが簡略化のために0.5を設定することも可能である。
【００６４】
【数１０】

【００６５】
しかし、第１態様と同様に入力画像内の対象画素Pijの輝度y(i,j)をもとに線形的に補正係数を制御することも可能であり、この場合には、輝度が高いほど補正係数を小さくするようにするものである。
【００６６】
このような手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００６７】
また、第１態様と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００６８】
なお、これらの処理は第２態様の画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００６９】
また、第２態様の画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００７０】
（第３態様）
次に本発明の実施の形態である画像処理装置及び画像処理方法のさらに別の変形例について説明する。
【００７１】
その全体の構成図は第１態様と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図２のようになり、複数の周辺範囲c[s]を持つ場合には図３のような構成になる。同様に画像合成手段１３は図４のようになる。そして、図２もしくは図３における強調量導出手段２１は、図７のような構成になる。
【００７２】
強調量導出手段２１は、対象画素Pij (r(i,j),g(i,j),b(i,j))の周囲より選択された比較対象画素の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する周囲平均手段５０と、Pijにおける輝度と、周囲領域内より選択された比較対象画素Qijの輝度の差分量の絶対値の重み付き加重和Ady(i,j)を求める輝度差分平均手段７０と、Ady(i,j)をもとに５１で得られたコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を強調する強調成分VBRPij(BRr(i,j),BRg(i,j),BRb(i,j))を算出する強調成分算出手段７１と、７１で得られたVBRPij(BRr(i,j),BRg(i,j),BRb(i,j))をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を補正する改善量補正手段７２より構成される。
【００７３】
以上のように構成された画像処理装置の動作について説明する。
【００７４】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理を前処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では図２、または図３のように行われる。まず、対象画素の周囲範囲cもしくはc[s]内の周囲画素より比較濃度算出に使用する比較対象画素を選択し、この比較対象画素と対象画素よりコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する。そして、この値を変換基準値VTc(trc,tgc,tbc)を用いて実際の８ビット整数データである画素値に変換するのである。そして、得られた強調画像３と入力画像１の適応的な合成を図４で示された画像合成手段１３が行い、得られた合成画像２に入力画像に元々付加されていたガンマ変換を改めて後処理手段１４が行うことで画像出力手段１５でプリンタやディスプレイ等のデバイス機器に出力する最終的な出力画像を生成するのである。
【００７５】
強調量導出手段２１では、まず、入力画像内における画素Pijの画素値VPijをLandにおける中心視野と見なし、その周囲にc画素の矩形領域に属する領域を周辺視野と見なす。そして、比較画素決定手段２０で選択された比較対象画素をもとに、その周囲範囲内の重み付き加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を算出する。
【００７６】
本発明の第１の実施例では、コントラスト改善量を実際の画素値に変換する際の変換基準値VTcを制御することで合成画像３で発生する出力画像２のエッジ付近での平坦化現象を抑制していた。また、本発明の第２の実施例では、変換基準値VTcを制御するのではなく、Pijの輝度y(i,j)のエッジ情報e(i,j)をもとに周囲範囲内の重み付き加重和VAPijを制御することで合成画像３におけるエッジ付近での平坦化現象を抑制していた。
【００７７】
この第３の実施例では、まず輝度差分平均算出手段７０で、対象画素Pijにおける輝度y(i,j)とその周辺範囲より比較画素として選択されたQ(i,j)の輝度ys(i,j)間の差分量の絶対値の重み付き加重和Ady(i,j)を求める。そして、この値をもとに強調成分算出手段７１が式（数１１）に従い、強調成分VBRPij(BRr(i,j),BRg(i,j),BRb(i,j))を求めるのである。
【００７８】
【数１１】

【００７９】
この式は、Ady(i,j)をPijにおける変位強調量と見なし、５１で得られたVRPij(Rr(i,j),Rg(i,j),Rb(i,j))の1.0からの変位量をこのAdy(i,j)と予め設定された強調係数で強調する成分量を算出するものである。例えば、均一に輝度が変わらないところでは、強調成分は生じない。しかし、コントラスト改善量が1.0より大きい対象画素に対しては強調画像の画素値をより強調するような成分が算出され、逆にコントラスト改善量が1.0より小さい対象画素に対しては、強調画像の画素値を抑制するような成分が得られる。そのため、強調画像３においてよりエッジ付近等での画素値変化が大きいところにおけるメリハリ感がますこととなり、最終的に得られる合成画像２における画像のメリハリ感の保存を実現することができる。
【００８０】
以上のように、第３態様では、このような強調成分を算出する手段を取り入れることで強調画像３およびその画像３と入力画像１の合成画像２のメリハリ程度をある程度保存するように、暗部でのコントラスト改善を行うことが可能となる。
【００８１】
また、第１態様と同様に、図３のような多重解像度による構成も可能であり、こうすることで本発明の画像メリハリ保存の効果を生かしながら、入力画像における画素値のダイナミックレンジや影のような暗部サイズにあまり影響されることなく自動的に入力画像のコントラスト改善を行うことができ、画像のコントラスト調整の効率化につながる。
【００８２】
なお、これらの処理は第３態様の画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００８３】
また、第３態様の画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００８４】
（第４態様）
次に本発明の実施の形態である画像処理装置及び画像処理方法のさらに別の変形例について説明する。
【００８５】
その全体の構成図は本発明の第１態様と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図１４のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、各水平画素位置iに対して、選択された比較画素を対象とした垂直方向での加算値N[i]を求める垂直方向加算手段１４０と、１４０より対象画素Pijの周辺範囲に含まれる水平画素位置iの加算値N[i]より周辺範囲の加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する簡易周囲平均手段１４１と、１４１で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１と、５１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【００８６】
図１４のように構成された画像処理装置におけるコントラスト改善処理の流れを説明する。
【００８７】
画像入力手段１０を介して、カラー画像１がデジタル入力される。１０ではカラー画像の場合、通常レッドr、グリーンg、ブルーbの成分データが入力手段の精度（８ビットならば０から２５５の値で）得られる。１０ではこの値を0.0から1.0の値に正規化する。次に、デジタル入力画像１に対して、入力画像のガンマ変換を元の線形に戻す前処理をま処理手段１１が行う。そしてこの前処理後の入力画像１に対して、暗部におけるコントラストを改善するためのコントラスト改善処理がコントラスト改善手段１２で行われる。コントラスト改善手段１２では、まず周辺領域c内で比較対象画素を選択する。その場合、例えば図１６の左図のように、ある間隔で垂直方向に間引いて比較対象画素Qijを決める。次に、垂直方向加算手段１４０が図１６左図のように各水平画素位置iにおける垂直方向での輝度値の加算値N[i]を求める。そして、簡易周囲平均手段１４１では、このN[i]より対象画素Pijの周辺領域c内に含まれるN[k]の加重和Sを求め、その周辺範囲内に含まれる比較画素数mで除することで平均比較対象輝度Asy(i,j)を算出する。そして、この値と対象画素Pijの画素値(r(i.j),g(i,j),b(i,j))を各々比較することでコントラスト改善量VRPijを求める。さらに、対象画素Pijが図１６右図のように水平画素位置iがi+1へ移った場合、図１６のようにまずPijで得られた加重和Sより先頭のN[0]を減する。そして、それに新しく周辺範囲に含まれることとなったN[7]を加えることでPi+1jの周辺範囲内の比較画素の輝度の総和Sが得られる。この値を同じように比較対象画素数mで除することで平均比較対象輝度Asy(i+1,j)が得られる。このように、予め用意しておいた垂直方向での加算値N[k]を加減算することで簡易に平均比較対象輝度が得られる。これが、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))の対象画素Pij(r(i,j),g(i,j),b(i,j))の比較対象濃度VAPijをなるのである。こうすることで、周辺範囲内のVAPijを求める際のフィルタリング処理を高速に行うことができる。
【００８８】
Retinex処理によるコントラスト改善を行う場合、このVAPijを求める処理量の削減が大きなポイントになっていた。特に、図１５のように複数の周辺範囲領域c[k]をもつ多重解像度処理をした場合、その処理量は非常に膨大となってします。しかしながら、本発明のように、重み付き加重和を単純な周辺範囲内の平均に簡略化しそして、そのための周辺範囲内の加重和計算手続きを工夫することで処理量の削減を実現することができる。
【００８９】
このコントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する場合には、第１態様と同じように入力画像１の対象画素Pijにおける輝度y(i,j)に応じて式（数８）のように変換基準値VTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制する。なお、この際に、第２態様における平均比較濃度VAPijの制御や第３態様のような強調成分VBRPijの制御する処理を加えることも可能である。
【００９０】
さらに、本発明ではコントラスト改善手段１２は図１４のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的である。そのような多重解像度モデルに本発明を適用すると、１２のコントラスト改善手段は図１５のような構成になる。
【００９１】
こうした場合、強調画像３として生成された画像の画素値変動が緩やかとなり、エッジ部分における急激な上昇を抑えることができるという利点も持つ。
【００９２】
以上のように第４態様の画像処理装置及び画像処理方法は、第１態様においてもっとも処理量の多い対象画素周辺の平均比較画素濃度VAPijの算出過程を工夫・簡略化することで、エッジ保存しながらのコントラスト改善効果を保ちながら処理時間を短縮化することができる。特にこの高速化の効果は複数の周辺範囲c[k]を持つ場合ほどその効果は大きくなるものである。
【００９３】
さらに、これらの処理は第４態様のカラー画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【００９４】
また、第４態様の画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【００９５】
（第５態様）
本発明の実施の形態である画像処理装置及び画像処理方法のさらに別の変形例について説明する。
【００９６】
その全体の構成図は第１態様と同様に図１のように構成され、コントラスト改善手段は１つの周辺範囲cを持つ場合は図１７のような構成になる。同様に画像合成手段１３は図４のようになる。コントラスト改善手段１２は、対象画素Pijの周辺領域より比較対象にする周辺画素を決定する比較画素決定手段２０と、水平画素位置における選択されたiに対して、選択された比較画素を対象とした垂直方向での加算値N[i]を求める間引き垂直方向加算手段１７０と、１７０より対象画素Pijの周辺範囲に含まれる水平画素位置iの加算値N[i]より周辺範囲の加重和VAPij(Ar(i,j),Ag(i,j),Ab(i,j))を計算する簡易周囲平均手段１４１と、１４１で得られたPijの局所的な特徴を表すVAPijと画素Pij (r(i,j),g(i,j),b(i,j))の比をもとにコントラスト強調量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を算出する改善量算出手段５１と、５１で得られたコントラスト改善量VRPijを実際の画素値に変換する際の変換基準値VTc(rtc(i,j),gtc(i,j),btc(i,j))を求める変換基準値算出手段２２と、２２の変換基準値ともとに改善量補正手段７２で得られたコントラスト改善量VRPijを実際の画素Pijにおけるコントラスト改善後の画素値に変換する画素値変換手段２３より構成される。
【００９７】
この発明は、第４態様と比較すると、水平画素位置i全てに対して、選択された比較対象画素のみを対象とした垂直方向での加算処理を行うのではなく、予め比較画素決定手段で水平画素位置も所定の間隔で間引いて選択を行う。そして、選択された水平画素位置iの垂直方向での加算処理を行うようにしたものである。
【００９８】
図１８はその処理の概要を表すが、図１８の左図のように水平画素位置に間引いかれたとする。その場合、間引き垂直方向加算処理１７０では、i=0における垂直方向加算値N[0]を間引かれたi=1における垂直方向加算値N[1]=N[0]に振り分ける。同様に、N[3]=N[2]、N[5]=N[4]のように補間する。このようにすることで、全ての水平画素位置に対して垂直方向での加算処理を行うことがなく処理量の削減となる。また、つづく水平画素位置i+1に対する処理の場合は図１７右図のようになり、先頭のN[0]が対象画素Pijの周辺領域c内に含まれるN[k]の加重和Sより減算される。その後、新しく周辺範囲に含まれることとなったN[7]が加えられることになるが、このi=7の水平画素位置における垂直方向加算処理は比較画素決定手段２０で除かれているため、比較画素決定手段２０で選択されi=7に最も隣接したi=6におけるN[6]でN[7]を補間した。そしてその補間されたN[7]を先ほどの加重和Sに加算する。その後、周辺範囲内に含まれる比較画素数mで除することで平均比較対象輝度Asy(i,j)が算出される。こうすることで、第４態様よりも重み付き加重和の計算手続きを削減することができ、より処理量の削減を実現することができる。
【００９９】
なお、コントラスト改善量VRPij(Rr(i,j),Rg(i,j),Rb(i,j))を実際の画素値に変換する場合には、本発明の第１の実施例と同じように入力画像１の対象画素Pijにおける輝度y(i,j)に応じて式（数８）のように変換基準値VTcの値を制御することで、シャドウ部の急激な輝度レベル上昇を抑制しているが、第２態様における平均比較濃度VAPijの制御や第３態様のような強調成分VBRPijの制御する処理を加えることも可能である。
【０１００】
さらに、本発明ではコントラスト改善手段１２は図１７のように１つの周辺領域cによる構成をしているが、この周辺領域cの大きさが改善される暗部の大きさに起因していると思われる。通常、自然画像の場合、さまざまな大きさを持つ影部分がありうることから、従来技術で説明したようなJobsonらのような複数の周辺領域サイズc[s]を持つ多重解像度モデルがより効果的であることも第１態様と同様である。
【０１０１】
さらに、これらの処理は第５態様の画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１０２】
また、第５態様の画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１０３】
（輝度値によるコントラスト改善処理、及び色差補正）
次に本発明の実施の形態である画像処理装置の輝度値によるコントラスト改善処理、及びその後処理について説明する。
【０１０４】
この場合の全体の構成は第１態様で説明した通り図１のように構成される。そして、コントラスト改善手段は第１から第５態様のいずかと同様の構成で組み立てられる。また、画像合成手段１３も第１態様で説明した通り図４のようになる。この発明のポイントの一つは、後処理手段が図１９のように構成されていることであり、図１９において、１９０は入力画像の輝度と色差を計算する入力輝度・色差算出手段であり、１９１は合成画像３のPijにおける輝度wy(i,j)と１９０で得られた輝度y(i,j)を比較し、その間の比Ratio(i,j)を算出する輝度比算出手段であり、１９２は得られた輝度比をもとに合成画像３の輝度wy(i,j)を調整する輝度調整手段であり、１９３は調整された輝度wy(i,j)とy(i,j)間のRatio(i,j)より入力画像の色差を修正する色差成分修正手段であり、１９４は修正された色差成分と輝度より合成画像３の画素値VWPij(wr(i,j),wg(i,j),wb(i,j))を再算出する画像再生成手段であり、１９５は所定のガンマ変換を行うガンマ変換手段である。
【０１０５】
【発明の効果】
以上のように、本発明の画像処理装置は、対象画素をその周囲にある画素の情報との相対的な関係により、対象画素の画素値を調整することで画像情報を知覚するため、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知するように、コントラスト補正を行い、色バランスをくずさずに影のような暗部における色や細部情報を明確にすることができる。
【０１０６】
そして、このyRP(i,j)を変換基準値算出手段２２で得られたyTc(i,j)をもとに実際の画素値のもつ輝度yRP(i,j)に変換する。次に、画像合成手段１３で強調画像３の輝度yRP(i,j)と入力画像１の輝度y(i,j)の合成輝度画像２を生成する。つまり、本発明の第１から第５の実施例で３成分ごとに扱ってきたのに対し、ここでは輝度のみで画像合成まで処理を行うのである。これは、第１態様の式（数６）（数７）のように平均比較輝度VAPijと入力画像VPijの各成分比を使う場合、入力画像１の色バランスはある程度保持されるが、その後で行われる強調・補正処理で図２１左図のように入力画像１の色バランスが崩れることがありうる。そこで、本発明では図２１の右図のように、合成後の改善輝度wy(i,j)とy(i,j)間の改善比Ratio(i,j)をもとに入力画像の色差cr(i,j),cb(i,j)を修正した改善色差wcr(i,j), wcb(i,j)を生成し、これらの値をもとに合成画像の画素値VWPijを算出することで色バランスの保持を図ったものである。
【０１０７】
しかし、合成後の改善輝度wy(i,j)とy(i,j)間の比Ratio(i,j)をそのまま入力画像の色差cr(i,j),cb(i,j)に乗算して得られた色差wcr(i,j), wcb(i,j)が飽和する可能性があるため、この飽和判定を行う。そして、もしwcr(i,j)が飽和していた場合には、この色差に対する比dRatio(i,j)=wcr(i,j)/cr(i,j)を改めて合成後の改善輝度と入力画像の輝度による改善比Ratio(i,j)とする。この値をもとに合成後の改善輝度dwy(i,j)を計算する処理を１９２の輝度調整手段が行う。次に、１９３がRatio(i,j)を使って改めて、入力画像の色差cr(i,j),cb(i,j)を修正して合成後の色差dwcr(i,j),d wcb(i,j)を生成するのである。その後、実際の画素値に変換して合成画像３のPijにおける画素値VWPij(wr(i,j),wg(i,j),wb(i,j))を求め、ガンマ変換手段１９５が入力画像に本来加えられていたガンマ変換処理を行うことで最終的に画像出力手段１５で出力する出力画像２を生成するのである。
【０１０８】
このように本発明では、入力画像における色のバランスを保つために、コントラスト改善処理時には輝度のみの改善を行い、その際の改善度合いを示す改善比をもとに入力画像の色差を修正することで合成画像の色バランス改善を図るものである。とくに、修正後の色差の飽和状態を考慮して改善度合いを図ることで、入力画像の色バランスを保持しながらコントラスト改善を行うことが可能となり、改めて色バランスを改善するための手段や仕組みを考慮する必要がないことが特徴である。
【０１０９】
さらに、これらの処理は本発明の実施の形態に係る画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。
【０１１０】
また、本発明の実施の形態に係る画像処理方法に従い生成されたＬＳＩチップのような半導体チップを用いても同様に実現することができる。
【０１１１】
【発明の効果】
以上のように、本発明の画像処理装置及びプロセッサは、対象画素をその周囲にある画素の情報との相対的な関係により、対象画素の画素値を調整することで画像情報を知覚するため、このような知覚により一部だけ別の照明を受けているような不均一な照明光や極端に画素値の強度変化があるようなシーンでも、物体の色を精度よく認知するように、コントラスト補正を行い、色バランスをくずさずに影のような暗部における色や細部情報を明確にすることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態である画像処理装置の構成を表すブロック図
【図２】 本発明の実施の形態である画像処理装置におけるコントラスト改善手段の構成を表す図
【図３】 本発明の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の構成を表すブロック図
【図４】 本発明の実施の形態である画像処理装置における画像合成手段の構成を表すブロック図
【図５】 本発明の実施の形態である画像処理装置における強調量算出手段の構成を表すブロック図
【図６】 本発明の実施の形態である画像処理装置における強調量算出手段の別の構成例を表すブロック図
【図７】 本発明の実施の形態である画像処理装置における強調量算出手段のさらに別の構成例を表すブロック図
【図８】 本発明の実施の形態である画像処理装置における前処理手段と後処理手段の例を表す模式図
【図９】 本発明の実施の形態に係る画像処理方法における全体のフローチャート
【図１０】 本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理と画像合成処理のフローチャート
【図１１】 本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理のフローチャート
【図１２】 本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理の別の例を示すフローチャート
【図１３】 本発明の実施の形態のいずれかに記載の画像処理方法におけるコントラスト改善処理に使用されている人間の視覚モデルの概念図
【図１４】 本発明の実施の形態である画像処理装置におけるコントラスト改善手段の別の構成例を表すブロック図
【図１５】 本発明の実施の形態である画像処理装置における多重解像度でのコントラスト改善手段の別の構成例を表すブロック図
【図１６】 本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理のフローチャート
【図１７】 本発明の実施の形態である画像処理装置におけるコントラスト改善手段のさらに別の構成例を表すブロック図
【図１８】 本発明の実施の形態に係る画像処理方法におけるコントラスト改善処理の概要を表す図
【図１９】 本発明の実施の形態である画像処理装置における後処理手段の構成を表す図
【図２０】 本発明の実施の形態である画像処理方法におけるコントラスト改善処理と後処理のフローチャート
【図２１】 本発明の実施の形態である画像処理方法における後処理の概要を表す図
【図２２】 従来例における画像処理装置の構成を表すブロック図
【図２３】 従来例における画像処理装置の構成を表すブロック図
【図２４】 従来例における画像処理装置の構成を表すブロック図
【符号の説明】
１ 入力画像
２ 出力画像
３ 強調画像
１０ 画像入力手段
１１ 前処理手段
１２ コントラスト改善手段
１３ 画像合成手段
１４ 後処理手段
１５ 画像出力手段
２０ 比較画素決定手段
２１ 強調量導出手段
２２ 変換基準値算出手段
２３ 画素値変換手段
３０ 周辺範囲初期化手段
３１ 終了判定手段
３２ 周辺範囲変更手段
４０ 結合係数導出手段
４１ 加重平均合成手段
４２ 出力値決定手段
５０ 周囲平均手段
５１ 改善量算出手段
６０ エッジ情報検出手段
６１ 補正係数算出手段
６２ 比較量補正手段
７０ 輝度差分平均手段
７１ 強調成分算出手段
７２ 改善量補正手段
１４０ 垂直方向加算手段
１４１ 簡易周囲平均手段
１７０ 間引き垂直方向加算手段
１９０ 入力輝度・色差計算手段
１９１ 輝度比算出手段
１９２ 輝度調整手段
１９３ 色差成分修正手段
１９４ 画像再生成手段
１９５ ガンマ変換手段
２２０ 画像データ入力手段
２２１ 画像データ分割手段
２２２ ヒストグラム作成手段
２２３ コントラスト伸張手段
２２４ 画像データ出力手段
２３０ ＣＣＤ
２３１ メモリ
２３２ 乗算手段
２３３ レベル重み付加手段Ｈ
２３４ 加算手段
２３５ 速度変換手段
２３６ レベル圧縮手段
２３７ タイミング制御手段
２３８ レベル重み付加手段Ｌ
２３９ 画像合成部
２４０ ディジタル撮像装置
２４１ プロセッサ
２４２ フィルタ
２４３ ディスプレイ[0001]
BACKGROUND OF THE INVENTION
  The present invention provides an image processing apparatus that can automatically adjust the contrast of a digital image obtained by a digital camera or the like to obtain a clearer image at high speed.In placeIt is related.
[0002]
[Prior art]
  A color image taken with a digital camera is actually taken due to the influence of the SN level that represents the noise ratio in the analog value obtained by the CCD element, which is an image sensor, and the conversion accuracy when the analog value is converted into a digital value. Since the natural image is limited to a range narrower than the dynamic range of the pixel density, there is a tendency that information in details with shadows is lost. This tendency is particularly significant when trying to photograph a sample in which a bright area and a dark area are mixed in the image. As an improvement, firstly, a method of performing contrast enhancement so as to expand the range of the luminance or the like of the digital image from a higher luminance image portion to a lower luminance image portion can be considered. As a conventional method of contrast enhancement, a histogram showing the distribution of the luminance values of all the pixels that make up the original image is created, and the luminance value of the pixels in the original image is set to a new luminance using the histogram's cumulative curve as the luminance conversion curve. There is a histogram equalization technique that converts to a value and enhances the contrast of the image. In this method, since the luminance of the pixels in the entire original image region is converted to a new luminance using the same luminance conversion curve, a portion where contrast is lowered may occur. For this reason, when it is desired to perform contrast enhancement over the entire image, it is necessary to perform contrast enhancement processing suitable for the region.
[0003]
  As a further improvement of this technique, many local histogram equalization techniques that divide an image into a plurality of rectangular areas and apply the histogram equalization technique for each area have been proposed (for example, Japanese Patent Laid-Open No. 2000-285230).issueGazette), and its configuration diagram is as shown in FIG. FIG. 22 shows a contrast improvement unit, an image data division unit 221 that divides an image into rectangles, a histogram creation unit 222 that creates a histogram for each rectangle, and a contrast extension unit 223 that performs contrast expansion for each rectangle. It becomes more. However, when this method is used, problems have been pointed out, such as the occurrence of a rectangular region in which the contrast is too emphasized, or the contrast being discontinuous at the boundary between adjacent rectangular regions.
[0004]
  On the other hand, without using a histogram, as a solution to such a problem, the shutter time and aperture of the digital camera are changed for each field, and a bright part and a dark part are imaged separately. A method has also been proposed in which a halftone density is realized by synthesizing with a single image so as to approach the dynamic range of the pixel density degree of a natural image actually taken. As an example, JP-A-6-141229issueThere is an example referred to in the publication, and the configuration diagram of the apparatus is as shown in FIG. In FIG. 23, reference numeral 230 denotes an image pickup device that performs a photoelectric effect on a subject, 231 denotes a memory that records an image signal, 232 denotes multiplication means that multiples the signal level, and 233 and 238 add weights according to the level of the image signal. Level weighting means, 234 is an adding means for adding signals, 235 is a speed converting means for converting the speed of the image signal, 236 is a level compressing means for compressing the level of the image signal, and 237 is a timing control for controlling the timing of each block. Means. The inventive device performs weighted synthesis according to the signal level of two or more images having different charge accumulation periods in the image sensor, converts the resultant synthesized image output into the speed of a standard television signal, Since it relates to a television imaging apparatus that compresses to a reference level, it has a speed conversion means, a level compression means and the like. For this reason, when applied to a digital camera, speed conversion means and level compression means are not necessary components. However, in the case of the method by image synthesis obtained in a plurality of charge accumulation periods as in the present invention, contrast discontinuity does not easily occur in the synthesized image, but since at least two images are taken continuously, the principle Cannot take the same image. For this reason, when these images are combined, there is a possibility that an image in which the details of the combined image are blurred or shifted is generated although it is affected by the shutter speed. Also, if the density range when shooting a bright part and the density range when shooting a dark part do not cover the entire density range in the image, there is a risk of discontinuity between the two intermediate density ranges. is there.
[0005]
  By the way, when humans observe details and colors in such shadowed areas, human vision can perceive the wide density dynamics and colors of images without causing the above problems. Can do. The concept of central vision / peripheral vision Retinex centered on human vision is “An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision”, National Academy of Science, 84th by Edwin Land. Volume, pp. 3078 to pp. 3080 (1986). In this, the Retinex concept of human vision is described by an inverse square function with a central visual field having a diameter of 2 to 4 basic units and a peripheral visual field having a diameter approximately 200 to 250 times the central visual field. ing. Then, the spatial average of the signal intensity in each of the central visual field and the peripheral visual field is defined as related to the perceived intensity. In recent years, methods for improving the color and lightness expression in the dark part as described above have been proposed in accordance with these principles. An example of this is the international publication number WO97 / 45809.GazetteFIG. 24 shows the configuration. Although a gray scale image is described here as an example, it can be extended to a color image. The pixel value I (i, j) in (i, j) of the image is adjusted by the processor 241 and the filter 242, and the filtering process is performed.
[0006]
  For each pixel, the processor 241 calculates an adjusted pixel value I ′ (i, j) as in the following equation (Equation 1). Here, F (x, y) is a peripheral visual field function representing the peripheral visual field, and “*” indicates a convolution calculation process.
[0007]
  Then, the normalization coefficient K is determined so that F (x, y) satisfies the condition of the equation (Equation 2), whereby the second term of the equation (Equation 1) is the pixel value in the peripheral visual field. Corresponds to the average value. That is, the equation (Equation 1) corresponds to a logarithmic conversion of the ratio of the pixel value of each pixel to the average pixel value in a large area. The peripheral visual field function F (i, j) is designed so that the contribution ratio increases as it approaches the target pixel from the correspondence with the human visual model, and a Gaussian function such as Expression (3) is applied. . Here, c is a constant for controlling the adjusted pixel value I ′ (i, j) of each pixel value I (i, j).
[0008]
[Expression 1]

[0009]
[Expression 2]

[0010]
[Equation 3]

[0011]
  As described above, in the conventional invention, the target pixel value with respect to the average pixel value in the peripheral visual field is calculated as the adjusted pixel value I ′ (i, j), and this value is used by the display 243. Filter processing for generating Retinex output R (i, j) is performed by 242. Reference numeral 242 converts I ′ (i, j) from a logarithmic region to a pixel value region of R (i, j) handled by the display 243, and is the same for all pixels for the sake of simplification of processing. A process that applies an offset and gain conversion function is used.
[0012]
  However, this method is greatly influenced by c that controls the peripheral visual field function. For example, if c is a large value, the peripheral visual field that contributes to the target pixel is increased, so that only color compensation in a large shadow is possible, whereas if c is a small value, only the vicinity of the target pixel is detected. Only an improvement in small shadow areas can be seen. Appropriate c needs to be taken into account according to the dynamic range of pixel values in the image handled in this way, and there is a problem of image dependency. As an improvement, a method of providing a plurality of peripheral visual field areas has been proposed in the same patent, but it is not clear how many peripheral visual field areas are prepared. In addition, in order to improve the improvement accuracy, there is a problem that the processing time becomes enormous by preparing many small peripheral areas from large peripheral areas.
[0013]
  In addition, when the pixel value variation is extremely small within the maximum peripheral field of view set by a plurality of constants c, the adjusted pixel value I ′ (i, j) is I (i, j ) Regardless of (). In such a case, I ′ (i, j) at the target pixel with small pixel value variation is often located in the vicinity of the average of I ′ (i, j) in the entire input image, and offset and gain conversion at 242 Regardless of the function, there is a tendency to tend toward the center of the actual pixel value. In particular, in a uniformly wide image area having a highlight luminance, there is a problem that the luminance after adjustment is easily adjusted in a decreasing direction and visually deteriorates. On the other hand, color noise and compression noise generated at the time of photographing may appear due to excessive emphasis in a low luminance and wide area such as a night scene.
[0014]
  As a technique for solving this problem, it was shown that these can be improved by deriving an adaptive composite image of the input image and the emphasized image from the prior application. On the other hand, flattening of the image, particularly a decrease in density difference at the contour portion, occurred.
[0015]
[Problems to be solved by the invention]
  In this way, the conventional contrast improvement technology based on the human visual model was able to obtain a clearer contrast-converted image than other methods. There is a problem that a lot of empirical knowledge is included in the design of the filter processing when converting into actual pixel values to be finally handled. As a countermeasure, a multi-resolution model with a plurality of peripheral fields of view has been proposed, but the processing time becomes enormous.
[0016]
  Further, it is necessary to flatten the synthesized image generated by the image synthesis, particularly to further emphasize the contour portion.
[0017]
  The present invention has been made in view of the above points, and an image processing apparatus capable of improving the contrast of a captured image more clearly and at high speed using only the captured image having a bright and dark portion.PlaceThe purpose is to provide.
[0018]
[Means for Solving the Problems]
  In order to solve the above problems, the image processing apparatus of the present inventionIs, An input unit for inputting image data, and a surrounding area having a size smaller than the image size of the image data and having 7 pixels or more in the horizontal direction, and determining the luminance value of the target pixel and the target pixel as a central pixel Surrounding area of the sizeAverage ofLuminance value andDeriving the improved luminance of the target pixel based on the ratio ofA contrast improvement unit;An image synthesis unit that synthesizes the improved luminance and the input luminance and outputs a synthesized luminance, and a luminance ratio calculation unit that calculates an improvement degree that is a luminance ratio between the synthesized luminance and the input luminance,A post-processing unit including a color difference component correcting unit that calculates an improved color difference by multiplying the input color difference of the target pixel by the improvement degree, and an image regeneration unit that calculates an RGB component from the combined luminance and the improved color difference And comprisingThe luminance values of the first pixel and the second pixel constituting the same image data are input, and the luminance value of the first pixel is input.And beforeThe surrounding area of the size having the first pixel as the central pixelaverageLuminance value andA first improved brightness that is a ratio of the first improved brightness and an input brightness of the first pixel is output, and a first synthesized brightness and the first input brightness are output. Is the luminance ratioBased on the degree of improvement, the first pixelCalculating a first improved color difference, calculating an RGB component of the first pixel from the first combined luminance and the first color difference;Luminance value of the second pixelAnd beforeThe second peripheral region of the size is a region different from the first region and having the second pixel as a central pixel.averageBrightness valueTo derive the second improved brightness,A second synthesized luminance that is a synthesized value of the second improved luminance and the input luminance of the second pixel is output, and is a luminance ratio between the second synthesized luminance and the second input luminance.Based on the degree of improvement, the second pixelAn improved color difference is calculated, and an RGB component of the second pixel is calculated from the second combined luminance and the second color difference..
[0019]
DETAILED DESCRIPTION OF THE INVENTION
  Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows the present invention.The fruitFIG. 2 is a diagram showing the overall configuration of an image processing apparatus according to an embodiment.The fruitFIG. 4 shows the configuration of the contrast improving means in the image processing apparatus according to the embodiment.Of the present inventionThe block diagram of the image synthetic | combination means in the image processing apparatus which is embodiment is represented.
[0020]
  FIG. 5 shows the present invention.The fruitThe block diagram of the emphasis amount derivation | leading-out improvement means in the image processing apparatus which is embodiment is represented.
[0021]
  FIG. 6 shows the present invention.The fruitOf the enhancement amount deriving means in the image processing apparatus according to the embodimentAnother configuration exampleRepresents.
[0022]
  FIG. 7 shows the present invention.The fruitOf the enhancement amount deriving means in the image processing apparatus according to the embodimentYet another configuration exampleRepresents.
[0023]
  FIG. 14 shows the present invention.The fruitOf the contrast improving means in the image processing apparatus according to the embodimentAnother configuration exampleFIG. 17 shows the present invention.The fruitOf the contrast improving means in the image processing apparatus according to the embodimentYet another configuration exampleRepresents.
[0024]
  FIG. 19 shows the present invention.The fruitThe block diagram of the post-processing means in the image processing apparatus which is embodiment is represented.
[0025]
  FIG. 9 shows the present invention.The fruitForm of applicationPertaining toIt is a figure showing the whole flowchart in an image processing method.
[0026]
  FIG. 10 shows the present invention.The fruitForm of applicationPertaining toIt is a figure showing the flowchart of the contrast improvement process and image composition process in an image processing method.
[0027]
  FIG. 11 shows the present invention.The fruitForm of applicationPertaining toIt is a figure showing the flowchart of the contrast improvement process in an image processing method.
[0028]
  FIG. 12 shows the present invention.The fruitForm of applicationPertaining toContrast improvement processing in image processing methodAbout another example ofFIG. 20 shows a flowchart, and FIG.The fruitForm of applicationPertaining toContrast improvement processing and post processing in image processing methodReasonIt is a figure showing a flowchart.
[0029]
  Note that, in each drawing of the configuration diagram, the same number is assigned to the same part. In addition, hereinafter, pixel units are all used as the unit of the pixel position (i, j).
[0030]
  (First aspect)
  Reality of the present inventionAn image processing apparatus and an image processing method which are embodiments will be described. FIG. 1 is a diagram showing the overall configuration. 1 is an input image, 2 is an output image to be finally output, and 3 is an image after enhancement processing obtained by the contrast improving means 12. 10 is an image input means such as a CCD element for obtaining one input image, 11 is a preprocessing means for performing preprocessing such as inverse gamma conversion on the input image, and 12 is obtained by 11. Contrast improvement processing means for performing contrast improvement processing for enhancing details of the digital input image, 13 is an image composition means for synthesizing the digital input image and the enhanced image obtained by the 12 contrast improvement means, and 14 is 13. Post-processing means for performing post-processing such as gamma conversion applied to the input image on the obtained composite image. Reference numeral 15 denotes a desired device (printer, display, etc.) using the composite image obtained in 13 as an image after final processing. Etc.) is output. The contrast improving means is configured as shown in FIG. 2. In FIG. 2, 20 is a comparison pixel determining means for determining peripheral pixels to be compared from the peripheral area of the target pixel Pij, and 21 is a color 3 in the target pixel Pij. By comparing the component value VPij (r (i, j), g (i, j), b (i, j)) with the comparison target pixel selected from the Pij surrounding area of the width c, the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated as an enhancement amount deriving unit. Reference numeral 22 denotes a contrast improvement amount VRPij obtained by the enhancement amount deriving unit 21 as an actual pixel value. Is a conversion reference value calculation means for obtaining a conversion reference value VTc (rtc (i, j), gtc (i, j), btc (i, j)) at the time of conversion intoThe valueThis is a pixel value conversion means for converting the contrast improvement amount VRPij obtained by the enhancement amount deriving means 21 to the pixel value after the contrast improvement in the actual pixel Pij. The enhancement amount deriving unit 21 includes a surrounding average unit 50 and an improvement amount calculating unit 51 as shown in FIG.
[0031]
  Further, as shown in FIG. 4, the image synthesizing means 13 is based on the luminance information in the input image 1, and the coupling coefficient ws (s = 1,) applied to the input image 1 and the enhanced image 3 obtained by the contrast improving means. 3; where w1 is a coupling coefficient applied to the input image 1 and w3 represents a coupling coefficient applied to the enhanced image 3), and a coupling coefficient w0 obtained by the coupling coefficient derivation means 40. , W1 to generate a weighted average image 41 of the input image 1 and the weighted average image 3 obtained by the contrast improving means, and the weighted average composite image 41 obtained by 41, the input image 1, and the weighted image It comprises output value determining means 42 for comparing the image 3 and determining the pixel value of the output image.
[0032]
  Configured as abovePictureThe operation of the image processing apparatus will be described with reference to FIGS.
[0033]
  The color image 1 is digitally input via the image input means 10. In the case of a color image, the component data of red, green g, and blue b can be obtained with the accuracy of the input means (a value from 0 to 255 for 8 bits). 10 normalizes this value from 0.0 to 1.0.
[0034]
  Preprocessing as shown in FIG. 8 is performed on the digital input image 1. In recent years, image data that has undergone such contrast improvement has been photographed with a digital camera (DSC). Normally, when image data captured by DSC is displayed on a monitor on a personal computer or the like, a gamma function having a convex shape as shown in the upper left of FIG. 8 is used to make the input image clearer. Conversion processing is being performed. In the generally used sRGB space, 2.2 is used as the gamma γ in this gamma conversion. Even when output is performed by a printer, image processing for output is executed on the assumption that this gamma function is preliminarily applied to the input image. Therefore, in order to accurately extract image data obtained by a photographing element such as a CCD, a conversion process using an inverse gamma function is required to restore the effect of γ = 2.2. A downward convex gamma conversion as shown in the figure is performed.
[0035]
  Next, the contrast improving means 12 performs a contrast improving process for improving the contrast in the dark part of the input image on the digital input image 1 subjected to inverse gamma conversion. The contrast improving means 12 performs as shown in FIG. In human vision, pixel information (color, contrast, etc.) of Pij is not recognized only by pixel values perceived with respect to the target pixel Pij as schematically shown in FIG. Depending on the relative relationship with the surrounding pixel information,Elementary PThe pixel information of Pij is perceived by adjusting the pixel value of ij. This is called the Retinex concept introduced by Edwin Land, as explained in the previous example. Even in a scene where there is a change in the intensity of the pixel value, the color of the object can be accurately recognized. Even in the present invention, this concept is used to clarify the color and detail information in a dark part such as a shadow.
[0036]
  First, a pixel value VPij (r (i, j), g (i, j), b (i, j))) of the target pixel Pij is regarded as a central visual field in Land, and an area belonging to a rectangular area of c pixels around it Is regarded as peripheral vision. Then, the weighted average pixel value VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) of the pixel value in the peripheral visual field is obtained, and the relative relationship between VAPij and VPij is determined. The connected contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is calculated. As this VAPij, the pixel value VPij (r (i, j), g (i, j), b (i, j) in the peripheral visual field of the c pixel in the second term of the formula (Equation 1) as in the conventional example. ) And expressions (Equation 2) and (Equation 3) can be defined by the convolution integral value of the peripheral visual field function F (x, y) defined by the Gaussian function, and the contrast improvement amount VRPij is also expressed by the equation ( Although it is possible to define Equation 1) independently for the three components, in the present invention, the definition is made in consideration of simplification and speeding up of processing. As an example, VAPij is an average value of pixel values VPij (r (i, j), g (i, j), b (i, j)) in the peripheral visual field of c pixels as shown in Equation (4). The contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is also defined by the weighted average pixel value of the pixel value VPij for each component as shown in Equation (5) It can be defined as the ratio to VAPij.
[0037]
[Expression 4]

[0038]
[Equation 5]

[0039]
  Further, the average value of the luminance y (i, j) in the peripheral visual field of the c pixel is defined as three components of VAPij as in the equations (Equation 6) and (Equation 7), and the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) can also be defined as a ratio of each component value in the pixel Pij to the weighted average pixel value VAPij as shown in Expression (7).
[0040]
[Formula 6]

[0041]
[Expression 7]

[0042]
  By doing so, it is considered that the balance of the obtained contrast improvement amounts can be maintained better than the calculation of the contrast improvement amount independently for each component as in the equations (4) and (5). Therefore, in the present invention, the definitions based on the equations (Equation 6) and (Equation 7) are adopted.
[0043]
  The contrast improvement amount VRPij for the target pixel Pij as described above is performed on all the images in the input image. This processing is performed by the surrounding average means 50 and the improvement amount calculation means 51.
[0044]
  Next, it is necessary to convert this contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) into an actual pixel value. As this processing, there is a method of converting each component of VRPij into a value within the range of 0.0 to 1.0 and converting it to an actual pixel value extracted from a necessary part. Therefore, the conversion reference value VTc (trc, tgc, tbc) is calculated, and the conversion reference value is multiplied by each component of VRPij to obtain the pixel value in the pixel Pij of the enhanced image 3. In this case, it may be converted from 0 to 255, which is normally handled 8-bit integer data, but here the conversion reference value and contrast improvement amount are first converted to real data within a normalized range of 0.0 to 1.0. The data is converted using VRPij, and then converted to 8-bit integer data from 0 to 255. Therefore, the value that each component of VTc can take is in the range of 0.0 to 1.0. Although the conversion reference value calculation means 22 determines VTc, it can be set to the average of the pixel values that can be uniformly taken as VTc = (0.5, 0.5, 0.5). However, it seems that it is possible to suppress a sudden change from the input image 1 by converting the brightness so that the brightness is higher and the brightness is lower. That is, by controlling the value of VTc according to the luminance y (i, j) at the target pixel Pij of the input image 1 in this way, it is possible to suppress a sudden increase in the luminance level of the shadow portion. Therefore, VTc (trc, tgc, tbc) is controlled according to y (i, j) as described above. An example of this is given by equation (Equation 8), but it is also conceivable to use a nonlinear function instead of such a linear function.
[0045]
[Equation 8]

[0046]
  If the slope in the equation (Equation 8) is excessively large, the contrast improvement in the dark part is excessively suppressed, and the characteristic that enhances the contrast by emphasizing the part having a variation difference may be impaired. . Also, since the range that VTc can take is 0.0 to 1.0, it is necessary to set the equation (Equation 8) based on these conditions.
[0047]
  In response to the result of VRPij of the enhancement amount deriving unit 21 and the result of VTc of the conversion reference value calculation unit 22, the pixel value conversion unit 23 obtains a pixel value at the pixel Pij of the enhanced image 3.
[0048]
  On the other hand, as a problem of the contrast improvement method based on the Retinex theory, a decrease in the luminance level occurs in a highlight portion having a uniform color in a very large area described in the conventional example. Similarly, in a shadow portion having a uniform color in a very large area, the luminance level in the emphasized image rapidly rises, so that the color noise in the shadow portion generated at the time of input by a CCD or the like is conspicuous. In order to solve these problems in the previous application (Japanese Patent Application No. 2002-33658), the inventors of the present patent application adaptively used the input image 1 and the enhanced image 3 obtained by the visual model. By combining, the reduction or increase in luminance level inherent in the input image 1 is suppressed. Although this means is also used in the present invention, the conversion reference value VTc for converting the VRPij from the above-described enhancement amount deriving means 21 into an actual pixel value is controlled according to the luminance y (i, j) of the target pixel Pij. By combining with the processing to be performed, it is possible to improve the appearance of the dark part while maintaining the atmosphere of the input image 1 more. The image synthesizing means 15 is configured as shown in FIG. 4. First, at 40, the coupling coefficient w1 applied to the input image 1 and the coupling coefficient w3 applied to the enhanced image 3 are controlled. In 41, a weighted average composite image 4 using w1 and w3 is generated. Finally, at 42, the luminance y (i, j) and the color differences cr (i, j), cb (i, j) of the target pixel Pij of the input image 1 are obtained, and the luminance wy ( i, j), color difference wcr (i, j), wcb (i, j) are obtained. If y (i, j) ≧ wy (i, j), then wy (i, j) = y (i, j) and this wy (i, j), wcr (i, j), The final output image 2 is generated by converting wcb (i, j) to VWPij (wr (i, j), wg (i, j), wb (i, j)) in the RGB space.
[0049]
  At the time of 40, the pixel value VRPij of the input image 1 is compared with the pixel value VRPij of the emphasized image 3. If all three components are larger than VRPij, w1 = 1.0 and w3 = 0.0. The pixel value VWPij of the composite image is determined with w1 = w3 = 0.5. However, as described in the previous application (Japanese Patent Application No. 2002-33658), a method of controlling with edge information in the corresponding pixel of the input image Also, a method of controlling as in Expression (9) using the luminance y (i, j) and predetermined threshold values TH and THComb is also possible.
[0050]
[Equation 9]

[0051]
  In the case of equation (Equation 9), the processing overhead due to the exp function can be considered, but the overhead of this processing can be suppressed by making a table of the exp function corresponding to the preset accuracy and referring to the table. This formula (Equation 9) gives priority to the emphasized image 3 as much as possible in the dark portion, but based on the ratio of the luminance of the input image and the luminance of the emphasized image, if the improvement is rapid, the w3 is suppressed in the dark portion. It is devised to suppress noise enhancement.
[0052]
  By performing the above-described configuration and processing, the present inventionThe fruitThe image processing apparatus and the image processing method according to the embodiment effectively improve the contrast by suppressing the noise enhancement for the luminance decrease in the highlight portion and the sharp increase in the luminance in the shadow portion by effectively utilizing the advantages of the visual model of the conventional example. Can be performed easily and with high accuracy. Further, unlike the prior application and the conventional method of Jobson et al., It is not necessary to extract a region that seems to be more effective than the contrast improvement amount obtained in 21, which has the advantage of reducing the processing amount.
[0053]
  Further, in the present invention, the contrast improving means 12 is constituted by one peripheral region c as shown in FIG. 2, but it seems that the size of the peripheral region c is caused by the size of the dark part to be improved. It is. Usually, in the case of natural images, there can be shadows with various sizes, so a multi-resolution model with multiple peripheral area sizes c [s] such as Jobson et al. Is. When the present invention is applied to such a multi-resolution model, the twelve contrast improving means are configured as shown in FIG.
[0054]
  First, the peripheral range initialization means 30 sets c0 of a plurality of peripheral visual field region sizes c [s] (s = 0, 1,..., Cnum-1) prepared in advance as c = c0. Set. In this case, c [s] may be prepared in ascending order from the minimum size region, or may be prepared in descending order from the maximum size, but it is better to align the size change directions. Here, assuming that the images are prepared in descending order from the maximum size, it is assumed that the detail improvement in the input image is performed while sequentially reducing the peripheral visual field region. 20 and 21, the contrast improvement amount VRPij [s] (Rr # s (i, j), Rg # s () of the pixel value in the peripheral visual field with respect to the peripheral visual field in the rectangular area of c = ck that is currently set. i, j), Rb # s (i, j)) is calculated. Then, the end determination unit 31 determines whether or not the calculation of the contrast improvement amount in the peripheral visual field of the pixel Pij at 21 is completed for all c [s]. If it is determined that the process has not been completed, the process moves to the peripheral range changing means 32, the currently set peripheral visual field region c is changed to the next candidate, and the processes in steps 20 and 21 are performed again. On the other hand, if the end determination is made at 31, the Pij contrast improvement amount VRPij [s] (Rr # s (i, j), Rg # s (i, j), Rb) for each peripheral visual field region c [s]. #s (i, j)) Find the weighted average value and set the value as the Pij contrast improvement VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) . For simplification, the average value of VRPij [s] by each c [s] is adopted as the contrast improvement amount VRPij of Pij. In addition to this, it is also possible to compare the value VRPij [s] based on c [s] for each component and set the maximum value as the contrast improvement amount VRPij of Pij. In such a case, the processing time is increased by the comparison process rather than the addition process, but the pixel value fluctuation of the image generated as the emphasized image 3 becomes moderate, and there is an advantage that a sharp rise at the edge portion can be suppressed.
[0055]
  The subsequent processing is the same as in the case of one peripheral range, and is therefore omitted.
[0056]
  These processes areAboveIt can be similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to an image processing method.
[0057]
  In addition, the present inventionAboveThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0058]
  (Second aspect)
  Next, the present inventionThe fruitPROCESSING APPARATUS AND IMAGE PROCESSING METHODVariations ofWill be described.
[0059]
  The overall configuration diagram isFirst aspect1 is configured as shown in FIG. 1, and the contrast improving means is as shown in FIG. 2 when it has one peripheral range c, and as shown in FIG. 3 when it has a plurality of peripheral ranges c [s]. become. Similarly, the image composition means 13 is as shown in FIG. The enhancement amount deriving means 21 in FIG. 2 or FIG. 3 is configured as shown in FIG.
[0060]
  The enhancement amount deriving means 21 is a weighted weighted sum VAPij (Ar () of the comparison target pixels selected from around the target pixel Pij (r (i, j), g (i, j), b (i, j)). i, j), Ag (i, j), Ab (i, j)), and an edge information detecting means 60 for obtaining edge information e (i, j) of luminance in Pij; Correction coefficient calculation means 61 for determining a coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting 50 VAPij based on e (i, j) of Comparison amount correction means 62 for correcting VAPij based on the correction coefficient VDAPij obtained in 61, VAPij representing the local feature of Pij obtained in 62, and pixel Pij (r (i, j), g ( (I, j), b (i, j)) based on the ratio of contrast enhancement VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) Consists of means 51.
[0061]
  Configured as abovePictureThe operation of the image processing apparatus will be described.
[0062]
  The color image 1 is digitally input via the image input means 10. In the case of a color image, the component data of red, green g, and blue b can be obtained with the accuracy of the input means (a value from 0 to 255 for 8 bits). 10 normalizes this value from 0.0 to 1.0. Next, the processing means 11 performs pre-processing for returning the gamma conversion of the input image to the original linearity for the digital input image 1. The contrast improving means 12 performs a contrast improving process for improving the contrast in the dark portion on the input image 1 after the preprocessing. The contrast improving means 12 is performed as shown in FIG. 2 or FIG. First, a comparison target pixel used for comparison density calculation is selected from surrounding pixels in the surrounding range c or c [s] of the target pixel, and a contrast enhancement amount VRPij (Rr (i, j) is calculated from the comparison target pixel and the target pixel. , Rg (i, j), Rb (i, j)). Then, this value is converted into a pixel value, which is actual 8-bit integer data, using the conversion reference value VTc (trc, tgc, tbc). Then, the image composition means 13 shown in FIG. 4 performs adaptive composition of the obtained enhanced image 3 and the input image 1, and the gamma conversion originally added to the input image on the obtained composite image 2 is performed again. When the post-processing unit 14 performs, the image output unit 15 generates a final output image to be output to a device device such as a printer or a display.
[0063]
  The enhancement amount deriving means 21 first regards the pixel value VPij of the pixel Pij in the input image as the central visual field in Land, and regards the area belonging to the rectangular area of c pixels around it as the peripheral visual field. Then, based on the comparison target pixel selected by the comparison pixel determining means 20, a weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j) within the surrounding range is obtained. ) Is calculated. At the same time, a correction coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting this value is obtained. In the first embodiment of the present invention, the flattening phenomenon near the edge of the output image 2 that occurs in the composite image 3 by controlling the conversion reference value VTc when converting the contrast improvement amount into the actual pixel value. Although it was suppressed, in order to cancel the flattening around this contour, instead of controlling the conversion reference value VTc, it is a uniform central value (here, 0.5 because it is handled in the range from 0.0 to 1.0) It is also possible to control the weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j)) in the surrounding range Aij obtained at 50 by setting It seems to be effective. Therefore, in the present invention, using the information of the target pixel Pij in the input image, a correction coefficient VDAPij (dcr (i, j), dcg (i, j), dcb (i, j)) for correcting VAPij is obtained, By multiplying this value by 61 for VAPij for each component, the degree of enhancement near the contour is increased. As the correction coefficient control, here, the degree of edge information is linearly expressed as in Expression (10) based on the edge information e (i, j) of the luminance y (i, j) of the target pixel Pij. Therefore, it was decided to suppress the correction coefficient. However, this control method is not uniquely determined, and control using a nonlinear function is also possible. In the equation (Equation 10), ave_e represents the average of e (i, j) in the image, but 0.5 can be set for simplification.
[0064]
[Expression 10]

[0065]
  But,First aspectIt is also possible to control the correction coefficient linearly based on the luminance y (i, j) of the target pixel Pij in the input image in the same way as in this case. It is what you want to do.
[0066]
  By adopting such means, it is possible to improve the contrast in the dark part so as to preserve the sharpness of the emphasized image 3 and the composite image 2 of the image 3 and the input image 1 to some extent.
[0067]
  Also,First aspect3, a configuration with multiple resolutions as shown in FIG. 3 is also possible. By using this, the dynamic range of the pixel value in the input image and the dark part size such as a shadow can be obtained while taking advantage of the image sharpness preservation of the present invention. The contrast of the input image can be automatically improved without much influence, which leads to the efficiency of the image contrast adjustment.
[0068]
  These processes areOf the second aspectIt can be similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to an image processing method.
[0069]
  Also,Of the second aspectThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0070]
  (Third aspect)
  Next, the present inventionThe fruitPROCESSING APPARATUS AND IMAGE PROCESSING METHODAnother variation ofWill be described.
[0071]
  The overall configuration diagram isFirst aspect1 is configured as shown in FIG. 1, and the contrast improving means is as shown in FIG. 2 when it has one peripheral range c, and as shown in FIG. 3 when it has a plurality of peripheral ranges c [s]. become. Similarly, the image composition means 13 is as shown in FIG. The enhancement amount deriving means 21 in FIG. 2 or FIG. 3 is configured as shown in FIG.
[0072]
  The enhancement amount deriving means 21 is a weighted weighted sum VAPij (Ar () of the comparison target pixels selected from around the target pixel Pij (r (i, j), g (i, j), b (i, j)). i, j), Ag (i, j), Ab (i, j)), and the difference between the luminance at Pij and the luminance of the comparison target pixel Qij selected from the surrounding area. Luminance difference averaging means 70 for obtaining weighted weighted sum Ady (i, j) of absolute values, and contrast enhancement amount VRPij (Rr (i, j), Rg obtained in 51 based on Ady (i, j) (i, j), Rb (i, j)) emphasis component VBRPij (BRr (i, j), BRg (i, j), BRb (i, j)) , 71 based on VBRPij (BRr (i, j), BRg (i, j), BRb (i, j)) obtained in 71, the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j ), Rb (i, j)).
[0073]
  Configured as abovePictureThe operation of the image processing apparatus will be described.
[0074]
  The color image 1 is digitally input via the image input means 10. In the case of a color image, the component data of red, green g, and blue b can be obtained with the accuracy of the input means (a value from 0 to 255 for 8 bits). 10 normalizes this value from 0.0 to 1.0. Next, for digital input image 1, pre-processing for returning the gamma conversion of the input image to the original linearity is performed.PredecessorThis is performed by the processing means 11. The contrast improving means 12 performs a contrast improving process for improving the contrast in the dark portion on the input image 1 after the preprocessing. The contrast improving means 12 is performed as shown in FIG. 2 or FIG. First, a comparison target pixel used for comparison density calculation is selected from surrounding pixels in the surrounding range c or c [s] of the target pixel, and a contrast enhancement amount VRPij (Rr (i, j) is calculated from the comparison target pixel and the target pixel. , Rg (i, j), Rb (i, j)). Then, this value is converted into a pixel value, which is actual 8-bit integer data, using the conversion reference value VTc (trc, tgc, tbc). Then, the image composition means 13 shown in FIG. 4 performs adaptive composition of the obtained enhanced image 3 and the input image 1, and the gamma conversion originally added to the input image on the obtained composite image 2 is performed again. When the post-processing unit 14 performs, the image output unit 15 generates a final output image to be output to a device device such as a printer or a display.
[0075]
  The enhancement amount deriving means 21 first regards the pixel value VPij of the pixel Pij in the input image as the central visual field in Land, and regards the area belonging to the rectangular area of c pixels around it as the peripheral visual field. Then, based on the comparison target pixel selected by the comparison pixel determining means 20, a weighted weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j) within the surrounding range is obtained. ) Is calculated.
[0076]
  In the first embodiment of the present invention, the flattening phenomenon near the edge of the output image 2 that occurs in the composite image 3 by controlling the conversion reference value VTc when converting the contrast improvement amount into the actual pixel value. It was suppressed. In the second embodiment of the present invention, the weight in the surrounding range is not controlled based on the edge information e (i, j) of the luminance y (i, j) of Pij, instead of controlling the conversion reference value VTc. By controlling the weighted sum VAPij, the flattening phenomenon near the edge in the composite image 3 is suppressed.
[0077]
  In the third embodiment, first, the luminance difference average calculating means 70 uses the luminance y (i, j) in the target pixel Pij and the luminance ys (i) of Q (i, j) selected as a comparison pixel from the peripheral range. , j) is obtained a weighted weighted sum Ady (i, j) of the absolute value of the difference amount. Based on this value, the emphasis component calculating means 71 calculates the emphasis component VBRPij (BRr (i, j), BRg (i, j), BRb (i, j)) according to the equation (Equation 11). .
[0078]
## EQU11 ##

[0079]
  This expression regards Ady (i, j) as the displacement enhancement amount in Pij, and from 1.0 of VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) obtained in 51 The amount of component to be emphasized is calculated by this Ady (i, j) and a preset enhancement coefficient. For example, no emphasis component is generated where the luminance does not change uniformly. However, for a target pixel having a contrast improvement amount greater than 1.0, a component that enhances the pixel value of the enhanced image is calculated. Conversely, for a target pixel having a contrast improvement amount smaller than 1.0, A component that suppresses the pixel value is obtained. Therefore, the enhanced image 3 has a sharper feeling where the change in the pixel value near the edge or the like is larger, and it is possible to realize the sharpness of the image in the finally obtained composite image 2.
[0080]
  As aboveIn the third aspectCan improve the contrast in the dark part so as to preserve the sharpness of the emphasized image 3 and the composite image 2 of the image 3 and the input image 1 to some extent by incorporating such means for calculating the enhancement component. It becomes.
[0081]
  Also,First aspect3, a configuration with multiple resolutions as shown in FIG. 3 is also possible. By using this, the dynamic range of the pixel value in the input image and the dark part size such as a shadow can be obtained while taking advantage of the image sharpness preservation of the present invention. The contrast of the input image can be automatically improved without much influence, which leads to the efficiency of the image contrast adjustment.
[0082]
  These processes areOf the third aspectIt can be similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to an image processing method.
[0083]
  Also,Of the third aspectThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0084]
  (Fourth aspect)
  Next, the present inventionThe fruitPROCESSING APPARATUS AND IMAGE PROCESSING METHODAnother variation ofWill be described.
[0085]
  The overall configuration diagram of the present inventionFirst aspect1 is configured as shown in FIG. 1, and the contrast improving means is configured as shown in FIG. 14 when having one peripheral range c. Similarly, the image composition means 13 is as shown in FIG. The contrast improving unit 12 includes a comparison pixel determining unit 20 that determines a peripheral pixel to be compared from a peripheral region of the target pixel Pij, and a vertical direction for the selected comparison pixel with respect to each horizontal pixel position i. The vertical direction addition means 140 for obtaining the addition value N [i] of the peripheral area, and the weighted sum VAPij (Ar (i, j), Ag (i, j), Ab (i, j)), a simple ambient averaging means 141, VAPij representing a local feature of Pij obtained in 141, and a pixel Pij (r (i, j ), g (i, j), b (i, j)) to calculate the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) Improvement amount calculating means 51 for converting the contrast improvement amount VRPij obtained in 51 into an actual pixel value, VTc (rtc (i, j), gtc (i, j), btc (i, j)) for the conversion reference value calculation means 22 and the conversion reference value of 22 to improve the correction amount Composed of the pixel value converting means 23 for converting the pixel values after contrast improvement in the actual pixel Pij contrast improvement amount VRPij obtained in stage 72.
[0086]
  Configured as shown in FIG.PictureContrast improvement processing in image processing apparatusFlow ofExplain this.
[0087]
  The color image 1 is digitally input via the image input means 10. In the case of a color image, the component data of red, green g, and blue b can be obtained with the accuracy of the input means (a value from 0 to 255 for 8 bits). 10 normalizes this value from 0.0 to 1.0. Next, the processing means 11 performs pre-processing for returning the gamma conversion of the input image to the original linearity for the digital input image 1. The contrast improving means 12 performs a contrast improving process for improving the contrast in the dark portion on the input image 1 after the preprocessing. The contrast improving means 12 first selects a comparison target pixel in the peripheral area c. In this case, for example, as shown in the left diagram of FIG. 16, the comparison target pixel Qij is determined by thinning out in the vertical direction at a certain interval. Next, the vertical direction adding means 140 obtains an addition value N [i] of luminance values in the vertical direction at each horizontal pixel position i as shown in the left diagram of FIG. Then, the simple surrounding average means 141 obtains a weighted sum S of N [k] included in the peripheral region c of the target pixel Pij from this N [i] and divides it by the number of comparison pixels m included in the peripheral range. Thus, the average comparison target luminance Asy (i, j) is calculated. Then, the contrast improvement amount VRPij is obtained by comparing this value with the pixel values (r (i.j), g (i, j), b (i, j)) of the target pixel Pij. Furthermore, when the horizontal pixel position i moves to i + 1 as shown in the right diagram of FIG. 16, the first N [0] is first reduced from the weighted sum S obtained by Pij as shown in FIG. . Then, by adding N [7] which is newly included in the peripheral range, the sum S of luminances of the comparison pixels in the peripheral range of Pi + 1j is obtained. Similarly, by dividing this value by the number m of comparison target pixels, an average comparison target brightness Asy (i + 1, j) is obtained. In this way, the average comparison target luminance can be easily obtained by adding and subtracting the previously prepared addition value N [k] in the vertical direction. This is the target pixel Pij (r (i, j), g (i, j), b (i) of the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)). , j)) is the comparison target concentration VAPij. By doing so, it is possible to perform a filtering process when obtaining VAPij in the peripheral range at high speed.
[0088]
  When performing contrast improvement by Retinex processing, the reduction of the processing amount for obtaining VAPij has been a major point. In particular, when multi-resolution processing with multiple peripheral range areas c [k] is performed as shown in Fig. 15, the amount of processing becomes very large. However, as in the present invention, the weighted weighted sum can be simplified to a simple average in the peripheral range, and the processing amount can be reduced by devising the weighted sum calculation procedure in the peripheral range. .
[0089]
  When converting this contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) into an actual pixel value,First aspectIn the same way as above, by controlling the value of the conversion reference value VTc according to the luminance y (i, j) at the target pixel Pij of the input image 1 as shown in Expression (8), the luminance level of the shadow part is rapidly increased. Suppress. At this time,Second aspectControl of average comparison concentration VAPij and thirdAspectIt is also possible to add processing such as that controlled by the emphasis component VBRPij.
[0090]
  Further, in the present invention, the contrast improving means 12 is constituted by one peripheral region c as shown in FIG. 14, but it seems that the size of the peripheral region c is caused by the size of the dark part to be improved. It is. Usually, in the case of natural images, there can be shadows with various sizes, so a multi-resolution model with multiple peripheral area sizes c [s] such as Jobson et al. Is. When the present invention is applied to such a multi-resolution model, the twelve contrast improving means have the configuration shown in FIG.
[0091]
  In such a case, the pixel value fluctuation of the image generated as the emphasized image 3 becomes moderate, and there is an advantage that a sharp rise in the edge portion can be suppressed.
[0092]
  As aboveFourth aspectThe image processing apparatus and the image processing method ofFirst aspectBy devising and simplifying the calculation process of the average comparison pixel density VAPij around the target pixel having the largest processing amount, the processing time can be shortened while maintaining the contrast improvement effect while preserving the edge. In particular, this speed-up effect becomes greater as the peripheral area c [k] has a plurality of peripheral ranges.
[0093]
  In addition, these processesOf the fourth aspectSoftware processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to a color image processing method can be similarly realized.
[0094]
  Also,Of the fourth aspectThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0095]
  (5th aspect)
  The present inventionThe fruitPROCESSING APPARATUS AND IMAGE PROCESSING METHODAnother variation ofWill be described.
[0096]
  The overall configuration diagram isFirst aspect1 is configured as shown in FIG. 1, and when the contrast improving means has one peripheral range c, the configuration is as shown in FIG. Similarly, the image composition means 13 is as shown in FIG. The contrast improving unit 12 is a comparison pixel determining unit 20 that determines a peripheral pixel to be compared from the peripheral region of the target pixel Pij, and the selected comparison pixel is targeted for the selected i at the horizontal pixel position. The thinning-out vertical direction addition means 170 for obtaining the addition value N [i] in the vertical direction, and the weighted sum VAPij () of the peripheral range from the addition value N [i] of the horizontal pixel position i included in the peripheral range of the target pixel Pij. Ar (i, j), Ag (i, j), Ab (i, j)), a simple ambient averaging means 141, VAPij representing a local feature of Pij obtained by 141, and pixel Pij (r Based on the ratio of (i, j), g (i, j), b (i, j)), the contrast enhancement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j )) And a conversion reference value VTc (rtc (i, j), gtc (i, j), when converting the contrast improvement amount VRPij obtained in 51 into an actual pixel value. btc (i, j)), a conversion reference value calculation means 22, and 22 conversion bases Composed of the pixel value converting means 23 for converting the pixel values after contrast enhancement in value and based on improvement amount correction means 72 in the actual pixel Pij contrast improvement amount VRPij obtained.
[0097]
  This inventionFourth aspectIn comparison, all horizontal pixel positions i are not subjected to addition processing in the vertical direction only for the selected comparison target pixels, but the horizontal pixel positions are also thinned at a predetermined interval in advance by the comparison pixel determining means. To make a selection. Then, addition processing in the vertical direction of the selected horizontal pixel position i is performed.
[0098]
  FIG. 18 shows an outline of the processing, and it is assumed that the pixel is thinned out to the horizontal pixel position as shown in the left diagram of FIG. In that case, in the thinning-out vertical direction addition processing 170, the vertical direction addition value N [0] at i = 0 is distributed to the thinned vertical direction addition value N [1] = N [0]. Similarly, interpolation is performed such that N [3] = N [2] and N [5] = N [4]. In this way, the amount of processing is reduced without performing addition processing in the vertical direction for all horizontal pixel positions. Further, the processing for the subsequent horizontal pixel position i + 1 is as shown in the right diagram of FIG. 17, and the leading N [0] is obtained from the weighted sum S of N [k] included in the peripheral region c of the target pixel Pij. Subtracted. Thereafter, N [7] that is newly included in the peripheral range is added, but the vertical direction addition processing at the horizontal pixel position of i = 7 is excluded by the comparison pixel determining means 20, so N [7] was interpolated by N [6] at i = 6 selected by the comparison pixel determining means 20 and closest to i = 7. Then, the interpolated N [7] is added to the weighted sum S. Thereafter, the average comparison target luminance Asy (i, j) is calculated by dividing by the number of comparison pixels m included in the peripheral range. By doing this,4th aspectIn addition, the calculation procedure of the weighted weighted sum can be reduced, and the processing amount can be further reduced.
[0099]
  In the case where the contrast improvement amount VRPij (Rr (i, j), Rg (i, j), Rb (i, j)) is converted into an actual pixel value, the same as in the first embodiment of the present invention. In this way, by controlling the value of the conversion reference value VTc as shown in Equation (8) according to the luminance y (i, j) at the target pixel Pij of the input image 1, the sudden increase in the luminance level of the shadow portion is suppressed. ButSecond aspectControl of the average comparison concentration VAPij inThird aspectIt is also possible to add processing such as that controlled by the emphasis component VBRPij.
[0100]
  Further, in the present invention, the contrast improving means 12 is constituted by one peripheral region c as shown in FIG. 17, but it seems that the size of the peripheral region c is caused by the size of the dark part to be improved. It is. Usually, in the case of natural images, there can be shadows with various sizes, so a multi-resolution model with multiple peripheral area sizes c [s] such as Jobson et al. Can beFirst aspectIt is the same.
[0101]
  In addition, these processesOf the fifth aspectIt can be similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to an image processing method.
[0102]
  Also,Of the fifth aspectThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0103]
  (Contrast improvement processing by brightness value and color difference correction)
  nextThe present inventionThe fruitImage processing apparatus according to an embodimentContrast improvement processing by brightness value of the image, and subsequent processingWill be described.
[0104]
  Overall configuration in this caseIsAs explained in the first aspectThe configuration is as shown in FIG. And the contrast improvement meansFirst to fifth aspectsIt is assembled in the same structure as Nozika. The image composition means 13 is alsoAs explained in the first aspectAs shown in FIG. Point of this inventionone ofIndicates that the post-processing means is configured as shown in FIG. 19. In FIG. 19, 190 is input luminance / color difference calculating means for calculating the luminance and color difference of the input image, and 191 is Pij of the composite image 3. Is a luminance ratio calculating means for comparing the luminance wy (i, j) at 190 and the luminance y (i, j) obtained at 190 and calculating the ratio Ratio (i, j) between them, 192 being the obtained luminance The luminance adjustment means adjusts the luminance wy (i, j) of the composite image 3 based on the ratio. 193 is the Ratio (i, j) between the adjusted luminance wy (i, j) and y (i, j). j) is a color difference component correcting means for correcting the color difference of the input image, and 194 is a pixel value VWPij (wr (i, j), wg (i, j), wb of the composite image 3 based on the corrected color difference component and luminance. (i, j)) is an image regeneration means for recalculating, and 195 is a gamma conversion means for performing a predetermined gamma conversion.
[0105]
【The invention's effect】
  As described above, the image processing apparatus of the present inventionIsIn order to perceive the image information by adjusting the pixel value of the target pixel according to the relative relationship between the target pixel and the information of the surrounding pixels, only a part of the illumination is received by such perception. Even in scenes with uneven illumination light or extreme pixel value intensity changes, contrast correction is performed so that the color of the object can be recognized accurately, and dark areas such as shadows are maintained without losing color balance. Color and detail information in can be clarified.
[0106]
  Then, yRP (i, j) is converted into luminance yRP (i, j) possessed by an actual pixel value based on yTc (i, j) obtained by the conversion reference value calculation means 22. Next, the combined luminance image 2 of the luminance yRP (i, j) of the enhanced image 3 and the luminance y (i, j) of the input image 1 is generated by the image synthesizing unit 13. In other words, in the first to fifth embodiments of the present invention, each of the three components has been handled, but here, only the luminance is processed up to the image composition. this is,First aspectWhen the component ratios of the average comparison luminance VAPij and the input image VPij are used as in the equations (Equation 6) and (Equation 7), the color balance of the input image 1 is maintained to some extent, but the enhancement / correction processing performed thereafter Thus, the color balance of the input image 1 may be lost as shown in the left diagram of FIG. Therefore, in the present invention, as shown in the right diagram of FIG. 21, the color difference of the input image based on the improvement ratio Ratio (i, j) between the improved luminance wy (i, j) and y (i, j) after synthesis. Generate improved color difference wcr (i, j), wcb (i, j) by correcting cr (i, j), cb (i, j), and calculate pixel value VWPij of composite image based on these values By doing so, the color balance is maintained.
[0107]
  However, the ratio (i, j) between the improved brightness wy (i, j) and y (i, j) after synthesis is directly multiplied by the color difference cr (i, j), cb (i, j) of the input image. Since the color differences wcr (i, j) and wcb (i, j) obtained in this way may be saturated, this saturation determination is performed. If wcr (i, j) is saturated, the ratio dRatio (i, j) = wcr (i, j) / cr (i, j) with respect to this color difference is changed to the improved luminance after synthesis. Let the improvement ratio Ratio (i, j) depending on the luminance of the input image. Based on this value, the luminance adjustment means 192 performs a process of calculating the improved luminance dwy (i, j) after synthesis. Next, 193 again uses the Ratio (i, j) to correct the color difference cr (i, j), cb (i, j) of the input image and combine the color difference dwcr (i, j), d wcb (i, j) is generated. Thereafter, the pixel value VWPij (wr (i, j), wg (i, j), wb (i, j)) in Pij of the composite image 3 is obtained by conversion into an actual pixel value, and the gamma conversion means 195 inputs it. By performing the gamma conversion processing originally added to the image, the output image 2 that is finally output by the image output means 15 is generated.
[0108]
  As described above, in the present invention, in order to maintain the color balance in the input image, only the luminance is improved during the contrast improvement process, and the color difference of the input image is corrected based on the improvement ratio indicating the degree of improvement at that time. Thus, the color balance of the composite image is improved. In particular, it is possible to improve the contrast while maintaining the color balance of the input image by considering the saturation state of the color difference after correction, and it is possible to improve the color balance. The feature is that there is no need to consider.
[0109]
  Furthermore, these treatments areThe fruitForm of applicationPertaining toIt can be similarly realized by software processing using a central processing unit (CPU) and a digital signal processor (DSP) used in a computer or the like according to an image processing method.
[0110]
  In addition, the present inventionThe fruitForm of applicationPertaining toThe same can be realized by using a semiconductor chip such as an LSI chip generated according to the image processing method.
[0111]
【The invention's effect】
  As described above, the present inventionPaintingImage processing apparatus andProcessorIs the target pixelSince the image information is perceived by adjusting the pixel value of the target pixel according to the relative relationship with the information of the surrounding pixels, such a perception may receive a part of the other illumination. Even in scenes with uneven illumination light or extreme pixel value intensity changes, contrast correction is performed so that the color of the object can be recognized accurately, and the color in dark areas such as shadows is not lost without losing color balance. Detailed information can be clarified.
[Brief description of the drawings]
FIG. 1 shows the present invention.The fruitThe block diagram showing the structure of the image processing apparatus which is embodiment
FIG. 2The fruitThe figure showing the structure of the contrast improvement means in the image processing apparatus which is embodiment
FIG. 3The fruitThe block diagram showing the structure of the contrast improvement means in the multi-resolution in the image processing apparatus which is embodiment
FIG. 4 The present inventionThe fruitThe block diagram showing the structure of the image synthetic | combination means in the image processing apparatus which is embodiment
FIG. 5 shows the present invention.The fruitThe block diagram showing the structure of the emphasis amount calculation means in the image processing apparatus which is embodiment
FIG. 6The fruitOf the enhancement amount calculation means in the image processing apparatus according to the embodimentAnother configuration exampleBlock diagram representing
FIG. 7The fruitOf the enhancement amount calculation means in the image processing apparatus according to the embodimentYet another configuration exampleBlock diagram representing
FIG. 8The fruitSchematic diagram showing examples of pre-processing means and post-processing means in the image processing apparatus according to the embodiment
FIG. 9The fruitForm of applicationPertaining toOverall flowchart in the image processing method
FIG. 10 shows the present invention.The fruitForm of applicationPertaining toFlow chart of contrast improvement processing and image composition processing in image processing method
FIG. 11 shows the present invention.The fruitForm of applicationPertaining toFlow chart of contrast improvement processing in image processing method
FIG. 12 shows the present invention.The fruitForm of applicationPertaining toContrast improvement processing in image processing methodsAnother exampleflowchart
FIG. 13 shows the present invention.The fruitConceptual diagram of a human visual model used for contrast improvement processing in the image processing method according to any of the embodiments
FIG. 14 shows the present invention.The fruitOf the contrast improving means in the image processing apparatus according to the embodimentAnother configuration exampleBlock diagram representing
FIG. 15 shows the present invention.The fruitOf the contrast improving means at the multi-resolution in the image processing apparatus according to the embodimentAnother configuration exampleBlock diagram representing
FIG. 16 shows the present invention.The fruitForm of applicationPertaining toFlow chart of contrast improvement processing in image processing method
FIG. 17 shows the present invention.The fruitOf the contrast improving means in the image processing apparatus according to the embodimentYet another configuration exampleBlock diagram representing
FIG. 18 shows the present invention.The fruitForm of applicationPertaining toThe figure showing the outline of the contrast improvement processing in the image processing method
FIG. 19 shows the present invention.The fruitThe figure showing the structure of the post-processing means in the image processing apparatus which is embodiment
FIG. 20 shows the present invention.The fruitContrast improvement processing and post-processing in the image processing method according to the embodimentReasonflowchart
FIG. 21 shows the present invention.The fruitThe figure showing the outline | summary of the post-process in the image processing method which is embodiment
FIG. 22 is a block diagram showing the configuration of an image processing apparatus in a conventional example.
FIG. 23 is a block diagram illustrating a configuration of an image processing apparatus in a conventional example.
FIG. 24 is a block diagram illustrating a configuration of an image processing apparatus in a conventional example.
[Explanation of symbols]
  1 Input image
  2 Output image
  3 Enhanced image
  10 Image input means
  11 Pre-processing means
  12 Contrast improvement means
  13 Image composition means
  14 Post-processing means
  15 Image output means
  20 Comparison pixel determining means
  21 Emphasis level deriving means
  22 Conversion reference value calculation means
  23 Pixel value conversion means
  30 Peripheral area initialization means
  31 End determination means
  32 Peripheral range change means
  40 Coupling coefficient deriving means
  41 Weighted average synthesis means
  42 Output value determining means
  50 Ambient averaging means
  51 Improvement amount calculation means
  60 Edge information detection means
  61 Correction coefficient calculation means
  62 Comparison amount correction means
  70 Brightness difference averaging means
  71 Emphasized component calculation means
  72 Improvement amount correction means
  140 Vertical addition means
  141 Simple ambient averaging
  170 Thinning vertical direction addition means
  190 Input luminance / color difference calculation means
  191 Brightness ratio calculation means
  192 brightness adjustment means
  193 Color difference component correction means
  194 Image regeneration means
  195 Gamma conversion means
  220 Image data input means
  221 Image data dividing means
  222 Histogram creation means
  223 contrast expansion means
  224 image data output means
  230 CCD
  231 memory
  232 multiplication means
  233 Level weight addition means H
  234 addition means
  235 Speed conversion means
  236 level compression means
  237 Timing control means
  238 Level weight addition means L
  239 Image composition unit
  240 Digital imaging device
  241 processor
  242 filters
  243 display

Claims (3)

An input unit for inputting image data;
A surrounding area having a size smaller than the image size of the image data and having 7 or more pixels in the horizontal direction is determined, and a luminance value of the target pixel and an average luminance value of the surrounding area of the size having the target pixel as a central pixel; A contrast improving unit for deriving improved luminance of the target pixel based on the ratio of
An image synthesis unit that synthesizes the improved luminance and the input luminance and outputs a synthesized luminance;
A luminance ratio calculating means for calculating an improvement degree which is a luminance ratio between the combined luminance and the input luminance ;
A color difference component correcting means for calculating an improved color difference by multiplying the input color difference of the target pixel by the improvement degree; and
Image regenerating means for calculating RGB components from the combined luminance and the improved color difference;
A post-processing unit including
With
Input the luminance values of the first pixel and the second pixel constituting the same image data,
Deriving a first improved brightness which is the ratio of the average brightness value of the surrounding area of the size centering pixel luminance value before Symbol first pixel of the first pixel, the first and the first improved luminance A first combined luminance that is a combined value with the input luminance of the pixel is output, and the first improved color difference of the first pixel is calculated based on an improvement degree that is a luminance ratio between the first combined luminance and the first input luminance. And calculating an RGB component of the first pixel from the first combined luminance and the first color difference,
The second said the ratio between the average luminance values of the pixels of the second surrounding region of the size that the luminance value before Symbol of the second pixel of the second pixel a region different from the first region to the center pixel An improved luminance is derived , a second synthesized luminance that is a synthesized value of the second improved luminance and the input luminance of the second pixel is output, and a luminance ratio between the second synthesized luminance and the second input luminance is obtained. Calculating an improved color difference of the second pixel based on an improvement degree, and calculating an RGB component of the second pixel from the second synthesized luminance and the second color difference;
Image processing device. The image processing apparatus according to claim 1, wherein the post-processing unit further includes a gamma conversion unit that generates an output image by a gamma conversion process of the RGB components. The post-processing unit further determines whether or not the improved color difference is saturated, and when the determination result is saturated, the ratio between the improved color difference and the input color difference is set as the improvement degree. Including brightness adjusting means for outputting to the color difference component correcting means,
  The image processing apparatus according to claim 1.

Images