JP2004328564A

JP2004328564A - Color correcting apparatus, color correcting method, color correcting program, and digital camera using color correcting apparatus

Info

Publication number: JP2004328564A
Application number: JP2003123165A
Authority: JP
Inventors: Masaru Ito; 大伊藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-04-28
Filing date: 2003-04-28
Publication date: 2004-11-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color correcting apparatus, color correcting method, color correcting program and digital camera equipped with the color correcting apparatus with which a false color can be prevented without damaging a dynamic range of a chrominance signal. <P>SOLUTION: The color correcting apparatus is composed of a gain control means 1 for controlling gain of a chrominance signal by multiplying R gain Gain<SB>r</SB>to an input R signal and multiplying B gain Gain<SB>b</SB>to an input B signal, a saturated state deciding means 2 for deciding the saturated state of the R signal and the B signal after gain control from the R signal, the B signal, an input G signal, and the R gain and the B gain after the gain control, and a chrominance signal correcting means 3 for correcting the R signal and the B signal after the gain control in accordance with a saturated state signal outputted from the saturated signal deciding means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、色信号の利得調整後に色補正が必要とされる画像関連装置及び画像関連プログラムにおけるカラー補正装置、カラー補正方法及びカラー補正プログラム、並びにそのカラー補正装置を用いたデジタルカメラに関する。
【０００２】
【従来の技術】
【特許文献１】特許第２５５７６２０号公報
【特許文献２】特開２０００−１３８０８号公報
【０００３】
近年、例えば撮像素子等の撮像手段によって得られたカラー画像信号を処理することによって、良好なカラー画像信号を得るカラー画像処理装置が様々な態様で用いられている。代表的なカラー画像処理としてホワイトバランス補正がある。ホワイトバランス補正とは、利得調整による色信号補正の一種で、被写体の白色が撮影時の光源によらず良好に再現されるように行われる処理であり、通常Ｒ信号とＢ信号にゲインを掛けることで実現する。
【０００４】
例えば、被写体が無彩色であり光源の色温度が低い場合、得られる画像信号は、図１３の被写体輝度と画像信号の関係を表す特性図に示すように、赤みがかったものになる。なお、各信号はあるレベルで飽和する。このとき、図１４に示すように、Ｒ信号及びＢ信号に対して適切なゲインを掛けて、ホワイトバランス処理を行うことで、光源の影響を取り除き被写体の色を忠実に再現することができる。しかし、各色毎に飽和レベルが異なってしまうため、高輝度部分で本来はない色（図１４に示す例ではシアン）が発生する。これを偽色と呼ぶ。
【０００５】
特許第２５５７６２０号公報及び特開２０００−１３８０８号公報においては、飽和レベルが最も小さい色を基準に閾値を算出し、図１５に示すように、他の色をこの閾値でクリップすることにより偽色を防止する手法が開示されている。
【０００６】
【発明が解決しようとする課題】
上記各公報開示の従来技術では、高輝度部分に発生する偽色を問題なく取り除くことが可能であり、広く使用されている。しかしながら、上記従来のカラー補正方式の更なる特性向上を実現するには、以下に述べるような課題がある。
【０００７】
すなわち、従来技術は、色信号を閾値でクリップすることで偽色を防止するものであり、色信号が本来持っている階調の全てを使い切るという観点について考慮されたカラー補正装置に関しては記載されていない。本願請求項１〜７に係る発明はこの観点に着目し、色信号のダイナミックレンジを損なうことなく、偽色を防止することの可能なカラー補正装置を提供することを目的とする。
【０００８】
また従来技術は、色信号を閾値でクリップすることで偽色を防止するものであり、色信号が本来持っている階調の全てを使い切るという観点について考慮されたカラー補正方法に関しては記載されていない。本願請求項８〜１４に係る発明はこの観点に着目し、色信号のダイナミックレンジを損なうことなく、偽色を防止することの可能なカラー補正方法を提供することを目的とする。
【０００９】
また従来技術は、色信号を閾値でクリップすることで偽色を防止するものであり、色信号が本来持っている階調の全てを使い切るという観点について考慮されたカラー補正プログラムに関しては記載されていない。本願請求項１５に係る発明はこの観点に着目し、色信号のダイナミックレンジを損なうことなく、偽色を防止することの可能なカラー補正プログラムを提供することを目的とする。
【００１０】
また従来技術は、色信号を閾値でクリップすることで偽色を防止するものであり、色信号が本来持っている階調の全てを使い切るという観点について考慮された機能を持つデジタルカメラに関しては記載されていない。本願請求項１６に係る発明はこの観点に着目し、ダイナミックレンジが損なわれていない良好な画像を出力する機能を有するデジタルカメラを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、複数の色信号の各々の利得を調整する利得調整手段と、前記利得調整手段による利得調整後の各色信号が飽和状態にあるか否かを判定する飽和状態判定手段と、前記飽状態判定手段で飽和状態と判定された色信号について、この色信号とは異なる他の色信号のレベルに応じた補正を行う色信号補正手段とでカラー補正装置を構成するものである。
【００１２】
請求項２に係る発明は、請求項１に係るカラー補正装置において、前記色信号補正手段は、飽和状態にあると判定された色信号のレベルを、この色信号とは異なる、他の色信号のレベルに置き換えることを特徴とするものである。
【００１３】
請求項３に係る発明は、請求項１又は２に係るカラー補正装置において、利得調整手段は、複数の色信号の内、所定の色信号を除く複数の色信号に対して利得の調整を行なうことを特徴とするものである。
【００１４】
請求項４に係る発明は、請求項１〜３のいずれか１項に係るカラー補正装置において、前記飽和状態判定手段は、所定の色信号とこの所定の色信号に係る利得とから得られる飽和状態判定閾値を用い、この所定の色信号とは異なる色信号が、この飽和状態判定閾値より大きい場合に、この所定の色信号を飽和状態であると判定することを特徴とするものである。
【００１５】
請求項５に係る発明は、請求項１〜４のいずれか１項に係るカラー補正装置において、前記色信号補正手段は、飽和状態と判定された所定の色信号レベルを、所定の色信号を除く複数の色信号の内、最大となる色信号のレベルと置き換えることを特徴とするものである。
【００１６】
請求項６に係る発明は、請求項１〜４のいずれか１項に係るカラー補正装置において、前記色信号補正手段は、飽和状態と判定された所定の色信号のレベルを、所定の色信号を除く複数の色信号の平均値に置き換えることを特徴とするものである。
【００１７】
請求項７に係る発明は、請求項１〜６のいずれか１項に係るカラー補正装置において、前記利得調整手段、飽和状態判定手段、及び色信号補正手段は、複数の色信号として、赤色信号、緑色信号、及び青色信号を用いることを特徴とするものである。
【００１８】
上記請求項１〜７に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成されたカラー補正装置においては、色信号補正手段により色信号をクリップすることなく、飽和状態判定手段で飽和状態と判定された色信号のみを補正することによって偽色を抑制するため、色信号のダイナミックレンジを損なうことがないカラー補正装置を実現することができる。
【００１９】
請求項８に係る発明は、複数の色信号の各々の利得を調整する利得調整ステップと、前記利得調整ステップによる利得調整後の各色信号が飽和状態にあるか否かを判定する飽和状態判定ステップと、前記飽状態判定ステップで飽和状態と判定された色信号について、この色信号とは異なる他の色信号のレベルに応じた補正を行う色信号補正ステップとでカラー補正方法を構成するものである。
【００２０】
請求項９に係る発明は、請求項８に係るカラー補正方法において、前記色信号補正ステップは、飽和状態にあると判定された色信号のレベルを、この色信号とは異なる、他の色信号のレベルに置き換えることを特徴とするものである。
【００２１】
請求項１０に係る発明は、請求項８又は９に係るカラー補正方法において、前記利得調整ステップは、複数の色信号の内、所定の色信号を除く複数の色信号に対して利得の調整を行なうことを特徴とするものである。
【００２２】
請求項１１に係る発明は、請求項８〜１０のいずれか１項に係るカラー補正方法において、前記飽和状態判定ステップは、所定の色信号と、この所定の色信号に係る利得とから得られる飽和状態判定閾値を用い、この所定の色信号とは異なる色信号が、この飽和状態判定閾値より大きい場合に、この所定の色信号を飽和状態であると判定することを特徴とするものである。
【００２３】
請求項１２に係る発明は、請求項８〜１１のいずれか１項に係るカラー補正方法において、前記色信号補正ステップは、飽和状態と判定された所定の色信号レベルを、所定の色信号を除く複数の色信号の内、最大となる色信号のレベルと置き換えることを特徴とするものである。
【００２４】
請求項１３に係る発明は、請求項８〜１１のいずれか１項に係るカラー補正方法において、前記色信号補正ステップは、飽和状態と判定された所定の色信号のレベルを、所定の色信号を除く複数の色信号の平均値に置き換えることを特徴とするものである。
【００２５】
請求項１４に係る発明は、請求項８〜１３のいずれか１項に係るカラー補正方法において、前記利得調整ステップ、飽和状態判定ステップ、及び色信号補正ステップは、複数の色信号として、赤色信号、緑色信号、及び青色信号を用いることを特徴とするものである。
【００２６】
上記請求項８〜１４に係る発明に関する実施の形態には、第２の実施の形態が対応する。そして、このように構成されたカラー補正方法においては、色信号補正ステップにより色信号をクリップすることなく、飽和状態判定ステップで飽和状態と判定された色信号のみを補正することによって偽色を抑制するため、色信号のダイナミックレンジを損なうことがないカラー補正方法を実現することができる。
【００２７】
請求項１５に係る発明は、複数の色信号の各々の利得を調整する手順と、前記利得調整手順による利得調整後の各色信号が飽和状態にあるか否かを判定する手順と、前記飽状態判定手順で飽和状態と判定された色信号について、この色信号とは異なる他の色信号のレベルに応じた補正を行う手順とをコンピュータに実行させるようにカラー補正プログラムを構成するものである。
【００２８】
この請求項１５に係る発明に関する実施の形態には、第２の実施の形態が対応する。そして、このように構成されたカラー補正プログラムにおいては、色信号補正手順により色信号をクリップすることなく、飽和状態判定手順で飽和状態と判定された色信号のみを補正することにより偽色が抑制され、色信号のダイナミックレンジを損なうことのないカラー補正プログラムを実現することができる。
【００２９】
請求項１６に係る発明は、カラーフィルタが受光面に貼付され、該受光面に結像された被写体像を光電変換し、カラー画像信号として出力する撮像素子と、請求項１〜７のいずれか１項に記載のカラー補正装置とを具備し、該カラー補正装置が前記撮像素子からのカラー画像信号を入力信号として色信号処理を行うようにデジタルカメラを構成するものである。
【００３０】
この請求項１６に係る発明に関する実施の形態には、第３の実施の形態が対応する。そして、このように構成されたデジタルカメラにおいては、請求項１〜７のいずれか１項に記載のカラー補正装置を具備しているので、ダイナミックレンジが良好な画像を得ることが可能なデジタルカメラを実現することができる。
【００３１】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る第１の実施の形態を示すブロック構成図である。本実施の形態では、入力の色信号としてＲＧＢの３次元の色成分値が入力されてくるものとする。図１において、１は入力Ｒ信号にＲゲインを乗算し、入力Ｂ信号にＢゲインを乗算することで色信号の利得を調整する利得調整手段である。２は利得調整手段１による利得調整後のＲ信号及びＢ信号と、入力Ｇ信号並びにＲゲインＧａｉｎ_ｒとＢゲインＧａｉｎ_ｂから、利得調整後のＲ信号及びＢ信号の飽和状態を判定する飽和状態判定手段である。３は飽和状態判定手段２から出力される飽和状態信号に応じて、利得調整後のＲ信号とＢ信号を補正する色信号補正手段である。
【００３２】
図１に示した実施の形態を、更に詳細なレベルで図２に基づいて説明する。図２において、入力ＲＧＢ信号は、それぞれ１０ビット（０〜１０２３）を想定している。４，５は利得調整のための利得調整手段１を構成する乗算回路である。６は、ＲゲインＧａｉｎ_ｒ，ＢゲインＧａｉｎ_ｂ及び利得調整後のＲ信号とＢ信号から、飽和状態を判定するためのＲ信号用閾値とＢ信号用閾値を算出する回路である。７はＲ信号用閾値とＢ信号用閾値を用いて、利得調整後のＲ信号及びＢ信号の飽和状態を判定する回路であり、Ｒ信号セレクタ８とＢ信号セレクタ９に入力するためのセレクト信号を生成する。なお、閾値算出回路６と飽和状態判定回路７とで飽和状態判定手段２を構成しており、セレクタ８，９で色信号補正手段３を構成している。
【００３３】
次に、この第１の実施の形態の動作について説明する。説明のため入力ＲＧＢ信号は、図３に示す白黒グラデーションパターンの被写体を、撮像素子で光電変換した信号とする。このとき、入力ＲＧＢ信号は被写体に当てられた光源の色の影響により、図４に示すような彩度がある信号になる。入力ＲＧＢ信号の内、Ｒ信号とＢ信号に対して、乗算回路４と乗算回路５を用いて適切なＲゲインＧａｉｎ_ｒとＢゲインＧａｉｎ_ｂを乗算し、利得を調整することで、図５に示すように、ＲＧＢ信号は被写体と同じ色信号、すなわち彩度がない信号となる。
【００３４】
Ｒ信号用閾値をＴｈ_ｒ，Ｂ信号用閾値をＴｈ_ｂ，利得調整後のＲ信号をＲ，利得調整後のＢ信号をＢ，ＲゲインをＧａｉｎ_ｒ、ＢゲインをＧａｉｎ_ｂとすると、閾値算出回路６における閾値算出式は、以下の式（１），（２）で表される。
Ｔｈ_ｒ＝ｍＲ＋１０２３（１−ｍ）Ｇａｉｎ_ｒ・・・・・・・・（１）
Ｔｈ_ｂ＝ｍｂ＋１０２３（１−ｍ）Ｇａｉｎ_ｂ・・・・・・・・（２）
但し、ｍは閾値の傾きを定義するためのパラメータである。また、各閾値Ｔｈ_ｒ及びＴｈ_ｂは、１０２３でクリップされる。
【００３５】
利得調整後（ホワイトバランス後）のＲＧＢ信号と、閾値の関係を図６に示す。本実施の形態において、Ｒ信号用あるいはＢ信号用の閾値は、図７に示すように、Ｒ信号あるいはＢ信号の関数であり、傾きｍの中間の領域を有する。図８に閾値が傾きを持たない場合のグラフを示す。また、図９に閾値が傾きを持つ場合のグラフを示す。図８に示すように、閾値が傾きを持たない場合、Ｒ信号がＲ′近傍の値を持ち、且つＧ信号及びＢ信号がそれぞれＧ′及びＢ′近傍である画像領域を処理する場合、図８に示す閾値では、Ｒ信号のノイズによる揺らぎにより閾値の変化量が大きいため、元々ほぼ一様な領域であるにもかかわらず、近傍画素の飽和状態の判定が異なることによるノイズの強調が引き起こされる。一方、図９に示す閾値では、Ｒ信号がノイズにより揺らいだとしても、閾値の変化量が小さいため、ノイズは強調され難い。
【００３６】
次に、飽和状態判定回路７について説明する。Ｒ信号の飽和状態判定関数をＦ_Ｒ，Ｂ信号の飽和状態判定関数をＦ_Ｂとすると、飽和状態判定回路７における飽和状態判定式は、以下の式（３），（４）で表される。

【００３７】
飽和状態判定回路７は、飽和と判定した色信号に対応するセレクト信号に、１を出力する。セレクタ８は、セレクト信号が１の場合、Ｇ信号と利得調整後のＢ信号の内、大きい方を出力Ｒ信号として出力する。セレクタ信号が０の場合（非飽和）、利得調整後のＲ信号を出力Ｒ信号として出力する。セレクタ９は、セレクト信号が１の場合、Ｇ信号と利得調整後のＲ信号の内、大きい方を出力Ｂ信号として出力する。セレクタ信号が０の場合、利得調整後のＢ信号を出力Ｂ信号として出力する。したがって、図６に示すようなＲＧＢ信号と閾値の関係がある場合、図１０に示すように、出力Ｒ信号はＧ信号及び利得調整後のＢ信号と一致し、高輝度での偽色が抑圧される。また、ここでは説明のために被写体を白黒グラデーションパターンとしたが、カラーであったとしても前述の作用により高輝度での偽色が抑圧される。
【００３８】
なお、この発明に係る第１の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、セレクタ８はセレクト信号が１の場合、Ｇ信号と利得調整後のＢ信号の平均を出力Ｒ信号として出力し、セレクタ９はセレクト信号が１の場合、Ｇ信号と利得調整後のＲ信号の平均を出力Ｂ信号として出力するとすることができ、またセレクタ８及びセレクタ９に入力されるＲＧＢ信号は、１以下の係数を乗算した後に、セレクタ８及びセレクタ９に入力されるようにすることができる。
【００３９】
次に、本発明に係る第２の実施の形態について説明する。この第２の実施の形態は、本発明に係るカラー補正方法に関するもので、その方法を説明するためのフローチャートを図１１に示す。このフローチャートは、図２の第１の実施の形態で示した回路の動作と等価な動作を行うものを示している。ステップＳ１０にて、入力Ｒ信号Ｒｉｎ及び入力Ｂ信号Ｂｉｎに対して、それぞれゲインＧａｉｎ_ｒ，Ｇａｉｎ_ｂを乗算することで利得調整を行い、ゲイン調整後のＲ信号Ｒｔｍｐ，Ｂ信号Ｂｔｍｐを得る。次いで、ステップＳ１１にて、Ｒ信号用閾値Ｔｈ_ｒとＢ信号用閾値Ｔｈ_ｂを算出する。次いで、ステップＳ１２にて上記（３）式に基づくＲ信号の飽和状態を判定する。Ｒ信号が飽和状態と判定された場合、ステップＳ１４にてＲ信号の補正を行って出力Ｒ信号Ｒｏｕｔを出力し、飽和状態でないと判定された場合は、ステップＳ１３にて利得調整後のＲ信号Ｒｔｍｐを出力Ｒ信号Ｒｏｕｔとして出力する。次いで、ステップＳ１５にて上記（４）式に基づくＢ信号の飽和状態を判定する。Ｂ信号が飽和状態と判定された場合、ステップＳ１７にてＢ信号の補正を行って出力Ｂ信号Ｂｏｕｔを出力し、飽和状態でないと判定された場合は、ステップＳ１６にて利得調整後のＢ信号Ｂｔｍｐを出力Ｂ信号Ｂｏｕｔとして出力する。
【００４０】
上記第２の実施の形態として示したカラー補正方法は、図２に示した第１の実施の形態における各構成要素を用いた形態で説明したが、このカラー補正方法は、図２に示したハードウエアによる処理を用いずに、図１１に示すフローチャートを基に、この処理をプログラム化し、コンピュータに実行させるソフトウエア処理とすることも、勿論可能である。
【００４１】
次に、本発明に係る第３の実施の形態について、図１２を用いて説明する。図１２は、図２に示したカラー補正装置を適用したデジタルカメラの構成例を示すブロック図である。図１２において、２１はカラーフィルタが受光面に貼付されたＣＣＤ等の撮像素子であり、２２はＣＣＤ撮像素子２１から出力されるアナログデータをデジタルデータに変換するＡ／Ｄ変換回路である。２３はＣＣＤ撮像素子２１から入力されたデータをＲＧＢに変換する回路である。２４は図２に示したカラー補正装置であり、ここで高輝度で発生する偽色を抑制する。２５は画像データをメディアへ記録するための記録回路であり、２７は画像データをＣＲＴ等の表示装置に表示するための表示回路である。なお、２６は上記各部を制御するための上位コントローラである。
【００４２】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１〜７に係る発明によれば、色信号補正手段により色信号をクリップすることなく、飽和状態判定手段で飽和状態と判定された色信号のみを補正することによって偽色を抑制するようにしているので、色信号のダイナミックレンジを損なうことのないカラー補正装置を実現することができる。また請求項８〜１４に係る発明によれば、色信号補正ステップにより色信号をクリップすることなく、飽和状態判定ステップで飽和状態と判定された色信号のみを補正することによって偽色を抑制するようにしているので、色信号のダイナミックレンジを損なうことのないカラー補正方法を実現することができる。また請求項１５に係る発明によれば、色信号補正手順により色信号をクリップすることなく、飽和状態判定手順で飽和状態と判定された色信号のみを補正することにより偽色が抑制され、色信号のダイナミックレンジを損なうことのないカラー補正プログラムを実現することができる。また請求項１６に係る発明によれば、請求項１〜７のいずれか１項に記載のカラー補正装置を備えているので、ダイナミックレンジが良好なカラー補正処理された画像を得ることが可能なデジタルカメラを実現することができる。
【図面の簡単な説明】
【図１】本発明に係るカラー補正装置の第１の実施の形態を示す概略ブロック図である。
【図２】図１に示した第１の実施の形態の詳細な回路構成を示すブロック図である。
【図３】図１に示した第１の実施の形態の動作説明用の白黒グラデーションパターンの被写体を示す図である。
【図４】図３に示した被写体を撮像したときのパターン各部のＲＧＢ信号レベルを示す図である。
【図５】図４に示した入力ＲＧＢ信号を利得調整した後のＲＧＢ信号レベルを示す図である。
【図６】利得調整後のＲＧＢ信号と閾値との関係を示す図である。
【図７】傾きの中間領域を有するＲ信号用閾値を示す図である。
【図８】閾値に傾きがない場合の態様を示す図である。
【図９】閾値が傾きを持つ場合において、ノイズによる信号の揺らぎと閾値の変化量との対応関係を示す図である。
【図１０】図６に示すＲＧＢ信号と閾値の関係がある場合において、色信号補正処理がなされた態様を示す図である。
【図１１】本発明の第２の実施の形態に係るカラー補正方法を説明するためのフローチャートである。
【図１２】本発明の第３の実施の形態に係るデジタルカメラの構成例を示すブロック図である。
【図１３】被写体が無彩色で光源の色温度が低い場合に得られる画像信号を示す図である。
【図１４】図１３に示した画像信号に対してホワイトバランス処理をした後の画像信号を示す図である。
【図１５】従来の偽色防止手法により処理した態様を示す図である。
【符号の説明】
１利得調整手段
２飽和状態判定手段
３色信号補正手段
４，５乗算回路
６閾値算出回路
７飽和状態判定回路
８，９セレクタ
２１ＣＣＤ撮像素子
２２Ａ／Ｄ変換回路
２３ＲＧＢ変換回路
２４カラー補正装置
２５記録回路
２６上位コントローラ
２７表示回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a color correction device, a color correction method and a color correction program in an image-related device and an image-related program which require color correction after gain adjustment of a color signal, and a digital camera using the color correction device.
[0002]
[Prior art]
[Patent Document 1] Japanese Patent No. 2557620 [Patent Document 2] Japanese Patent Application Laid-Open No. 2000-13808
2. Description of the Related Art In recent years, a color image processing apparatus that obtains a good color image signal by processing a color image signal obtained by an imaging unit such as an imaging device has been used in various modes. Typical color image processing includes white balance correction. White balance correction is a type of color signal correction by gain adjustment, and is a process performed so that the white color of a subject is reproduced well regardless of the light source at the time of shooting. Normally, a gain is applied to the R signal and the B signal. It is realized by.
[0004]
For example, when the subject is achromatic and the color temperature of the light source is low, the obtained image signal becomes reddish as shown in the characteristic diagram of FIG. 13 showing the relationship between the subject luminance and the image signal. Each signal saturates at a certain level. At this time, as shown in FIG. 14, by applying an appropriate gain to the R signal and the B signal and performing white balance processing, it is possible to remove the influence of the light source and faithfully reproduce the color of the subject. However, since the saturation level differs for each color, an unusual color (cyan in the example shown in FIG. 14) is generated in the high luminance portion. This is called a false color.
[0005]
In Japanese Patent No. 2557620 and Japanese Patent Application Laid-Open No. 2000-13808, a threshold value is calculated based on the color having the smallest saturation level, and as shown in FIG. There is disclosed a method for preventing the above.
[0006]
[Problems to be solved by the invention]
In the prior art disclosed in each of the above publications, a false color generated in a high luminance portion can be removed without any problem, and is widely used. However, in order to further improve the characteristics of the conventional color correction method, there are the following problems.
[0007]
That is, the related art is to prevent a false color by clipping a color signal with a threshold value, and a color correction device that is considered from the viewpoint of using up all the gradations inherent in the color signal is described. Not. The invention according to claims 1 to 7 of the present application pays attention to this viewpoint, and an object of the invention is to provide a color correction device capable of preventing a false color without impairing the dynamic range of a color signal.
[0008]
Further, in the related art, a false color is prevented by clipping a color signal with a threshold value, and a color correction method that considers a viewpoint of using up all the gradations inherent in the color signal is described. Absent. The present invention according to claims 8 to 14 of the present application focuses on this point of view and aims to provide a color correction method capable of preventing false colors without impairing the dynamic range of color signals.
[0009]
Further, in the related art, a false color is prevented by clipping a color signal with a threshold value, and a color correction program that considers a viewpoint of using up all the gradations inherent in the color signal is described. Absent. The invention according to claim 15 of the present application focuses on this point of view, and aims to provide a color correction program capable of preventing a false color without impairing the dynamic range of a color signal.
[0010]
In addition, the prior art is to prevent false colors by clipping a color signal with a threshold value, and describes a digital camera having a function that considers the point of using up all the gradations inherent in a color signal. It has not been. The invention according to claim 16 of the present application focuses on this point of view, and aims to provide a digital camera having a function of outputting a good image with a dynamic range not impaired.
[0011]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the invention according to claim 1 includes a gain adjustment unit that adjusts each gain of a plurality of color signals, and determines whether each of the color signals after the gain adjustment by the gain adjustment unit is in a saturated state. And a color signal correcting means for performing correction according to the level of another color signal different from the color signal for the color signal determined to be saturated by the saturated state determining means. This constitutes a correction device.
[0012]
According to a second aspect of the present invention, in the color correction device according to the first aspect, the color signal correction unit sets the level of the color signal determined to be in a saturated state to another color signal different from the color signal. It is characterized by being replaced with the level of
[0013]
According to a third aspect of the present invention, in the color correction device according to the first or second aspect, the gain adjusting means adjusts a gain of a plurality of color signals excluding a predetermined color signal among the plurality of color signals. It is characterized by the following.
[0014]
According to a fourth aspect of the present invention, in the color correction apparatus according to any one of the first to third aspects, the saturated state determination unit determines a saturation obtained from a predetermined color signal and a gain related to the predetermined color signal. When a color signal different from the predetermined color signal is larger than the saturation state determination threshold value, the predetermined color signal is determined to be in a saturated state using a state determination threshold value.
[0015]
According to a fifth aspect of the present invention, in the color correction apparatus according to any one of the first to fourth aspects, the color signal correction unit converts a predetermined color signal level determined to be in a saturated state to a predetermined color signal. It is characterized in that the color signal level is replaced with the maximum color signal level among a plurality of excluded color signals.
[0016]
According to a sixth aspect of the present invention, in the color correction device according to any one of the first to fourth aspects, the color signal correction unit determines a level of the predetermined color signal determined to be in a saturated state by a predetermined color signal. Is replaced with an average value of a plurality of color signals excluding the above.
[0017]
According to a seventh aspect of the present invention, in the color correction device according to any one of the first to sixth aspects, the gain adjustment unit, the saturation state determination unit, and the color signal correction unit include a red signal as a plurality of color signals. , A green signal, and a blue signal.
[0018]
The first embodiment corresponds to the embodiments according to the first to seventh aspects of the present invention. In the color correction device thus configured, the false color is suppressed by correcting only the color signal determined to be saturated by the saturation determination unit without clipping the color signal by the color signal correction unit. Therefore, a color correction device that does not impair the dynamic range of the color signal can be realized.
[0019]
The invention according to claim 8, wherein a gain adjustment step of adjusting the gain of each of the plurality of color signals, and a saturation state determination step of determining whether each of the color signals after the gain adjustment by the gain adjustment step is in a saturation state. And a color signal correction step of performing a correction according to the level of another color signal different from the color signal for the color signal determined to be saturated in the saturated state determination step. is there.
[0020]
According to a ninth aspect of the present invention, in the color correction method according to the eighth aspect, in the color signal correcting step, the level of the color signal determined to be in a saturated state is different from that of another color signal. It is characterized by being replaced with the level of
[0021]
According to a tenth aspect of the present invention, in the color correction method according to the eighth or ninth aspect, the gain adjustment step adjusts a gain for a plurality of color signals other than a predetermined color signal among the plurality of color signals. It is characterized by performing.
[0022]
According to an eleventh aspect of the present invention, in the color correction method according to any one of the eighth to tenth aspects, the saturated state determination step is obtained from a predetermined color signal and a gain related to the predetermined color signal. When a color signal different from the predetermined color signal is larger than the saturation state determination threshold value, the predetermined color signal is determined to be in a saturated state using a saturation state determination threshold value. .
[0023]
According to a twelfth aspect of the present invention, in the color correction method according to any one of the eighth to eleventh aspects, the color signal correcting step includes the steps of: determining a predetermined color signal level determined to be in a saturated state; It is characterized in that the color signal level is replaced with the maximum color signal level among a plurality of excluded color signals.
[0024]
According to a thirteenth aspect of the present invention, in the color correction method according to any one of the eighth to eleventh aspects, the color signal correcting step includes the step of: changing a level of the predetermined color signal determined to be in a saturated state to a predetermined color signal. Is replaced with an average value of a plurality of color signals excluding the above.
[0025]
According to a fourteenth aspect of the present invention, in the color correction method according to any one of the eighth to thirteenth aspects, the gain adjustment step, the saturation state determination step, and the color signal correction step include, as a plurality of color signals, a red signal. , A green signal, and a blue signal.
[0026]
The second embodiment corresponds to the embodiment relating to the inventions according to claims 8 to 14. In the color correction method configured as described above, the false color is suppressed by correcting only the color signal determined to be saturated in the saturation determination step without clipping the color signal in the color signal correction step. Therefore, a color correction method that does not impair the dynamic range of the color signal can be realized.
[0027]
The invention according to claim 15 is a step of adjusting a gain of each of the plurality of color signals, a step of determining whether each of the color signals after gain adjustment by the gain adjustment procedure is in a saturated state, and a step of determining whether the saturated state is satisfied. The color correction program is configured to cause a computer to execute a procedure for correcting a color signal determined to be in a saturated state in the determination procedure according to the level of another color signal different from the color signal.
[0028]
The second embodiment corresponds to the embodiment of the present invention. In the color correction program configured as above, the false color is suppressed by correcting only the color signal determined to be in the saturated state in the saturation state determination procedure without clipping the color signal in the color signal correction procedure. Thus, a color correction program that does not impair the dynamic range of the color signal can be realized.
[0029]
The invention according to claim 16 is an image pickup device in which a color filter is attached to a light receiving surface, photoelectrically converts a subject image formed on the light receiving surface, and outputs the color image signal, and 2. A digital camera, comprising: the color correction device according to claim 1; wherein the color correction device performs color signal processing using a color image signal from the image sensor as an input signal.
[0030]
The third embodiment corresponds to the embodiment of the present invention. A digital camera configured as described above includes the color correction device according to any one of claims 1 to 7, and thus can obtain an image with a good dynamic range. Can be realized.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment will be described. FIG. 1 is a block diagram showing a first embodiment according to the present invention. In the present embodiment, it is assumed that RGB three-dimensional color component values are input as input color signals. In FIG. 1, reference numeral 1 denotes gain adjustment means for adjusting the gain of a color signal by multiplying an input R signal by an R gain and multiplying an input B signal by a B gain. 2 and R signal and B signal after the gain adjustment by the gain adjusting unit 1, the input G signal and R gain Gain _r and B gain Gain _b, saturation determines saturation of the R signal and B signal after the gain adjustment It is a determining means. Reference numeral 3 denotes a color signal correction unit that corrects the R signal and the B signal after gain adjustment in accordance with the saturation state signal output from the saturation state determination unit 2.
[0032]
The embodiment shown in FIG. 1 will be described on a more detailed level with reference to FIG. In FIG. 2, each input RGB signal is assumed to have 10 bits (0 to 1023). Reference numerals 4 and 5 denote multiplication circuits constituting the gain adjusting means 1 for gain adjustment. 6, R gain Gain _r, from B gain Gain _b and R signals and B signals after the gain adjustment is a circuit for calculating the R signal threshold and B signal threshold value for determining the saturation. Reference numeral 7 denotes a circuit for determining the saturation state of the R signal and the B signal after gain adjustment using the threshold value for the R signal and the threshold value for the B signal, and a select signal for input to the R signal selector 8 and the B signal selector 9. Generate The threshold value calculating circuit 6 and the saturated state determining circuit 7 constitute the saturated state determining means 2, and the selectors 8 and 9 constitute the color signal correcting means 3.
[0033]
Next, the operation of the first embodiment will be described. For the sake of explanation, an input RGB signal is a signal obtained by subjecting a subject having a monochrome gradation pattern shown in FIG. 3 to photoelectric conversion by an image sensor. At this time, the input RGB signals are signals having saturation as shown in FIG. 4 due to the influence of the color of the light source applied to the subject. By multiplying the R signal and the B signal among the input RGB signals by appropriate R gain Gain _r and B gain Gain _b using the multiplication circuits 4 and 5, and adjusting the gain, FIG. As shown, the RGB signals are the same color signals as the subject, that is, signals without saturation.
[0034]
The threshold for the R signal _Th r, the B signal threshold Th _b, the R signal after gain adjustment R, B signals after gain adjustment B, and R gain Gain _r, when the B gain and Gain _b, threshold calculation The threshold value calculation formula in the circuit 6 is represented by the following formulas (1) and (2).
Th _r = mR + 1023 (1-m) Gain _r (1)
Th _b = mb + 1023 (1-m) Gain _b (2)
Here, m is a parameter for defining the slope of the threshold. Further, the thresholds Th _r and Th _b is clipped at 1023.
[0035]
FIG. 6 shows the relationship between the RGB signals after gain adjustment (after white balance) and threshold values. In the present embodiment, the threshold value for the R signal or the B signal is a function of the R signal or the B signal as shown in FIG. FIG. 8 shows a graph in the case where the threshold has no slope. FIG. 9 shows a graph in the case where the threshold has a slope. As shown in FIG. 8, when the threshold value has no gradient, when the R signal has a value near R ′, and the G signal and the B signal process an image area near G ′ and B ′, respectively, FIG. In the threshold value shown in FIG. 8, the amount of change in the threshold value is large due to the fluctuation due to the noise of the R signal, so that the noise is emphasized due to the difference in the determination of the saturation state of the neighboring pixels even though the region is originally almost uniform. It is. On the other hand, with the threshold value shown in FIG. 9, even if the R signal fluctuates due to noise, the amount of change in the threshold value is small, so that the noise is difficult to emphasize.
[0036]
Next, the saturation state determination circuit 7 will be described. The saturation determining function of the R signal F _R, the saturation determination function of B signals when the F _B, saturation judgment equation in the saturation state determining circuit 7 has the following formula (3) is expressed by (4) .

[0037]
The saturation state determination circuit 7 outputs 1 as a select signal corresponding to the color signal determined to be saturated. When the select signal is 1, the selector 8 outputs the larger one of the G signal and the B signal after the gain adjustment as the output R signal. When the selector signal is 0 (unsaturated), the R signal after gain adjustment is output as an output R signal. When the select signal is 1, the selector 9 outputs the larger one of the G signal and the R signal after the gain adjustment as the output B signal. When the selector signal is 0, the gain-adjusted B signal is output as an output B signal. Therefore, when there is a relationship between the RGB signal and the threshold as shown in FIG. 6, as shown in FIG. 10, the output R signal matches the G signal and the B signal after the gain adjustment, and the false color at high luminance is suppressed. Is done. Although the subject is a black-and-white gradation pattern for the sake of explanation, even if the subject is a color, the above-described operation can suppress false colors with high luminance.
[0038]
It is to be noted that each configuration of the first embodiment according to the present invention can of course be variously modified and changed. For example, when the select signal is 1, the selector 8 outputs the average of the G signal and the B signal after the gain adjustment as an output R signal, and when the select signal is 1, the selector 9 outputs the G signal and the R signal after the gain adjustment. Is output as an output B signal, and the RGB signals input to the selectors 8 and 9 are input to the selectors 8 and 9 after being multiplied by a coefficient of 1 or less. Can be.
[0039]
Next, a second embodiment according to the present invention will be described. The second embodiment relates to a color correction method according to the present invention, and a flowchart for explaining the method is shown in FIG. This flowchart shows an operation which is equivalent to the operation of the circuit shown in the first embodiment of FIG. In step S10, with respect to the input R signal Rin and the input B signal Bin, respectively subjected to gain adjustment by multiplying the gain Gain _r, the Gain _b, obtained after the gain adjustment R signal Rtmp, the B signal BTMP. Then, at step S11, and calculates the threshold value Th _b threshold Th _r and B signal for the R signal. Next, in step S12, the saturation state of the R signal based on the above equation (3) is determined. If the R signal is determined to be saturated, the R signal is corrected in step S14 to output an output R signal Rout. If it is determined that the R signal is not saturated, the R signal after gain adjustment is determined in step S13. Rtmp is output as an output R signal Rout. Next, in step S15, the saturation state of the B signal based on the above equation (4) is determined. If it is determined that the B signal is saturated, the B signal is corrected in step S17 to output an output B signal Bout. If it is determined that the B signal is not saturated, the B signal after gain adjustment is determined in step S16. Btmp is output as an output B signal Bout.
[0040]
Although the color correction method shown as the second embodiment has been described using the components using the components in the first embodiment shown in FIG. 2, this color correction method is shown in FIG. Of course, it is also possible to make this processing into a software processing to be executed by a computer based on the flowchart shown in FIG. 11 without using the processing by hardware.
[0041]
Next, a third embodiment according to the present invention will be described with reference to FIG. FIG. 12 is a block diagram illustrating a configuration example of a digital camera to which the color correction device illustrated in FIG. 2 is applied. In FIG. 12, reference numeral 21 denotes an image sensor such as a CCD having a color filter attached to a light receiving surface, and reference numeral 22 denotes an A / D conversion circuit for converting analog data output from the CCD image sensor 21 into digital data. Reference numeral 23 denotes a circuit for converting data input from the CCD image pickup device 21 into RGB. Reference numeral 24 denotes the color correction device shown in FIG. 2, which suppresses false colors generated at high luminance. Reference numeral 25 denotes a recording circuit for recording image data on a medium, and reference numeral 27 denotes a display circuit for displaying the image data on a display device such as a CRT. Reference numeral 26 denotes a higher-level controller for controlling the above components.
[0042]
【The invention's effect】
As described above based on the embodiments, according to the inventions according to claims 1 to 7, the color signal which is determined to be in the saturated state by the saturation state determination means without clipping the color signal by the color signal correction means. Since the false color is suppressed by correcting only the color correction, it is possible to realize a color correction apparatus that does not impair the dynamic range of the color signal. According to the inventions according to claims 8 to 14, the false color is suppressed by correcting only the color signal determined to be in the saturated state in the saturated state determination step without clipping the color signal in the color signal correction step. As a result, a color correction method that does not impair the dynamic range of the color signal can be realized. According to the fifteenth aspect of the present invention, the false color is suppressed by correcting only the color signal determined to be in the saturated state in the saturation state determination procedure without clipping the color signal in the color signal correction procedure. A color correction program that does not impair the dynamic range of a signal can be realized. According to the sixteenth aspect of the present invention, since the color correction apparatus according to any one of the first to seventh aspects is provided, it is possible to obtain a color-corrected image having a good dynamic range. A digital camera can be realized.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram illustrating a first embodiment of a color correction device according to the present invention.
FIG. 2 is a block diagram showing a detailed circuit configuration of the first embodiment shown in FIG.
FIG. 3 is a diagram showing a subject having a black and white gradation pattern for explaining the operation of the first embodiment shown in FIG. 1;
FIG. 4 is a diagram showing RGB signal levels of respective parts of a pattern when the subject shown in FIG. 3 is imaged.
FIG. 5 is a diagram showing RGB signal levels after gain adjustment of the input RGB signals shown in FIG. 4;
FIG. 6 is a diagram illustrating a relationship between RGB signals after gain adjustment and threshold values.
FIG. 7 is a diagram illustrating a threshold value for an R signal having an intermediate region of inclination.
FIG. 8 is a diagram showing an aspect in a case where the threshold has no inclination.
FIG. 9 is a diagram illustrating a correspondence relationship between signal fluctuation due to noise and a change amount of the threshold value when the threshold value has an inclination.
FIG. 10 is a diagram illustrating a state in which a color signal correction process is performed when there is a relationship between the RGB signal and the threshold illustrated in FIG. 6;
FIG. 11 is a flowchart illustrating a color correction method according to a second embodiment of the present invention.
FIG. 12 is a block diagram illustrating a configuration example of a digital camera according to a third embodiment of the present invention.
FIG. 13 is a diagram showing an image signal obtained when the subject is achromatic and the color temperature of the light source is low.
14 is a diagram illustrating an image signal after white balance processing has been performed on the image signal illustrated in FIG. 13;
FIG. 15 is a diagram showing a form processed by a conventional false color prevention method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Gain adjustment means 2 Saturation state judgment means 3 Color signal correction means 4, 5 Multiplication circuit 6 Threshold value calculation circuit 7 Saturation state judgment circuits 8, 9 Selector 21 CCD image sensor 22 A / D conversion circuit 23 RGB conversion circuit 24 Color correction device 25 Recording circuit 26 Host controller 27 Display circuit

Claims

Gain adjustment means for adjusting the gain of each of the plurality of color signals; saturated state determination means for determining whether each color signal after gain adjustment by the gain adjustment means is in a saturated state; and saturated state determination means. A color correction device comprising: a color signal correction unit that corrects a color signal determined to be in a saturated state according to a level of another color signal different from the color signal.

2. The color correction apparatus according to claim 1, wherein the color signal correction unit replaces the level of the color signal determined to be in a saturated state with the level of another color signal different from the color signal.

3. The color correction apparatus according to claim 1, wherein the gain adjustment means adjusts a gain of a plurality of color signals other than a predetermined color signal among the plurality of color signals.

The saturation state determination means uses a saturation state determination threshold obtained from a predetermined color signal and a gain related to the predetermined color signal, and a color signal different from the predetermined color signal is calculated based on the saturation state determination threshold. The color correction device according to claim 1, wherein when the color signal is large, the predetermined color signal is determined to be in a saturated state.

2. The color signal correction unit according to claim 1, wherein the predetermined color signal level determined to be in a saturated state is replaced with a maximum color signal level among a plurality of color signals excluding the predetermined color signal. The color correction device according to any one of claims 1 to 4.

5. The color signal correcting unit according to claim 1, wherein the level of the predetermined color signal determined to be in the saturated state is replaced with an average value of a plurality of color signals excluding the predetermined color signal. Color correction device according to the item.

7. The method according to claim 1, wherein the gain adjustment unit, the saturation state determination unit, and the color signal correction unit use a red signal, a green signal, and a blue signal as the plurality of color signals. Such a color correction device.

A gain adjusting step of adjusting each gain of the plurality of color signals; a saturated state determining step of determining whether each color signal after gain adjustment by the gain adjusting step is in a saturated state; and the saturated state determining step. A color signal correction step of correcting the color signal determined to be in a saturated state according to the level of another color signal different from the color signal.

9. The color correction method according to claim 8, wherein in the color signal correction step, a level of a color signal determined to be in a saturated state is replaced with a level of another color signal different from the color signal.

10. The color correction method according to claim 8, wherein in the gain adjusting step, the gain is adjusted for a plurality of color signals excluding a predetermined color signal among the plurality of color signals.

The saturation state determination step uses a saturation state determination threshold obtained from a predetermined color signal and a gain related to the predetermined color signal, and a color signal different from the predetermined color signal is calculated from the saturation state determination threshold. 11. The color correction method according to claim 8, wherein when the color signal is large, the predetermined color signal is determined to be in a saturated state.

9. The color signal correcting step according to claim 8, wherein the predetermined color signal level determined to be in a saturated state is replaced with a maximum color signal level among a plurality of color signals excluding the predetermined color signal. 12. The color correction method according to any one of items 11 to 11.

12. The color signal correcting step according to claim 8, wherein the level of the predetermined color signal determined to be in the saturated state is replaced with an average value of a plurality of color signals excluding the predetermined color signal. Color correction method according to item.

14. The method according to claim 8, wherein the gain adjustment step, the saturation state determination step, and the color signal correction step use a red signal, a green signal, and a blue signal as the plurality of color signals. Such a color correction method.

A procedure for adjusting the gain of each of the plurality of color signals, a procedure for determining whether each color signal after gain adjustment by the gain adjustment procedure is in a saturated state, and a saturated state determined in the saturated state determination procedure. Correcting the color signal according to the level of another color signal different from the color signal.

The color correction device according to claim 1, wherein a color filter is attached to a light receiving surface, and an image sensor that photoelectrically converts a subject image formed on the light receiving surface and outputs the image as a color image signal. Wherein the color correction apparatus is configured to perform color signal processing using a color image signal from the image sensor as an input signal.