JP2010021694A - エッジ強調画像処理装置 - Google Patents

Abstract

【課題】特別なテーブルを設ける必要がない、精度のよい効果的なエッジ強調を行うことが出来るエッジ強調画像処理装置を提供する。
【解決手段】入力ＲＧＢ画像信号から、輝度信号を生成し、ガンマ補正を行う。ガンマ補正に使用するガンマ補正テーブルは、主画像信号のガンマ補正に使用するものと同じものを使用するが、出力信号の精度は、主画像信号が必要とするものより精度の良い値を出力できるものとする。そして、エッジ検出とエッジの調整を行ってエッジ信号を生成し、主画像信号の精度に丸め込んでから、主画像信号の輝度信号にエッジ信号を加える。
【選択図】図１

Description

カメラ画像のエッジ強調を行うエッジ強調画像処理装置に関する。

今日、電子カメラが普及し、一般に広く使用されているが、電子カメラの画質の更なる向上が望まれている。画質の向上には、画像の見た目をよくするために、エッジ強調が行われる。以下、従来のエッジ強調方法について述べる。

図８は、第１の従来技術のエッジ強調画像処理装置を説明する図である。
生の画像信号であるＲＧＢ信号を入力し、γ補正を行う。γ補正時には、たとえば、最初１２bit信号であった画像信号を、８bitの低精度の画像信号に変換する。このように、画像信号の精度を落とすのは、ディスプレイモニタの規格や、JPEG、MPEG等の画像データフォーマットに合わせるためである。

ビット長を短くした、γ補正後の画像信号をYC変換後に、輝度Yからエッジ検出を行い、検出したエッジ成分Eを調整した後、輝度Yにエッジ成分Eを加算することにより、エッジ強調を行う。

第１の従来技術の問題点は、エッジ検出するのに、輝度Yのビット長が小さく(8bit)、精度が粗すぎることである。

図９は、第２の従来技術のエッジ強調画像処理装置を説明する図である。
図９（ａ）に示されるように、RGB画像から輝度Ylを生成して、この輝度Ylからエッジ検出を行い、検出したエッジ成分Eを調整した後、RGB画像にエッジ成分Eadを加算することにより、エッジ強調を行う。
この方法は、特許文献１に記載されている。

第２の従来技術の問題点は、エッジ強調した効果が、輝度Yの高い明るい部分では、ガンマ補正により見えづらくなることである。すなわち、ガンマ補正前にエッジ強調しても、ガンマ補正後には効果が潰れてしまって見えにくくなってしまうことである。これを説明するのが、図９（ｂ）である。γ補正は、図９（ｂ）に示されたようなカーブの特性を持つ。補正前の輝度が大きい場合には、カーブの傾きが小さくなっているため、補正前の輝度の変化は、補正後には、変化の量が小さくなってしまう。したがって、γ補正前にエッジ強調して、エッジ部分に輝度の変化をもたせても、γ補正後には、この輝度の変化が小さくなってしまい、エッジ強調の効果が小さくなってしまうという問題が生じる。

図１０は、第３の従来技術のエッジ強調画像処理装置を説明する図である。
図１０においては、RGB画像から輝度Ylを生成して、この輝度Ylからエッジ検出を行い、検出したエッジ成分Eを調整する。その後、更に、ガンマ補正の傾きを考慮したエッジγ処理を行い、主画像信号をYC変換後の輝度Yにエッジ成分Eadgを加算することにより、エッジ強調を行う。

この技術は、特許文献２、３に記載されている。ここでのエッジγ処理とは、次のような演算を行うものである。
（エッジγ後エッジ成分Eadg）＝（エッジγ前エッジ成分Ead）×（エッジγゲイン）
エッジγゲインは、予め設定しておいたテーブルを輝度Yで参照することにより求める。
エッジγは、ガンマ補正により、輝度Y成分の階調が変形することに対応するためのものである。

第３の従来技術の問題点は、エッジγゲイン用のテーブルデータが必要であり、エッジγの調整が難しいことにある。
特開２００６−３３３３１６号 特開平９−４６５５４号 特開２００５−２６０５１７号

第１の従来技術の問題点は、エッジ検出するのに、輝度Yのビット長が小さく(8bit)、精度が粗すぎることである。
第２の従来技術の問題点は、エッジ強調した効果が、輝度Yの高い明るい部分では、ガンマ補正により見えづらくなることである。

第３の従来技術の問題点は、エッジγゲイン用のテーブルデータが必要であり、エッジγの調整が難しいことにある。
本発明の課題は、特別なテーブルを設ける必要がない、精度のよい効果的なエッジ強調を行うことが出来るエッジ強調画像処理装置を提供することである。

本発明のエッジ強調画像処理装置は、入力画像信号に、第１の精度の出力信号を出力するガンマ補正テーブルを用いてガンマ補正を行う第１のガンマ補正手段と、入力画像信号に、該ガンマ補正テーブルを用いて、該第１の精度より精度を落とした第２の精度でガンマ補正を行う第２のガンマ補正手段と、該第１のガンマ補正手段からの出力信号を用いて、画像信号のエッジ成分を抽出するエッジ抽出手段と、該第２のガンマ補正手段の出力と、該エッジ抽出手段の出力を加算する加算手段とを備える。

本発明によれば、特別なテーブルを設ける必要がない、精度のよい効果的なエッジ強調を行うことが出来るエッジ強調画像処理装置を提供することができる。

カメラ画像処理の本線となる処理は、
図１は、本発明の実施形態のエッジ強調画像処理装置を説明する図である。
RGB画像をガンマ補正部１０においてガンマ補正して、その後、YC変換部１１でYCbCr画像に変換する。ここで、ガンマ補正するときに、通常ビット長の圧縮(例：12bit→8bit)を行う。

本実施形態のエッジ強調は、Y生成部１２において、RGB画像から輝度Ylを生成して、ガンマ補正部１３において、これに主画像信号と同様のガンマ補正を行う。但し、ここではビット長の圧縮は行わない(例：12bit→12bit)。ガンマ補正後の輝度Ygからエッジ検出を行い、検出したエッジ成分Eを調整した後、主画像信号のYC変換後の輝度Yにエッジ成分Eadを加算することにより、エッジ強調を行う。

ここで、ガンマ補正前の画像空間は、リニアな空間である。リニアな空間とは、被写体からの光のエネルギーに対して、画素値が比例して大きくなる空間である。これに対し、ガンマ補正後の画像空間は、曲がった空間である。曲がった空間とは、被写体からの光のエネルギーに対して、画素値が比例しないで大きくなる空間である。

すなわち、ガンマ補正前のRGBから、輝度Ylを生成する。輝度Ylに対してガンマ補正を行う。但し、このガンマ補正は 12bit→A bit (8＜A)とする。これはガンマ補正後のRGBより精度を持たせること意味する。但し、このガンマ補正の出力値の上位8bitは、主画像信号のRGBに対するガンマ補正の出力値と一致する。2つのガンマ補正は、精度だけが異なる。
ガンマ補正後の輝度Ygに対して、エッジ検出して、エッジ成分Eを求める。画像に含まれるエッジ（凹凸）を検出するため、この時点での画像の精度が重要になる。次に、エッジ成分Eを調整する。調整内容は次のようなものである。
・エッジ成分Eに含まれるノイズ成分の抑制。
・エッジ強調の強弱。
・YC変換後の輝度Yの8bit精度に合わせるように精度調整。

主画像信号のYC変換後の輝度Yに、調整されたエッジ成分Eadを足しこみ、エッジ強調された輝度Yeeを求める。
図１〜図３を参照して、本実施形態の動作をより詳しく説明する。

図２は、ガンマ補正部１０、１３に保持される共通のガンマ補正テーブルの変換グラフを示す。図３は、ラプラシアンフィルタを説明する図である。
主画像信号に対し、R,G,Bに対してガンマ補正を行う。
Rg = (GTbl[R] >> 4)
Gg = (GTbl[G] >> 4)
Bg = (GTbl[B] >> 4)
ここで、GTblはガンマ補正テーブルであり、主画像信号側とエッジ強調側とで同じテーブルを使う。図２に示されるように、本実施形態で使用するガンマ補正テーブルGTblは、１２ビットの補正前信号を１２ビットの補正後信号に変換する。ただし、主画像信号側では、補正後の信号は、ガンマ補正テーブルGTblの上位8bitだけを使う。
次に、Rg,Gg,Bgに対してYC変換を行う。

Y00〜Y22は、あらかじめ定められた係数である。

エッジ強調処理側では、ガンマ補正前のR,G,Bから、輝度Ylを生成する。輝度Ylを求める式は、たとえば、以下のようなものである。
Yl = kr*R + kg*G + kb*B
例えば、kr=0.3 kg=0.59 kb=0.11
輝度Ylに対してガンマ補正を行う（Yg = GTbl[Yl]：この式は、輝度Ylを用いてガンマ補正テーブルGTblを索引することを示す）。

ガンマ補正後の輝度Ygに対して、エッジ検出して、エッジ成分Eを求める。
E = ラプラシアンフィルタ[輝度Yg]
ラプラシアンフィルタは、例えば、図３のようなフィルタである。ここで、ｃ＝４×（ａ＋ｂ）であり、たとえば、ａ＝１．０、ｂ＝１．０である。このラプラシアンフィルタは3x3だが、もちろん、もっと大きいものでもよい。ラプラシアンフィルタを画像に適用すると、画像のエッジ成分が得られる。

エッジ成分Eを調整して、エッジ成分Eadlを作る。エッジ成分Ｅの調整方法は、たとえば、以下のような処理である。これは、エッジ成分Eに含まれるノイズ成分の抑制を行う。
+Cor ＜ E の場合 Ead1 = E-Cor
-Cor ≦ E ≦ +Cor の場合 Ead1 = 0
E ＜ -Cor の場合 Ead1 = E+Cor
ここでCorは、コアリング閾値パラメータである。Corは、輝度Yg,あるいは輝度Yに応じて変更できるようにしてもよい。

更に、たとえば、以下のような処理を行う。これは、エッジの強度の調整である。
Ead = Ead1 * Scl
ここでSclは、スケールパラメータである。Sclは、輝度Yg,あるいは輝度Yに応じて変更できるようにしてもよい。更に、主画像信号のYC変換後の輝度Yの8bit精度に合わせるように、エッジ強調信号を精度調整する。この場合、8bitの信号にする。

主画像信号のYC変換後の輝度Yに、調整されたエッジ成分Eadを加算器１６で足しこみ、エッジ強調された輝度Yeeを求める。
Yee = Y + Ead
Yee は、範囲[0〜255]に収まるようにクリップする。

図４は、トーンコントロール（階調補正）のための構成を示す図である。
ガンマ補正前のR,G,Bから、Y生成部１２ａで輝度Ylを生成する。輝度Ylの生成は、以下のような式による。
Yl = kr*R + kg*G + kb*B
例えば、kr=0.3 kg=0.59 kb=0.11

トーンコントロールゲイン生成部２０において、輝度Ylで、トーンコントロールゲインテーブルTcTblを参照して、トーンコントロールゲインβを求める。そして、R,G,Bに対して、以下の式のようなトーンコントロールを行う。すなわち、乗算器１７で下記の乗算を行う。
Rt = β*R
Gt = β*G
Bt = β*B

この式から、以下の式が成り立つ。
Yt = kr*Rt + kg*Gt + kb*Bt
Yt = β*Yl
Rt,Gt,Btは、範囲[0〜4095]に収まるようにクリップする。

図４の構成を、図１の入力RGB信号をY生成部１２へ分岐する前に設ければ、エッジ強調も含めて、全体画像にトーンコントロールを行うことが出来る。

図５及び図６は、トーンコントロールを含む第２の実施形態を説明する図である。
図５において、図１及び図４と同じ構成要素には、同じ参照符号を付す。
ガンマ補正前のR,G,Bから、Y生成部１２において輝度Ylを生成する。
Yl = kr*R + kg*G + kb*B
例えば、kr=0.3 kg=0.59 kb=0.11
トーンコントロールゲイン生成部２０において、輝度Ylで、トーンコントロールゲイン
テーブルTcTblを参照して、トーンコントロールゲインβを求める。そして、R,G,B,Yに対して、トーンコントロールを行う。すなわち、乗算器１７で下記の乗算を行う。
Rt = β*R
Gt = β*G
Bt = β*B
Yt = β*Yl
Rt,Gt,Bt,Ytは、範囲[0〜4095]に収まるようにクリップする。

Rt,Gt,Btに対して、ガンマ補正部１０において、ガンマ補正を行う。
Rg = (GTbl[Rt] >> 4)
Gg = (GTbl[Gt] >> 4)
Bg = (GTbl[Bt] >> 4)
ここでは、ガンマ補正テーブルGTblの上位8bitだけを使う。

Rg、Gg、Bgに対してYC変換を行う。YC変換は、以下の式にしたがって行う。

Y00〜Y22は、あらかじめ定められた係数である。

輝度Ytに対して、ガンマ補正テーブルを参照し、ガンマ補正を行う。ここでは、変換後の信号のビット数は、入力と同じ１２bitである。
Yg=GTbl[Yt]
ガンマ補正後の輝度Ygに対して、エッジ検出して、エッジ成分Ｅを求める。
Ｅ＝ラプラシアンフィルタ［輝度Yg］
ラプラシアンフィルタは、たとえば、図３で説明したものである。

次に、エッジ調整を行う。エッジ調整は、たとえば、以下のような処理である。これは、エッジ成分Eに含まれるノイズ成分の抑制を行う。
+Cor ＜ E の場合 Ead1 = E-Cor
-Cor ≦ E ≦ +Cor の場合 Ead1 = 0
E ＜ -Cor の場合 Ead1 = E+Cor
ここで、Corは、コアリング閾値パラメータである。Corは、輝度Yg、あるいは、輝度Yに応じて変更できるようにしても良い。

更に、たとえば、以下のような処理を行う。これは、エッジの強度の調整である。
Ead = Ead1 * Scl
ここで、Sclは、スケールパラメータである。Sclは、輝度Yg、あるいは、輝度Yに応じて変更できるようにしてもよい。更に、主画像信号側のYC変換後の輝度Yの8bit精度に合わせるように、エッジ強調信号を精度調整する。この場合、8bitの信号にする。

主画像信号のYC変換後の輝度Yに、調整されたエッジ成分Eadを加算器１６で足しこみ、エッジ強調された輝度Yeeを求める。
Yee = Y + Ead
Yee は、範囲[0〜255]に収まるようにクリップする。

ガンマ補正テーブルGTblは図６（ａ）に示されるように、１２bitの信号を入力し、１２bitの信号を出力するものである。図６（ａ）のように、補正前の輝度が大きくなるにつれて、傾きが小さくなるようなカーブを有している。一方、トーンコントロールゲインテーブルは、入力される輝度値に応じて、トーンコントロールゲインを格納したテーブルであり、１２bitの輝度値を入力して、トーンコントロールゲインを出力する。トーンコントロールゲインは、たとえば、図６（ｂ）に示されるように、輝度の値にしたがって、変化するカーブで示される。

図５の構成では、トーンコントロールのためのY変換部とエッジ強調処理のためのY変換部が共通の１つのユニットとなっているため、図４の構成を図１の構成に単に加えた場合よりも、ハードウェア構成を少なくすることが出来、有利である。

従来、エッジ検出するのに、輝度Yのビット長が小さく(8bit＝出力画像の精度と同じ)、精度が粗すぎるということがあった。大雑把にいうと、エッジ強調は、画像に存在するエッジ成分を検出して取り出し、そのエッジ成分を調整により大きくして、元画像に付加することにより行う。エッジ検出する元の画像精度が8bitの場合、検出されるエッジ成分の精度は同じ8bit精度となる。これを調整により大きくすると、エッジ成分の精度は8bit精度より粗くなる。粗くなったエッジ成分を元画像に付加してエッジ強調した画像を作ると、当然、エッジ強調された部分には滑らかさは失われてしまう。

本実施形態では、エッジ検出に使用する輝度Yのビット長は出力画像の精度8bitより大きいので、エッジ強調するのに十分な精度を持たせることができる。
また、従来では、図７のガンマ補正カーブに示されるように、補正前の輝度が大きいところでは、ガンマ補正カーブの傾きが小さくなるので、エッジ強調した効果が、輝度Yの高い明るい部分では、ガンマ補正により見えづらくなることがあった。

本実施形態では、調整されたエッジ成分Eは、YC変換後の輝度Yに加算することにより、エッジ強調を行うので、エッジ強調の効果が見えづらくならない。
また、従来では、エッジγゲイン用のテーブルデータが必要であり、エッジγの調整が難しいことにある。

本実施形態では、テーブルデータは、主画像信号用とエッジ強調信号用の両方に共通のガンマ補正テーブルのみあればよく、エッジγゲイン用のテーブルデータは必要ない。
ガンマ補正テーブルに変更を加える場合には、従来の場合には、それに応じて、ガンマ補正テーブルの変更に伴ってエッジγゲイン用のテーブルデータを生成する必要があるが、本実施形態では、主画像信号処理用とエッジ強調処理用とで共通のガンマ補正テーブルを使用するので、これが必要ない。

上記実施形態のほかに、以下の付記を開示する。
（付記１）
入力画像信号に、第１の精度の出力信号を出力するガンマ補正テーブルを用いてガンマ補正を行う第１のガンマ補正手段と、
入力画像信号に、該ガンマ補正テーブルを用いて、該第１の精度より精度を落とした第２の精度でガンマ補正を行う第２のガンマ補正手段と、
該第１のガンマ補正手段からの出力信号を用いて、画像信号のエッジ成分を抽出するエッジ抽出手段と、
該第２のガンマ補正手段の出力と、該エッジ抽出手段の出力を加算する加算手段と、
を備えることを特徴とするエッジ強調画像処理装置。
（付記２）
前記入力画像信号は、RGB信号であり、
前記第２のガンマ補正手段は、入力RGB信号に直接ガンマ補正を行い、
前記第２のガンマ補正手段からの出力RGB信号を輝度・色差信号に変換する変換手段を更に備えることを特徴とする付記１に記載のエッジ強調画像処理装置。
（付記３）
前記第１のガンマ補正手段は、入力画像信号から得られた輝度信号についてガンマ補正を行うことを特徴とする付記２に記載のエッジ強調画像処理装置。
（付記４）
前記エッジ抽出手段は、前記第１のガンマ補正手段からの輝度信号について、エッジ成分を抽出することを特徴とする付記３に記載のエッジ強調画像処理装置。
（付記５）
前記加算手段は、前記第２のガンマ補正手段からの輝度信号と、前記エッジ抽出手段からのエッジ成分とを加算することを特徴とする付記４に記載のエッジ強調画像処理装置。（付記６）
前記第１と第２のガンマ補正手段によるガンマ補正の前に、入力画像信号の階調補正を行う階調補正手段を更に備えることを特徴とする付記１に記載のエッジ強調画像処理装置。
（付記７）
前記第２のガンマ補正手段は、前記ガンマ補正テーブルの出力値の上位ビットのみを使用することにより、前記第１の精度より精度を落とした前記第２の精度のガンマ補正を行うことを特徴とする付記１に記載のエッジ強調画像処理装置。
（付記８）
前記エッジ抽出手段は、エッジ成分の抽出後、エッジ成分の精度を前記第２の精度に変換することを特徴とする付記１に記載のエッジ強調画像処理装置。
（付記９）
前記エッジ抽出手段は、抽出されたエッジ成分の値を調整するエッジ調整手段を備えることを特徴とする付記１に記載のエッジ強調画像処理装置。
（付記１０）
入力画像信号に、第１の精度の出力信号を出力するガンマ補正テーブルを用いて第１のガンマ補正を行い、
入力画像信号に、該ガンマ補正テーブルを用いて、該第１の精度より精度を落とした第２の精度で第２のガンマ補正を行い、
該第１のガンマ補正からの出力信号を用いて、画像信号のエッジ成分を抽出し、
該第２のガンマ補正結果と、該エッジ抽出結果を加算する、
ことを特徴とするエッジ強調画像処理方法。

本発明の実施形態のエッジ強調画像処理装置を説明する図である。 ガンマ補正部１０、１３に保持される共通のガンマ補正テーブルの変換グラフを示す図である。 ラプラシアンフィルタを説明する図である。 トーンコントロール（階調補正）のための構成を示す図である。 トーンコントロールを含む第２の実施形態を説明する図（その１）である。 トーンコントロールを含む第２の実施形態を説明する図（その２）である。 ガンマ補正カーブの例を示す図である。 第１の従来技術のエッジ強調画像処理装置を説明する図である。 第２の従来技術のエッジ強調画像処理装置を説明する図である。 第３の従来技術のエッジ強調画像処理装置を説明する図である。

符号の説明

１０、１３ ガンマ補正部
１１ ＹＣ変換部
１２、１２ａ Ｙ生成部
１４ エッジ検出部
１５ エッジ調整部
２０ トーンコントロールゲイン生成部

Claims (5)

1. 入力画像信号に、第１の精度の出力信号を出力するガンマ補正テーブルを用いてガンマ補正を行う第１のガンマ補正手段と、
   入力画像信号に、該ガンマ補正テーブルを用いて、該第１の精度より精度を落とした第２の精度でガンマ補正を行う第２のガンマ補正手段と、
   該第１のガンマ補正手段からの出力信号を用いて、画像信号のエッジ成分を抽出するエッジ抽出手段と、
   該第２のガンマ補正手段の出力と、該エッジ抽出手段の出力を加算する加算手段と、
   を備えることを特徴とするエッジ強調画像処理装置。
2. 前記入力画像信号は、RGB信号であり、
   前記第２のガンマ補正手段は、入力RGB信号に直接ガンマ補正を行い、
   前記第２のガンマ補正手段からの出力RGB信号を輝度・色差信号に変換する変換手段を更に備えることを特徴とする請求項１に記載のエッジ強調画像処理装置。
3. 前記第１のガンマ補正手段は、入力画像信号から得られた輝度信号についてガンマ補正を行うことを特徴とする請求項２に記載のエッジ強調画像処理装置。
4. 前記エッジ抽出手段は、前記第１のガンマ補正手段からの輝度信号について、エッジ成分を抽出することを特徴とする請求項３に記載のエッジ強調画像処理装置。
5. 前記第１と第２のガンマ補正手段によるガンマ補正の前に、入力画像信号の階調補正を行う階調補正手段を更に備えることを特徴とする請求項１に記載のエッジ強調画像処理装置。

Images