JP2008219117A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】設定されるＩＳＯ感度や利得が無段階であっても、補正値を格納するための記憶容量を増大させることなく光量の変化に対するデジタル画像信号が所定の線形性を有するように精度良く補正する。
【課題手段】可変利得増幅器８の利得に応じて、デジタル画像信号Ｃを補正するデジタル信号補正部１３を備え、デジタル信号補正部１３が、所定の利得に対応付けられて、デジタル画像信号Ｃの補正値を格納したルックアップテーブル１７と、利得が所定の利得と一致しない不一致利得である際に、ルックアップテーブル１７上の補正値Ｐ_１と不一致利得とに基づいて、デジタル画像信号Ｃの補正値を生成する補間処理部１６とによって構成されている。
【選択図】図１

Description

本発明は、被写体を撮影して得られた撮影光をデジタル変換して出力する画像処理装置および画像処理方法に関し、特に、入射光を光電変換してデジタル画像信号を出力する際の補正方法に関する。

従来、デジタルカメラなどのデジタル式画像処理装置において、複数の光電変換素子が配列されて、入射光を光電変換して電気信号を出力する撮像素子（例えば、ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）と、前記電気信号を増幅する可変利得増幅器と、前記可変利得増幅器から出力される画像信号をＡ／Ｄ変換してデジタル画像信号を出力するＡ／Ｄ変換器とを備え、入射光の光量に対応付けてデジタル画像信号を出力するように構成されているものがある。

また、この際、予め、入射光の光量に対する光電変換特性やＡ／Ｄ変換特性等を計測し、光量の変化に対するデジタル画像信号が所定の線形性を有するように、デジタル画像信号を補正する補正値を格納した補正テーブルを備えているものがある（例えば、特許文献１、２参照）。

また、デジタルカメラのように、ＩＳＯ感度（利得）に応じて、可変利得増幅器の利得を変化させるものがある。例えば、ＩＳＯ感度１００の場合には、０．１ｌｕｘ・ｓｅｃ．の光量から得られた信号を１倍の増幅信号、ＩＳＯ感度２００の場合には、０．０５ｌｕｘ・ｓｅｃ．の光量から得られた信号を２倍の増幅信号、ＩＳＯ感度４００の場合には、０．０２５ｌｕｘ・ｓｅｃ．の光量から得られた信号を４倍の増幅信号として出力する。
特開２００５-２０５２１１号公報 特開２００６-１８０５００号公報

しかしながら、可変利得増幅器の利得に応じて、光量に対する可変利得増幅器からＡ／Ｄ変換器に入力される電気信号の線形性が変化するので、デジタル信号を精度良く補正するために、さらに改善の余地があった。また、複数のＩＳＯ感度（利得）の夫々毎に、補正値を備えるものとすれば、この補正値を格納するための記憶容量が増大して生産性を損なう虞があり、さらに、利得の設定が無段階に要求される際には、一層、補正値を格納することが困難になり、延いては、線形性を精度良く補正することが困難であった。

そこで、本発明は、複数のＩＳＯ感度や利得の設定に応じて、デジタル画像信号が光量の変化に対して所定の線形性を有するように精度良く補正でき、さらには、設定されるＩＳＯ感度や利得が無段階であっても、補正値を格納するための記憶容量を増大させることなく補正でき、延いては回路規模を縮小できて生産性の優れた画像処理装置および画像処理方法を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、画像処理装置において、複数の光電変換素子が配列されて、入射光を光電変換してアナログ画像信号を出力する撮像素子と、前記アナログ画像信号を増幅する可変利得増幅器と、前記可変利得増幅器から出力される画像信号をＡ／Ｄ変換してデジタル画像信号を出力するＡ／Ｄ変換器と、前記可変利得増幅器の利得に応じて、前記デジタル画像信号を補正する光電変換特性補正手段と、を備えていることを特徴とする。

請求項１に記載の画像処理装置によれば、可変利得増幅器の利得に応じて、デジタル画像信号を補正する光電変換特性補正手段を備えているので、複数のＩＳＯ感度の夫々毎に、光量の変化に対するデジタル画像信号が所定の線形性を有するように精度良く補正でき、光量に応じた階調を精度良く生成できる。

また、請求項1に記載の画像処理装置は、請求項２に記載の発明のように、前記光電変換特性補正手段が、所定の前記利得に対応付けられて、前記デジタル画像信号の補正値を格納したルックアップテーブルによって構成され、前記利得が前記所定の利得と一致しない不一致利得である際に、前記ルックアップテーブル上の前記補正値と前記不一致利得とに基づいて、前記デジタル画像信号の補正値を生成する補間手段を備えていることにより、可変利得増幅器を介して設定されるＩＳＯ感度や利得を複数備えていても、補正値を格納するための記憶容量が増大することなく、さらには、設定されるＩＳＯ感度や利得が無段階であっても、補正値を格納するための記憶容量を増大させることなく補正でき、延いては回路規模を縮小できて生産性の優れた画像処理装置を得ることができる。

また、請求項２に記載の画像処理装置は、請求項３に記載の発明のように、前記ルックアップテーブルには、補正前の前記デジタル画像信号を表すデータ列として、整数部のビット列と前記利得を表す小数部のビット列が格納され、前記補正値が、前記小数部のビット数分だけ間引きされて格納されていることにより、ルックアップテーブルにおけるデータ記憶容量を小さくできる。つまり、データ列に利得を表すビット列を加えるとルックアップテーブルにおけるデータ記憶容量が大きくなるので、利得を表すビット数の分だけ補正値を間引きすることによりルックアップテーブルにおけるデータ記憶容量を小さくできる。

また、間引きされた補正値については、ルックアップテーブルに格納されてこの間引きされた補正値に近接する補正値を用い、補間処理を行って求めればよい。

請求項１乃至請求項３の何れか記載の画像処理装置は、請求項４に記載の発明のように、前記撮像素子に複数の色毎の各色を通過させるカラーフィルタが備えられ、前記光電変換特性補正手段が、前記カラーフィルタを介して通過した色毎に備えられていることにより、カラー色の生成において、各色毎の線形性を良好に得ることができる。つまり、一般に光電変換素子において各色（波長）毎に光電変換特性にズレが生じるので、光電変換特性補正手段を各色毎に備えることが好ましい。

また、請求項１乃至請求項４の何れか記載の画像処理装置は、請求項５に記載の発明のように、前記撮像素子と前記補正手段との間には、該撮像素子から出力される暗電流をオフセットする暗電流オフセット手段が備えられ、前記光電変換特性補正手段が、前記暗電流オフセット手段を介して出力されて黒レベルの信号がゼロである際のデジタル画像信号に対して補正を行うように構成されていることにより、暗電流の影響を受けることなく、光量に応じて精度良くデジタル画像信号を補正できる。

次に、請求項６に記載の発明は、画像処理方法において、複数の光電変換素子が配列されて、入射光を光電変換してアナログ画像信号を出力する撮像素子と、前記アナログ画像信号を増幅する可変利得増幅器と、前記可変利得増幅器から出力されるアナログ画像信号をＡ／Ｄ変換してデジタル画像信号を出力するＡ／Ｄ変換器と、前記可変利得増幅器の利得に応じて、前記デジタル画像信号を補正する光電変換特性補正手段とを用いたデジタル画像処理方法であって、前記光電変換特性補正手段が、所定の前記利得に対応付けて、前記デジタル画像信号の補正値を格納したルックアップテーブルを用い、前記利得が前記所定の利得と一致しない不一致利得である際に、前記ルックアップテーブル上の前記補正値と前記不一致利得とに基づいて、前記デジタル画像信号の補正値を生成することを特徴とする。

請求項６に記載の画像処理方法によれば、前記光電変換特性補正手段が、所定の前記利得に対応付けて、前記デジタル画像信号の補正値を格納したルックアップテーブルを用い、前記利得が前記所定の利得と一致しない不一致利得である際に、前記ルックアップテーブル上の前記補正値と前記不一致利得とに基づいて、前記デジタル画像信号の補正値を生成することにより、可変利得増幅器を介して設定される複数のＩＳＯ感度や利得の夫々毎に、光量の変化に対するデジタル画像信号が所定の線形性を有するように精度良く補正でき、光量に応じた階調を精度良く生成できる。

また、請求項６に記載の画像処理方法によれば、設定されるＩＳＯ感度（利得）が複数または無段階であっても、補正値を格納するための記憶容量を増大させることなく精度良く補正でき、生産性の優れた画像処理装置を得ることができる。

また、請求項６に記載の画像処理方法は、請求項７に記載の発明のように、前記ルックアップテーブルには、補正前の前記デジタル画像信号を表すデータ列として、整数部のビット列と前記利得を表す小数部のビット列を格納し、前記補正値を前記小数部のビット数分だけ間引きして配列することにより、ルックアップテーブルにおけるデータ記憶容量を小さくできる。つまり、データ列に利得を表すビット列を備え、利得の変化に応じて補正値を格納すればルックアップテーブルにおけるデータ記憶容量が大きくなるので、利得を表すビット数の分だけ補正値を間引きすることによりルックアップテーブルにおけるデータ記憶容量を小さくでき、延いては回路規模を縮小できて生産性を向上できる。

また、間引きされた補正値については、ルックアップテーブルに格納されてこの間引きされた補正値に近接する補正値を用い、補間処理を行って求めればよい。

また、請求項６または請求項７に記載の画像処理方法は、請求項８に記載の発明のように、前記撮像素子に複数の色毎の各色を通過させるカラーフィルタが備えられ、前記カラーフィルタを介して通過した色毎に、前記デジタル画像信号を補正することにより、請求項４に記載の発明と同様に、カラー色の生成において、各色毎の線形性を良好に得ることができる。つまり、一般に光電変換素子は、各色（波長）毎に光電変換特性にズレが生じるので、光電変換特性補正手段を各色毎に備えることが好ましい。

本発明の画像処理装置及び画像処理方法は、所定の利得に対応付けて、デジタル画像信号の補正値を格納したルックアップテーブルを用い、利得が所定の利得と一致しない不一致利得である際に、ルックアップテーブル上の補正値と不一致利得とに基づいて、デジタル画像信号の補正値を生成することにより、複数のＩＳＯ感度の夫々毎に、光量の変化に対するデジタル画像信号が所定の線形性を有するように精度良く補正でき、光量に応じた階調を精度良く生成できる。

また、本発明の画像処理装置及び画像処理方法は、可変利得増幅器で設定される利得が複数または無段階であっても、補正値を格納するための記憶容量を増大させることなく精度良く補正でき、生産性の優れた画像処理装置を得ることができる。

また、本発明の画像処理装置及び画像処理方法は、ルックアップテーブルには、補正前の前記デジタル画像信号を表すデータ列として、整数部のビット列と前記利得を表す小数部のビット列が備えられ、補正値を、小数部のビット数分だけ間引きして配列されていることにより、ルックアップテーブルにおけるデータ記憶容量を小さくでき、延いては、生産性を向上できる。つまり、データ列に利得を表すビット列を備え、利得の変化に応じて補正値を格納すればルックアップテーブルにおけるデータ記憶容量が大きくなるので、利得を表すビット数の分だけ補正値を間引きすることによりルックアップテーブルにおけるデータ記憶容量を小さくできる。また、間引きされた補正値については、ルックアップテーブルに格納されてこの間引きされた補正値に近接する補正値を用い、補間処理を行って求めればよい。

次に、本発明の画像処理装置１及び画像処理方法の一実施例を図面にもとづいて説明する。図１は同実施例の画像処理装置１の構成を表すブロック図、図２は同実施例の画像処理装置１における露出調整の説明図、図３は本実施例におけるデジタル画像信号の補正方法を表す光電変換特性図であって、（ａ）が補正前の光電変換特性図、（ｂ）が（ａ）デジタル画像信号のの補正値を表す図、（ｃ）が補正後の光電変換特性図である。

図４は、同実施例におけるルックアップテーブル１７の構成を表す図、図５は、撮像素子５から出力された電気信号を増幅した際に発現する光電変換特性を表す図であって、（ａ）が増幅前の光電変換特性を表す図、（ｂ）が（ａ）に対して２倍の利得で増幅した際の光電変換特性を表す図である。

図６は、同実施例において、可変利得増幅器８で設定される利得が予めルックアップテーブル１７に格納した補正値の利得と一致しない不一致利得である際に、ルックアップテーブル１７に格納した補正値Ｐ_１と不一致利得とに基づいて、補正値Ｐ_２を生成する手順を表すフローチャート、図７は、図６のフローチャートにおける画素値の補正の手順を表すフローチャート、図８は、補正値Ｐ_２を取得する際の説明図である。

図１に表したように、画像処理装置１は、撮像した撮像信号Ｓ（所謂、入射光である）を外部のホストへ通信するデジタルカメラであり、撮像信号Ｓを光電変換してデジタル画像信号Ｃとして出力するカメラモジュール１０と、デジタル画像信号Ｃを、を人の視覚に合わせ、所定のフォーマットの画像データＤに変換して出力する画像処理装置本体１１によって構成されている。

カメラモジュール１０は、レンズ３、有害な赤外線及び不要な空間周波数成分などを除去するフィルタ（赤外線除去フィルタや光学フィルタである）４、撮像信号Ｓを光電変換してＲＧＢ色のアナログ画像信号を出力する撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６等を所定の周期で制御するタイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）２６等によって構成されている。

撮像素子５は、複数の光電変換素子がマトリックス状に配置され、これらの光電変換素子毎に撮像信号Ｓを光電変換してアナログ画像信号を出力するように構成されている。また撮像素子５は、複数の光電変換素子の夫々に、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなる原色のカラーフィルタが設けられており、各色のカラーフィルタ部を通過した光量をアナログ画像信号に変換して出力する。そして、光電変換素子に対応付けられたアナログ画像信号（画素データ）が、撮像素子５からＡＦＥ６に出力される。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされたアナログ画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器８から出力されたアナログ画像信号をデジタル画像信号Ｃに変換するＡ／Ｄ変換器９等によって構成され、デジタル画像信号Ｃを画像処理装置本体１１に出力する。

この際、カメラモジュール１０は、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いて構成してもよい。

次に、画像処理装置本体１１は、Ａ／Ｄ変換器９から出力されたデジタル画像信号Ｃから、撮像素子５に発現する暗電流を減算する暗電流減算器（所謂、本発明における暗電流オフセット手段である）１２、暗電流減算器１２を介して入力されたデジタル画像信号Ｐ_０を、撮像信号Ｓの光量変化に対応付けて所定の線形性を有するようにデジタル画像信号Ｐ_２に補正するデジタル信号補正部（所謂、本発明における光電変換特性補正手段である）１３、デジタル画像信号Ｐ_２を所定の色合いを有する画像データＤに変換する画像処理部１４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２５等によって構成され、ＣＰＵ２４がＲＯＭ２５に格納された制御用プログラムに従って、当該画像処理装置１の各処理を制御する。

暗電流減算器１２は、撮像素子５における複数の光電変換素子の夫々毎に、予め計測された暗電流の調整結果値にもとづいて、暗電流分のオフセットをおこなう。詳しくは、予め、光量を撮像素子５に入射させないタイミングで、Ａ／Ｄ変換器９から出力するデジタル画像信号ＣをＲＯＭ２５に記憶させ、この記憶値を暗電流のオフセット値としている。

画像処理部１４は、露出量を設定する露出調整部１９、デジタル画像信号Ｐ_２の白色を調整するホワイトバランス（ＡＷＢ）調整部２０、デジタル画像信号Ｐ_２を所定の色合いに合わせる色再現部２１、デジタル画像信号Ｐ_２に含まれるノイズや偽色の抑制や画像の輪郭補正等を行う画質補正部２２、画像データＤが表示される表示器の色表示特性に対応付けて、デジタル画像信号Ｐ_２の階調変換を行うγ変換部２３等によって構成されている。

露出調整部１９は、オペレータの操作にもとづいて、露出感度、絞り、シャッター等の露出条件を設定するとともに、可変利得増幅器８の利得（ゲイン）を設定する。

詳しくは、図２（ａ）（ｂ）に表したように、撮像素子５から出力される信号の飽和出力（所定の光量を受けて、時間の経過にとなって飽和に至った際の、撮像素子５から出力される出力電圧）に対し、Ａ／Ｄ変換器９においてデジタル変換する際のデータ処理のビット数にあわせ、可変利得増幅器８における利得（ゲイン）のＭｉｎ．Ｇが、Ｇ＝２０×Ｌｏｇ_１０（Ｖａｄｃ／Ｖｃｃｄ）の算術式によって設定される。

また、Ｍｉｎ．の利得（ゲイン）Ｇを用いた際のＩＳＯ感度Ｉが、Ｉ＝１２０×Ａ^２／（Ｌｓａｔ×Ｔ）の算術式によって求められ、このＩＳＯ感度Ｉに対応付けて、露出感度ＳＶのＭｉｎ．Ｓが、Ｓ＝Ｌｏｇ_２（ＩＳＯ／３．１２５）の算術式によって求められる。なお、Ｌｓａｔが撮像素子５の出力が飽和時の際の露出量、ＡがＦナンバー、Ｔがシャッタースピードである。

つまり、画像処理装置１において、可変利得増幅器８で設定される利得が、ＩＳＯ感度に応じて設定される。そして、オペレータによって選択されたＩＳＯ感度やシャッタースピード、絞り等に基づいて、ＣＰＵ２４が露出調整部２６と協働して、可変利得増幅器８等の利得（ゲイン）を制御する。

ホワイトバランス調整部２０は、白い色が白く視られるように、デジタル画像信号Ｃを補正する。つまり、ホワイトバランス調整部２０は、無彩色の被写体を撮像した際に、Ｒ＝Ｇ＝Ｂになるように、ＲＧＢの信号レベルを補正する。

色再現部２１は、１画素ごとのＲＧＢ３色の成分を決定し、画像データを生成する。すなわち、上述したように、撮像素子５が、画素に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のＢａｙｅｒ配列からなるカラーフィルタを備え、各画素から出力する信号が各色のフィルタを通過した１色分の情報しかもたないので、色再現部２１において、各画素の信号を補間演算することによって、１画素ごとのＲＧＢ３色の成分を決定し、画像データを生成する。この際、予めカラーフィルタの分光特性を測定し、その測定結果と、補間する画素の周辺の画素信号に対応付けて、補間する画素毎に３色の色成分を生成する色補間テーブルが、ＲＯＭ２５に記憶されている。

また、色再現部２１は、被写体に照射されている光源に応じて、ホワイトバランスを行った画像データに対して、予めＲＯＭ２５に記憶されている係数を掛け算して補正し、最適な色合いを有する画像データを生成する。

画質補正部２２は、ＲＯＭ２５に記憶されたレンズ収差の補正値に基づいて、画質補正を行う。詳しくは、レンズ収差は、歪曲収差と色収差が結像面における像高と収差との関数として求められ、この収差特性値を各画素に対してもとめ、この収差を打ち消す補正値がＲＯＭ２５に記憶されている。

さらに、画質補正部２２は、各画素に含まれるノイズの低減や偽色の低減、画像の輪郭強調などの補正等を行う。

γ変換部２３は、画質補正部２２から出力されたデジタル画像信号を、画像データＤが表示される表示器の色表示特性に対応付けて、γ変換を行う。この際、γ変換係数が、予めＲＯＭ２５に記憶されている。

次に、デジタル信号補正部１３は、カメラモジュール１０及び暗電流減算器１２を介して入力された画像データＰ_０毎に、ルックアップテーブル（補正テーブル）１７に格納された補正値Ｐ_１を取得する補正値取得部１５、所定の利得に対応付けられて、デジタル画像信号Ｐ_０の補正値Ｐ_１を格納したルックアップテーブル１７、可変利得増幅器９で設定された利得が所定の利得と一致しない不一致利得である際に、ルックアップテーブル１７上の補正値Ｐ_１と不一致利得とに基づいて、デジタル画像信号Ｐ_０の補正値Ｐ_２を生成する補間処理部１６等によって構成されている。

そして、デジタル信号補正部１３は、図３に表したように、補正前のデジタル画像信号の光電変換特性（ａ）に対して、補正値（ｂ）を求めて補正し、所定の線形性を有する光電変換特性（ｃ）を得る。

図４に表したように、ルックアップテーブル１７には、補正前の画素値（デジタル画像信号Ｐ_０）を表すデータ列として、１２ビットからなる整数部のビット列と可変利得増幅器８の利得を表す小数部のビット列が備えられ、補正前のデジタル画像信号Ｐ_０に応じた補正値（Ｄａｔａ[０]〜Ｄａｔａ[４０９５]）が格納されている。また、データ列における小数ビット数を設定する小数ビット数設定部１８が、デジタル信号補正部１３に備えられ、小数ビット数設定部１８から、補正値取得部１５及び補間処理部１６に、小数部のビット数ＳＢを表す信号が入力される。

ルックアップテーブル１７は、各データが２進数で表され、可変利得増幅器８で設定される利得が所定値である際の補正値Ｐ_１が所定の利得に対応付けられて格納されている。

また、本実施例の画像処理装置１は、ＩＳＯ感度を１００、２００、４００、８００、１６００の夫々に切り換えでき、ルックアップテーブル１７では、ＩＳＯ感度１００を所定の利得とし、夫々のＩＳＯ感度を表す小数ビット数が格納され、小数ビット数が、ＩＳＯ感度が１００の際に０ビット、ＩＳＯ感度が２００の際に１ビット、ＩＳＯ感度４００の際に２ビット、ＩＳＯ感度が８００の際に３ビット、ＩＳＯ感度が１６００の際に４ビットで表される。また、本実施例では、ＩＳＯ感度１００から１６００まで切り換えるために、小数ビット数が４ビットで構成されている。

また、補正値Ｐ_１は、小数部のビット数に応じて、間引きされて格納される。つまり、ＩＳＯ感度が２００の際には、小数部のビット数が１となり、その際に補正値が２／１に間引きされて格納されている。

そして、デジタル信号補正部１３は、可変利得増幅器８の利得に応じて、光量に対してデジタル画像信号Ｐ_０の線形性が変化するので、不一致利得の際に、補間処理部１６を介して補正値Ｐ_２を生成する。つまり、図５（ａ）に表した所定の利得（ＩＳＯが１００）における光電変換特性が、２倍の利得（ＩＳＯが２００）に設定されると、図５（ｂ）に表したように変化する。そこで、補間処理部１６では、可変利得増幅器８で設定される利得（ゲイン）が不一致利得の際に、ルックアップテーブル１７に格納された補正値Ｐ_１と不一致利得に基づいて、補正値Ｐ_２を生成する。

また、前述したように撮像素子５からはＲＧＢ３色の画像信号が出力されるので、図４に表したルックアップテーブル１７が、ＲＧＢの各色毎に備えられている。

次に、図６及び図７、図８を用いて、デジタル画像信号Ｐ_０を補正して補正値Ｐ_２を生成する手順を説明する。この手順は、ＣＰＵ２４がＲＯＭ２５に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図６及び図７におけるＳはステップを表している。

まず、この手順は、オペレータによって画像処理装置１に起動信号が入力された際にスタートする。

次に、Ｓ１１０に移りＡＦＥ６を介してデジタル信号補正部１３に入力されたデジタル画像信号Ｐ_０の画素のアドレスを取得し、その後、Ｓ１２０に移る。アドレスはＢａｙｅｒ配列の各画素に対応付けられており、入力された画素の位置情報とともにＲＧＢいずれかの色情報を備えている。

次いで、Ｓ１２０に移り、ＲＧＢの各色に対応付けられたルックアップテーブル１７を取得し、その後、Ｓ１３０に移る。ルックアップテーブル１７は、ＲＧＢの各色毎に備えられている。

次いで、Ｓ１３０に移り、可変利得増幅器８で設定された利得（ゲイン）を取得してＳ１４０に移る。次いで、Ｓ１４０において、デジタル画像信号Ｐ_０（画素値）を取得し、その後、Ｓ１５０に移る。

次いで、Ｓ１５０において、Ｓ１３０で取得した（利得）とＳ１４０で取得したデジタル画像信号Ｐ_１（画素値）に基づいて、デジタル画像信号Ｐ_０の補正値Ｐ_２を生成する。

Ｓ１５０のデジタル画像信号Ｐ_０の補正は、図７の手順によって行われる。まず、Ｓ１５１において、ルックアップテーブル１７上の指標値（Ｉｎｄｅｘ）を、Ｉｎｄｅｘ＝ｒｏｕｎｄｄｏｗｎ（Ｐ＊１／Ｇａｉｎ）−１の演算式を用いて算出する。この演算式におけるＧａｉｎが、ルックアップテーブルの補正値に対応付けられた所定の利得（ゲイン）に対し、可変利得増幅器８で設定された利得の増倍数であって、Ｉｎｄｅｘは、入力画素値Ｐ_０に対して利得の増倍数分だけ縮倍して求められる。

次いで、Ｓ１５２に移り、Ｉｎｄｅｘ及びをルックアップテーブル１７の小数ビット数ＳＢを用いて、ルックアップテーブル１７における４つ補正値、Ｄ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４を取得する。この際、Ｄ０を、（Ｉｎｄｅｘ＋０）＊２^{（−ＳＢ）}、Ｄ１を、（Ｉｎｄｅｘ＋１）＊２^{（−ＳＢ）}、Ｄ２を、（Ｉｎｄｅｘ＋２）＊２^{（−ＳＢ）}、Ｄ３を、（Ｉｎｄｅｘ＋３）＊２^{（−ＳＢ）}、によって求める。（Ｉｎｄｅｘ＋１）が、ルックアップテーブル１７におけるＩｎｄｅｘの次に格納された補正値を表し、（Ｉｎｄｅｘ＋２）が、（Ｉｎｄｅｘ＋１）の次に格納された補正値を表し、（Ｉｎｄｅｘ＋３）が、（Ｉｎｄｅｘ＋２）の次に格納された補正値を表している。

次いで、Ｓ１５３において、入力されたデジタル画像信号Ｐ_０の補正値Ｐ_２算出のための補間係数ｆｘ０、ｆｘ１、ｆｘ２、ｆｘ３等を算出する。その際、まず、Ａ＝（Ｐ_０＊１／Ｇａｉｎ）の演算式を用いて係数ＡとＡを超えない最大の整数［Ａ］を求めて、Ａから［Ａ］を減算して差分ｄｘを算出する。

次いで、算出されたｄｘを用いて、ｆｘ０＝４−８＊（１＋ｄｘ）＋５＊（１＋ｄｘ）^２−（１＋ｄｘ）^３、ｆｘ１＝１−２＊（０＋ｄｘ）^２＋（０＋ｄｘ）^３、ｆｘ２＝１−２＊（１―ｄｘ）^２＋（１―ｄｘ）^３、ｆｘ３＝４−８＊（２―ｄｘ）＋５＊（２−ｄｘ）^２−（２―ｄｘ）^３、の演算式を用いて補間係数ｆｘ０〜ｆｘ３を求める。

次いで、Ｓ１５４に移り、デジタル画像信号Ｐ_０の補正値Ｐ_２を、Ｐ_２＝ｒｏｕｎｄ（（（ｆｘ０＊Ｄ０）＋（ｆｘ１＊Ｄ１）＋（ｆｘ２＊Ｄ２）＋（ｆｘ３＊Ｄ３））＊Ｇａｉｎ）の演算式を用いて算出する。

つまり、本実施例では、Ｓ１５１で不一致利得の際の画素値Ｐ_０を所定の利得におけるＩｎｄｅｘに縮倍して求め、次いで、Ｓ１５２、Ｓ１５３を介して、所定の利得テーブルにおける画素値の補正値を算出するための補間係数を算出し、次いで、Ｓ１５４で所定の利得における補正値を三次補間によって算出し、その後、不一致利得から所定の利得に縮倍した分だけ三次補間によって算出した補正値を増倍し、画素値Ｐ_２を求めている。

次いで、図６のフローチャートのＳ１６０に移り、次のデジタル画像信号Ｐ_０の入力があるか否かを判定し、次の入力が無い（Ｎｏ）の場合には、本処理を終了し、次の入力がある（Ｙｅｓ）の場合には、Ｓ１１０に移り、Ｓ１６０で次の入力が無い（Ｎｏ）となるまで、Ｓ１１０からＳ１６０を繰り返す。

以上のように、実施例に記載の画像処理装置１によれば、可変利得増幅器８の利得に応じて、デジタル画像信号Ｃを補正するデジタル信号補正部１３を備え、デジタル信号補正部１３を介して、光量の変化に対するデジタル画像信号が複数のＩＳＯ感度の夫々毎に所定の線形性を有するように精度良く補正でき、光量に応じてデジタル画像信号の階調を精度良く生成できる。

また、実施例に記載の画像処理装置１によれば、デジタル信号補正部１３が、所定の利得（ＩＳＯが１００）に対応付けられて、デジタル画像信号Ｐ_０の補正値Ｐ_１を格納したルックアップテーブル１７によって構成され、利得が所定の利得と一致しない不一致利得である際に、ルックアップテーブル１７の補正値Ｐ_１と不一致利得とに基づいて、デジタル画像信号画素値Ｐ_０の補正値Ｐ_２を生成する補間処理部１６を備えていることにより、可変利得増幅器８を介して設定されるＩＳＯ感度や利得を複数備えていても、補正値Ｐ_１を格納するための記憶容量が増大することなく、さらには、設定されるＩＳＯ感度や利得が無段階であっても、補正値Ｐ_１を格納するための記憶容量を増大させることなくデジタル画像信号画素値Ｐ_０を補正でき、延いては回路規模を縮小できて生産性を向上できる。

また、実施例に記載の画像処理装置１によれば、ルックアップテーブル１７には、補正前のデジタル画像信号Ｐ_０を表すデータ列として、整数部のビット列と利得を表す小数部のビット列が備えられ、補正値Ｐ_１が、小数部のビット数分だけ間引きされて配列されることにより、ルックアップテーブル１７におけるデータ記憶容量を小さくできる。つまり、データ列に利得を表すビット列を加えるとルックアップテーブル１７におけるデータ記憶容量が大きくなるので、利得を表すビット数の分だけ補正値Ｐ_１を間引きして格納することによりルックアップテーブル１７の記憶容量を小さくできる。

また、実施例に記載の画像処理装置１によれば、撮像素子５にＲＧＢの各色毎に通過させるカラーフィルタが備えられ、デジタル信号補正部１３が、カラーフィルタを介して通過した色毎に備えられていることにより、カラー色の生成において、各色毎の線形性を良好に得ることができる。

また、実施例に記載の画像処理装置１は、撮像素子５とデジタル信号補正部１３との間に、撮像素子５から出力される暗電流をオフセットする暗電流減算器１２が備えられ、デジタル信号補正部１３が、暗電流減算器１２を介して出力されて黒レベルの信号がゼロである際のデジタル画像信号Ｃに対して補正を行うように構成とされていることにより、暗電流の影響を受けることなく、光量に応じて精度良くデジタル画像信号Ｃを補正できる。

また、本発明の画像処理装置１は、可変利得増幅器８で設定される利得が複数または無段階であっても、補正値Ｐ_１を格納するための記憶容量を増大させることなく精度良く補正でき、生産性を向上できる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種各の態様を取ることができる。例えば、本発明は、本実施例のＳ１５１〜Ｓ１５４に表したように補正値Ｐ_２を三次補間によって算出したが、三次補間に限定されるものではない。また、本発明は、所定の利得がＩＳＯ感度に限定されるものでなく、可変利得増幅器８で設定される所定の利得であればよい。さらに、本発明は、撮像素子５から出力される画素信号が、ＲＧＢのＢａｙｅｒ配列の原色カラーフィルタを介して出力されるもの限定されるものでなく、補色カラーフィルタを介して出力されるものであってもよい。

同実施例の画像処理装置の構成を表すブロック図である。 同実施例における、画像処理装置の露出調整の説明図である。 同実施例における、デジタル画像信号の補正方法を表す光電変換特性図であって、（ａ）が補正前の光電変換特性図、（ｂ）が（ａ）の画素値の補正値を表す図、（ｃ）が補正後の光電変換特性図である。 同実施例における、ルックアップテーブルの構成を表す図である。 同実施例における、撮像素子から出力された電気信号を増幅した際に発現する光電変換特性を表す図であって、（ａ）が増幅前の光電変換特性を表す図、（ｂ）が（ａ）に対して２倍の利得で増幅した際の光電変換特性を表す図である。 ルックアップテーブル上の補正値と不一致利得とに基づいて、補正値を生成する手順を表すフローチャートである。 図６のフローチャートにおける画素値の補正の手順を表すフローチャートである。 図８は、補正値を取得する際の説明図である。

符号の説明

１…画像処理装置、３…レンズ、４…フィルタ、５…撮像素子、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…カメラモジュール、１１…画像処理装置本体、１２…暗電流減算器、１３…デジタル信号補正部、１４…画像処理部、１５…補正値取得部、１６…補間処理部、１７…補正テーブル（ルックアップテーブル）、１８…小数ビット数設定部、１９…露出調整部、２０…ホワイトバランス調整部、２１…色再現部、２２…画質補正部、２３…γ変換部、２４…ＣＰＵ、２５…ＲＯＭ、２６…タイミングジェネレータ。

Claims (8)

1. 複数の光電変換素子が配列されて、入射光を光電変換してアナログ画像信号を出力する撮像素子と、
   前記アナログ画像信号を増幅する可変利得増幅器と、
   前記可変利得増幅器から出力されるアナログ画像信号をＡ／Ｄ変換してデジタル画像信号を出力するＡ／Ｄ変換器と、
   前記可変利得増幅器の利得に応じて、前記デジタル画像信号を補正する光電変換特性補正手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記光電変換特性補正手段が、
   所定の前記利得に対応付けられて、前記デジタル画像信号の補正値を格納したルックアップテーブルによって構成され、
   前記利得が前記所定の利得と一致しない不一致利得である際に、前記ルックアップテーブル上の前記補正値と前記不一致利得とに基づいて、前記デジタル画像信号の補正値を生成する補間手段を備えている、
   ことを特徴とする画像処理装置。
3. 前記ルックアップテーブルには、
   補正前の前記デジタル画像信号を表すデータ列として、整数部のビット列と前記利得を表す小数部のビット列が格納され、
   前記補正値が、前記小数部のビット数分だけ間引きされて格納されている、
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記撮像素子に複数の色毎の各色を通過させるカラーフィルタが備えられ、前記光電変換特性補正手段が、前記カラーフィルタを介して通過した色毎に備えられている、
   ことを特徴とする請求項１乃至請求項３の何れか記載の画像処理装置。
5. 前記撮像素子と前記補正手段との間には、該撮像素子から出力される暗電流をオフセットする暗電流オフセット手段が備えられ、
   前記光電変換特性補正手段が、前記暗電流オフセット手段を介して出力されて黒レベルの信号がゼロである際のデジタル画像信号に対して補正を行うように構成されている、
   ことを特徴とする請求項１乃至請求項４の何れか記載の画像処理装置。
6. 複数の光電変換素子が配列されて、入射光を光電変換してアナログ画像信号を出力する撮像素子と、
   前記アナログ画像信号を増幅する可変利得増幅器と、
   前記可変利得増幅器から出力されるアナログ画像信号をＡ／Ｄ変換してデジタル画像信号を出力するＡ／Ｄ変換器と、
   前記可変利得増幅器の利得に応じて、前記デジタル画像信号を補正する光電変換特性補正手段と、
   を用いたデジタル画像処理方法であって、
   前記光電変換特性補正手段が、
   所定の前記利得に対応付けて、前記デジタル画像信号の補正値を格納したルックアップテーブルを用い、
   前記利得が前記所定の利得と一致しない不一致利得である際に、前記ルックアップテーブル上の前記補正値と前記不一致利得とに基づいて、前記デジタル画像信号の補正値を生成することを特徴とする画像処理方法。
7. 前記ルックアップテーブルには、
   補正前の前記デジタル画像信号を表すデータ列として、整数部のビット列と前記利得を表す小数部のビット列を格納し、
   前記補正値を前記小数部のビット数分だけ間引きして格納する、
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記撮像素子に複数の色毎の各色を通過させるカラーフィルタを用い、前記カラーフィルタを介して通過した色毎に、前記デジタル画像信号を補正する、
   ことを特徴とする請求項６または請求項７に記載の画像処理方法。

Images