JP2008160566A - 画像処理装置、画像処理方法、及び撮像システム - Google Patents

Abstract

【課題】画面を所定の大きさをもつ小領域に分割し、基準点間の補完処理により得られる線形補完データを用いて小領域毎に行う画像処理に係るデータ処理を簡略化する。
【解決手段】複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完して線形補完データを生成し、生成された線形補完データを用いて撮像素子から得られる画像データに係る画像処理を、複数の小領域に分割して小領域毎に行う画像処理装置にて、小領域の端点を線形補完の基準点とし、かつ小領域の画像データを演算処理して得られるデータ値を基準点のデータ値にするようにして、画像処理を行う小領域と補完処理領域とを等しくしてデータ処理を簡略化できるようにする。
【選択図】図１

Description

本発明は、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理技術に関する。

従来、静止画像や動画像を撮像・記録・再生する撮像装置として、固体メモリ素子を有するメモリカードを記録媒体とし、固体撮像素子で撮像した静止画像や動画像を記録・再生する電子カメラ等の撮像装置が知られている。このような撮像装置の固体撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が用いられている。

また、固体撮像素子を用いて撮像する場合、ダーク画像データと本撮影画像データを用いて演算処理することにより、ダークノイズ補正処理を行うことが可能である。ここで、ダーク画像データは、撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出した画像データであり、本撮影画像データは、撮像素子を露光した状態で電荷蓄積を行った後に読み出した画像データである。

ダークノイズ補正処理を行うことにより、撮像素子で発生する暗電流ノイズや撮像素子固有の微小なキズによる画素欠陥等の画質劣化に対し、撮影した画像データを補正して高品位な画像を得ることができる。特に、暗電流ノイズは電荷蓄積時間及び撮像素子の温度上昇に従って増大するので、長秒時や高温時の露光を行う場合、大きな画質改善効果を得ることができる。

一方、ダーク画像データを用いて演算処理を行う場合、画面全領域についてそのまま演算処理を行うためには大容量のメモリが必要となり、撮像装置のコストを上昇させてしまう。そこで、演算処理に用いるデータ量（メモリ量）を削減する目的で、画面を所定の大きさをもつ小領域に分割し、小領域毎の演算処理を行う手法も提案されている（例えば、特許文献１参照。）。

しかし、画面を所定の大きさをもつ小領域に分割し、各小領域毎に画像処理を行う手法では、同じ画像処理を小領域毎に独立して行うために領域の境界で画像データの段差が生じ、画質劣化しやすいという問題があった。画像データの段差は、画面上で線状に現れて視覚的に目立つため、特に問題となる。

また、補正データの連続性を得る目的で、図７に一例を示すように、画面を所定の大きさをもつ小領域に分割し、小領域の重心を基準点として各基準点間を補完処理する方法がある。ここで、図７（ａ）は、撮像素子の画面６０４を示しており、画面６０４は、水平オプティカルブラック（ＯＢ：Optical Black）領域６００、垂直ＯＢ領域６０１、及び有効領域６０３で構成されている。水平ＯＢ領域６００及び垂直ＯＢ領域６０１は、撮像素子において遮光された画素領域であり、有効領域６０３は、被写体像に係る光が入射される領域である。垂直ＯＢ領域６０１の所定座標を通る水平基準軸Ｈ１上には、分割された小領域である領域Ａ，領域Ｂ、領域Ｃ、及び領域Ｄに対応して基準点Ａ６０５、基準点Ｂ６０６、基準点Ｃ６０７、及び基準点Ｄ６０８がある。

しかしながら、画面を所定の小領域に分割し、小領域の重心を基準点として各基準点間を補完処理する場合には、図７（ｂ）に示されるように、画像処理を行う小領域と補完処理領域とが異なる。そのため、データ処理が複雑化してしまうという問題があった。なお、図７（ｂ）において、実線６０９は補正データを示し、点線６１０は撮像素子からの画素データを示している。
また、小領域の中央の位置を基準点とし、領域における平均値をその基準点のデータとして各画素位置に対応した補正データを作成するようにした撮像装置が提案されている（例えば、特許文献２参照。）。

特開平７−２５０２５９号公報 特開２００６−２２２６８９号公報

本発明は、画面を所定の大きさをもつ小領域に分割し、基準点間の補完処理により得られる線形補完データを用いて小領域毎に行う画像処理に係るデータ処理を簡略化することを目的とする。

本発明の画像処理装置は、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理装置であって、複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完手段と、前記データ補完手段により生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理手段とを備え、前記小領域の端点を前記データ補完手段により行われる線形補完の基準点とし、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にすることを特徴とする。
本発明の画像処理装置は、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理装置であって、複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完手段と、前記データ補完手段により生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理手段とを備え、前記データ補完手段により線形補完が行われる基準点間の領域と、前記小領域とを一致させるよう前記基準点を設定することを特徴とする。
本発明の画像処理方法は、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理方法であって、複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完工程と、前記データ補完工程にて生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理工程とを有し、前記小領域の端点を前記線形補完の基準点とし、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にすることを特徴とする。
本発明のプログラムは、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理をコンピュータに実行させるプログラムであって、前記小領域の端点に基準点を設定し、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にする基準点設定ステップと、隣接する基準点間の差データを生成し、当該差データを補完点数で割ることで微分データを生成し、当該微分データを基準点のデータ値に対して補完点毎に順次加算して、基準点間でのデータ補完を行い線形補完データを生成するデータ補完ステップと、前記データ補完ステップにて生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、プログラムを記録したことを特徴とする。
本発明の撮像システムは、前記画像処理装置と、複数の画素で構成される撮像素子と、前記撮像素子より出力された画像信号にデジタル化を含む前処理を施し、得られるデジタルデータを前記画像データとして前記画像処理装置に供給する前処理手段とを備えることを特徴とする。

本発明によれば、複数の画素で構成される撮像素子から得られる画像データを複数の小領域に分割して処理することで、画面全体の画像データを保持する必要がなく、画面内の複数の基準点データを保持するだけで良いので、メモリ量を削減することができる。
また、小領域の端点を線形補完の基準点とすることで、画像処理を行う小領域と補完処理領域とを等しくし、従来と比較してデータ処理を簡略化することができる。したがって、画像処理装置の低コスト化を図ることができる。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
図２は、本発明の第１の実施形態による画像処理装置の構成例を示すブロック図である。図２に示す画像処理装置１０は、複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割し、小領域の画像データを基に得た基準点のデータから演算された線形補完データを用いて小領域毎に画像処理を行う。

図２において、２００は、複数の画素で構成される撮像素子であり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。撮像素子２００から出力される画素信号は、Ａ／Ｄ変換回路（ＡＤＣ）２０１によってアナログ信号からデジタルデータに変換される。ＡＤＣ２０１によりデジタル化された画素データは、画像処理装置１０（詳細には、画素データ格納レジスタ２０２と基準データ生成回路２０３）に転送される。

画像処理装置１０は、画素データ格納レジスタ２０２、基準データ生成回路２０３、ＲＡＭ２０４、基準点データ格納レジスタＢ２０５、基準点データ格納レジスタＡ２０６、減算器２０７、シフタ２０８、及びオフセットデータ生成回路２０９を有する。また、画像処理装置１０は、微分データ格納レジスタ２１０、セレクタ２１１、加算器２１２、線形補完データ格納レジスタ２１３、及び減算器２１４、２１５を有する。

基準データ生成回路２０３は、入力された画素データを用いて所定の小領域に係る基準点データを生成し、ＲＡＭ（Random Access Memory）２０４に書き込む。本実施形態では、基準点データは、撮像素子２００における画素欠陥による黒キズや白キズ等の欠陥画素データを入力された画素データから取り除いた後に、その入力画素データを積分して算出した小領域の平均値とする。なお、基準点データは、小領域の平均値に限定されるものではなく、小領域の最大値、最小値、小領域にある任意座標の画素データ等、小領域の画素データに基づいて演算処理等して得られるデータであれば良い。

ＲＡＭ２０４から読み出された第１の基準点データは、基準点データ格納レジスタＡ２０６に格納され、次の読み出された第２の基準点データは、基準点データ格納レジスタＢ２０５に格納される。基準点データ格納レジスタＡ２０６及び基準点データ格納レジスタＢ２０５に格納された２つの隣接する基準点データは、減算器２０７によって差分（差データ）を算出される。

減算器２０７により算出された２つの隣接する基準点データの差分は、シフタ２０８により補完点数に対応するビット分だけ右シフトされ、微分データとして微分データ格納レジスタ２１０に格納される。例えば、補完点数が３２点であれば５ビットシフトし、２５６点であれば８ビットシフトすれば良い。なお、本実施形態では、微分データを算出する回路の簡略化を目的としてシフタ２０８を用いているが、代わりに除算器を用いても良い。シフタ２０８に代えて除算器を用いた場合には、補完点数が２のべき乗に限定されることなく、任意の補完点数に対して、基準点データの差分を補完点数で割ることで微分データを得ることができる。

セレクタ２１１は、基準点データ格納レジスタＡ２０６に格納された基準点データ及び線形補完データ格納レジスタ２１３に格納された線形補完データが供給され、基準点データ又は線形補完データを選択的に加算器２１２に出力する。セレクタ２１１からの出力データと微分データ格納レジスタ２１０に格納された微分データとが加算器２１２により加算され、線形補完データとして線形補完データ格納レジスタ２１３に格納される。

線形補完の開始点では、セレクタ２１１を介して供給される基準点データ格納レジスタＡ２０６に格納された基準点データと、微分データ格納レジスタ２１０に格納された微分データとが加算器２１２によって加算される。線形補完の開始点以外では、セレクタ２１１を介して供給される線形補完データ格納レジスタ２１３に格納された線形補完データと、微分データ格納レジスタ２１０に格納された微分データとが加算器２１２によって加算される。つまり、基準点データ格納レジスタＡ２０６に格納された基準点データに、微分データ格納レジスタ２１０に格納された微分データを補完点数に応じて順次加算することによりデータ補完が行われて線形補完データが生成される。

ここで、基準点データ格納レジスタＡ２０６、基準点データ格納レジスタＢ２０５、減算器２０７、シフタ２０８、微分データ格納レジスタ２１０、セレクタ２１１、加算器２１２、及び線形補完データ格納レジスタ２１３により、データ補完手段が構成される。

線形補完データ格納レジスタ２１３に格納された線形補完データと、画素データ格納レジスタ２０２に格納された画素データは、画像処理手段である減算器２１４に入力される。減算器２１４では、線形補完データと画素データとが分割された小領域毎に演算処理される。例えば、垂直ＯＢ画素領域の画素データを用いＲＡＭ２０４に格納する基準点データを生成した場合には、減算器２１４によって垂直ＯＢクランプ補正をすることができる。

また、減算器２０７により算出された２つの隣接する基準点データの差分は、オフセットデータ生成回路２０９に入力される。オフセットデータ生成回路２０９は、基準点を基準データ算出領域（小領域）の端点に置いたことによる線形補完データのオフセット量を算出する。オフセットデータ生成回路２０９により得られたオフセット量を減算器２１５により減算器２１４の出力から減算することでオフセット補正が行われる。

図１は、第１の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。

図１（ａ）は、撮像素子の画面１０４を示しており、画面１０４は、水平ＯＢ画素領域１００、垂直ＯＢ画素領域１０１、及び有効画素領域１０３で構成されている。水平ＯＢ画素領域１００及び垂直ＯＢ画素領域１０１は、撮像素子において遮光された画素領域（遮光領域）であり、有効画素領域１０３は、被写体像に係る光が入射される領域である。

垂直ＯＢ領域１０１の所定座標を通る水平基準軸Ｈ１上には、基準点Ａ１０５、基準点Ｂ１０６、基準点Ｃ１０７、及び基準点Ｄ１０８がある。基準点Ａ１０５〜Ｄ１０８は、分割された小領域である領域Ａ，領域Ｂ、領域Ｃ、及び領域Ｄの端点に設定されている。

図１（ｂ）には、図１（ａ）に示した水平基準軸Ｈ１の画素信号レベルを点線１１０により示している。通常、この水平基準軸Ｈ１の画素信号レベルを、有効画素領域１０３の任意座標を通る水平軸上の画素信号レベルから減算処理することで水平方向のダーク補正処理を行うことができる。

本実施形態における画像処理装置内のメモリには、メモリ量を削減するために水平基準軸Ｈ１上の画素データすべてではなく、領域Ａ〜領域Ｄの各領域の画素データから演算処理して得られたデータ値を基準点のデータ値として格納しておく。本実施形態では、基準点のデータ値として格納されるデータ値は小領域（領域Ａ〜領域Ｄの各領域）の平均値としている。しかし、これに限定されるものではなく、小領域の最大値、最小値、小領域にある任意座標の画素データ等の、小領域の画素データから演算処理して得られるデータであればよい（以下の実施形態についても同様）。

図１（ｂ）には、領域Ａ〜領域Ｄの各領域の平均値データを基準点Ａ１０５〜基準点Ｄ１０８のデータ値としてプロットしている。それぞれの基準点は対応する領域の左端に位置している。この基準点間を線形に結んでデータ補完した、すなわち基準点を線形近似したものが破線１１１である。

点線１１０で示した画素データ（又は、領域を垂直射影したデータでも構わない）と、破線１１１で示した線形補完データは、隣接する基準点間の差データに対応したオフセット値を有する。このオフセット値は隣接する基準点間の差データによって異なるため、すべての基準点間で一致させることはできないが、隣接する基準点間の差データが、領域の幅に対して小さい場合には概略一致させることができる。基準点間を線形補完し、オフセット補正を加えた補正データ、すなわち破線１１１で示した線形補完データにオフセット補正を施して得られた補正データを実線１０９で示している。

第１の実施形態では、各領域の左端に基準点を置いているので、基準点Ｄ１０８のデータ生成領域では、補正データを得ることができない。そのため、第１の実施形態では、基準点Ｃ１０７−Ｄ１０８間の補正データを領域Ｄまで延長した外挿データ１１２を生成し、補正データに加えている。この外挿データ１１２は、領域Ｄが撮像画像として不要な程度に小さければ必要はない。

以上、第１の実施形態によれば、基準点Ａ１０５〜Ｄ１０８の座標を、対応する基準点のデータ生成領域である各領域Ａ〜Ｄの左端とすることで、画像処理を行う小領域と補完処理を行う領域とが等しくなる。したがって、基準点の座標を算出するプロセスが不要となり、データ処理を簡略化することができる。また、オフセット補正を加えることによって、実際の画素データと算出した補正データの誤差を少なくすることができ、画像補正の精度を向上することが可能となる。
また、複数の小領域に分割して画像データを処理することで、撮像素子における画面全体の画像データを保持する必要がなく、複数の基準点データを保持するだけで良いので、メモリ量を削減することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
以下に説明する第２の実施形態は、第１の実施形態において各領域の左端に基準点を置いていたものを、各領域の右端に基準点を置いたものである。第２の実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置と同様であるので、その説明は省略する。

図３は、第２の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。

図３（ａ）は、撮像素子の画面３０４を示しており、画面３０４は、水平ＯＢ画素領域３００、垂直ＯＢ画素領域３０１、及び有効画素領域３０３で構成されている。垂直ＯＢ領域３０１の所定座標を通る水平基準軸Ｈ１上には、基準点Ａ３０５、基準点Ｂ３０６、基準点Ｃ３０７、及び基準点Ｄ３０８がある。基準点Ａ３０５〜Ｄ３０８は、分割された小領域である領域Ａ，領域Ｂ、領域Ｃ、及び領域Ｄの右端に設定されている。

図３（ｂ）には、図３（ａ）に示した水平基準軸Ｈ１の画素信号レベルを点線３１０により示している。通常、この水平基準軸Ｈ１の画素信号レベルを、有効画素領域３０３の任意座標を通る水平軸上の画素信号レベルから減算処理することで水平方向のダーク補正処理を行うことができる。

本実施形態における画像処理装置内のメモリには、メモリ量を削減するために水平基準軸Ｈ１上の画素データすべてではなく、領域Ａ〜領域Ｄの各領域の画素データから演算処理して得られたデータ値を基準点のデータ値として格納しておく。

図３（ｂ）には、領域Ａ〜領域Ｄの各領域の平均値データを基準点Ａ３０５〜基準点Ｄ３０８のデータ値としてプロットしている。それぞれの基準点は対応する領域の右端に位置している。この基準点間を線形に結んでデータ補完した、すなわち基準点を線形近似したものが破線３１１である。

点線３１０で示した画素データ（又は、領域を垂直射影したデータでも構わない）と、破線３１１で示した線形補完データは、隣接する基準点間の差データに対応したオフセット値を有する。このオフセット値は隣接する基準点間の差データによって異なるため、すべての基準点間で一致させることはできないが、隣接する基準点間の差データが、領域の幅に対して小さい場合には概略一致させることができる。基準点間を線形補完し、オフセット補正を加えた補正データを実線３０９で示している。

第２の実施形態では、各領域の右端に基準点を置いているので、基準点Ａ３０５のデータ生成領域では、補正データを得ることができない。そのため、第２の実施形態では、基準点Ａ３０５−Ｂ３０６間の補正データを領域Ａまで延長した外挿データ３１２を生成し、補正データに加えている。この外挿データ３１２は、領域Ａが撮像画像として不要な程度に小さければ必要はない。

以上、第２の実施形態によれば、第１の実施形態と同様に、基準点の座標を算出するプロセスが不要となり、データ処理を簡略化することができるとともに、オフセット補正を加えることにより画像補正の精度を向上することができる。また、複数の小領域に分割して画像データを処理することで、メモリ量を削減することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
以下に説明する第３の実施形態は、第１の実施形態における領域Ａ〜Ｄの幅を隣接する基準点の差データに依存して変化させたものであり、本実施形態では、領域の幅を決定する際に、隣接する基準点の差データが概等しくなるように設定している。第３の実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置と同様であるので、その説明は省略する。

図４は、第３の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。

図４（ａ）は、撮像素子の画面４０４を示しており、画面４０４は、水平ＯＢ画素領域４００、垂直ＯＢ画素領域４０１、及び有効画素領域４０３で構成されている。垂直ＯＢ領域４０１の所定座標を通る水平基準軸Ｈ１上には、基準点Ａ４０５、基準点Ｂ４０６、基準点Ｃ４０７、及び基準点Ｄ４０８がある。基準点Ａ４０５〜Ｄ４０８は、分割された小領域である領域Ａ，領域Ｂ、領域Ｃ、及び領域Ｄの左端に設定されている。なお、本実施形態では、隣接する基準点間の差データが概等しくなるように領域Ａ〜領域Ｄは分割されている。

図４（ｂ）には、図４（ａ）に示した水平基準軸Ｈ１の画素信号レベルを点線４１０により示している。通常、この水平基準軸Ｈ１の画素信号レベルを、有効画素領域４０３の任意座標を通る水平軸上の画素信号レベルから減算処理することで水平方向のダーク補正処理を行うことができる。本実施形態における画像処理装置内のメモリには、メモリ量を削減するために水平基準軸Ｈ１上の画素データすべてではなく、領域Ａ〜領域Ｄの各領域の画素データから演算処理して得られたデータ値を基準点のデータ値として格納しておく。

図４（ｂ）には、領域Ａ〜領域Ｄの各領域の平均値データを基準点Ａ４０５〜基準点Ｄ４０８のデータ値としてプロットしている。それぞれの基準点は対応する領域の左端に位置している。この基準点間を線形に結んでデータ補完した、すなわち基準点を線形近似したものが破線４１１である。

点線４１０で示した画素データ（又は、領域を垂直射影したデータでも構わない）と、破線４１１で示した線形補完データは、隣接する基準点間の差データに対応したオフセット値を有する。本実施形態では、隣接する基準点間の差データが概等しくなるように各領域を分割しているので、画素データが単調減少又は単調増加している領域では、すべての基準点で同じオフセット値をとることができる。基準点間を線形補完し、オフセット補正を加えた補正データを実線４０９で示している。

第３の実施形態では、各領域の左端に基準点を置いているので、基準点Ｄ４０８のデータ生成領域では、補正データを得ることができない。領域Ｄの補正データを得るために、領域Ｃで生成した補正データを延長し、外挿データを加えても良い。

以上、第３の実施形態によれば、基準点の座標を算出するプロセスが不要となり、データ処理を簡略化することができるとともに、オフセット補正を加えることにより画像補正の精度を向上することができる。また、複数の小領域に分割して画像データを処理することで、メモリ量を削減することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
以下に説明する第４の実施形態は、第１の実施形態における領域Ａ〜Ｄの幅を隣接する基準点の差データに依存して変化させるとともに、各領域の右端に基準点を置いたものである。本実施形態では、領域の幅を決定する際に、隣接する基準点の差データが概等しくなるように設定している。第４の実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置と同様であるので、その説明は省略する。

図５は、第４の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。

図５（ａ）は、撮像素子の画面５０４を示しており、画面５０４は、水平ＯＢ画素領域５００、垂直ＯＢ画素領域５０１、及び有効画素領域５０３で構成されている。垂直ＯＢ領域５０１の所定座標を通る水平基準軸Ｈ１上には、基準点Ａ５０５、基準点Ｂ５０６、基準点Ｃ５０７、及び基準点Ｄ５０８がある。基準点Ａ５０５〜Ｄ５０８は、分割された小領域である領域Ａ，領域Ｂ、領域Ｃ、及び領域Ｄの右端に設定されている。なお、本実施形態では、隣接する基準点間の差データが概等しくなるように領域Ａ〜領域Ｄは分割されている。

図５（ｂ）には、図５（ａ）に示した水平基準軸Ｈ１の画素信号レベルを点線５１０により示している。通常、この水平基準軸Ｈ１の画素信号レベルを、有効画素領域５０３の任意座標を通る水平軸上の画素信号レベルから減算処理することで水平方向のダーク補正処理を行うことができる。本実施形態における画像処理装置内のメモリには、メモリ量を削減するために水平基準軸Ｈ１上の画素データすべてではなく、領域Ａ〜領域Ｄの各領域の画素データから演算処理して得られたデータ値を基準点のデータ値として格納しておく。

図５（ｂ）には、領域Ａ〜領域Ｄの各領域の平均値データを基準点Ａ５０５〜基準点Ｄ５０８のデータ値としてプロットしている。それぞれの基準点は対応する領域の右端に位置している。この基準点間を線形に結んでデータ補完した、すなわち基準点を線形近似したものが破線５１１である。

点線５１０で示した画素データ（又は、領域を垂直射影したデータでも構わない）と、破線５１１で示した線形補完データは、隣接する基準点間の差データに対応したオフセット値を有する。本実施形態では、隣接する基準点間の差データが概等しくなるように各領域を分割しているので、画素データが単調減少又は単調増加している領域では、すべての基準点で同じオフセット値をとることができる。基準点間を線形補完し、オフセット補正を加えた補正データを実線５０９で示している。

第４の実施形態では、各領域の右端に基準点を置いているので、基準点Ａ５０５のデータ生成領域では、補正データを得ることができない。領域Ａの補正データを得るために、領域Ｂで生成した補正データを延長し、外挿データを加えても良い。

以上、第４の実施形態によれば、基準点の座標を算出するプロセスが不要となり、データ処理を簡略化することができるとともに、オフセット補正を加えることにより画像補正の精度を向上することができる。また、複数の小領域に分割して画像データを処理することで、メモリ量を削減することができる。

次に、上述した画像処理装置１０を適用した撮像システムについて説明する。
図８は、上述した実施形態における画像処理装置１０を適用した撮像システムの構成例を示すブロック図である。

図８において、１０は画像処理装置、２０は複数の画素で構成される撮像素子、３０は撮像素子から出力される画像信号にデジタル化を含む前処理を施すアナログフロントエンド（ＡＦＥ）である。ＡＦＥ３０は、相関二重サンプリング（ＣＤＳ）回路３１、プログラマブル・ゲインアンプ（ＰＧＡ）３２、及びＡＤ変換回路（Ａ／Ｄコンバータ：ＡＤＣ）３３を有し、撮像素子２０からの画像信号に最適な画像信号が得られるような信号処理を施す。

４０はタイミング発生器（ＴＧ）であり、撮像素子２０を駆動するための制御信号（駆動信号）を発生して撮像素子２０に出力する。また、ＴＧ４０は、ＡＦＥ３０や画像処理装置１０の動作制御を行うための制御信号（駆動信号）を発生し出力する。ＴＧ４０は、それらの制御信号（駆動信号）を発振器４１からの発振信号を基に発生する。
５０はＣＰＵ、６０はメモリである。画像処理装置１０、ＣＰＵ５０、及びメモリ６０は、システムバス７０を介して通信可能になっている。

ＴＧ４０からの制御信号（駆動信号）に基づいて駆動された撮像素子２０より出力されたアナログ画像信号は、ＡＦＥ３０によってデジタル化を含む前処理が施される。具体的には、撮像素子２０からのアナログ画像信号は、ＣＤＳ回路３１によるノイズ除去、ＰＧＡ３２によるゲイン調整、及びＡＤＣ３３によるアナログ−デジタル変換（デジタル化）が行われる。

ＡＦＥ３０にてアナログ画像信号に処理を施すことで得られた画像データは、画像処理装置１０に入力される。画像処理装置１０は、ＣＰＵ５０からの指令に基づき、入力された画像データに対して、シェーディング補正やキズ補正などの演算処理や画像データの圧縮・伸張処理などの画像処理を行う。画像処理装置１０での画像処理は、上述したように、入力される画像データを適宜複数の小領域に分割して実行される。画像処理装置１０にて画像処理の施された画像データは、システムバス７０を介してメモリ６０に供給され格納される。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、上記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

例えば、第１〜第４の実施形態に示した画像処理装置は、図６に示すようなコンピュータ機能７００を有し、そのＣＰＵ７０１により本実施形態での動作が実施される。
コンピュータ機能７００は、図６に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３とを備える。また、操作部（ＣＯＮＳ）７０９のコントローラ（ＣＯＮＳＣ）７０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）７１０のディスプレイコントローラ（ＤＩＳＰＣ）７０６とを備える。さらに、ハードディスク（ＨＤ）７１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）７１２のコントローラ（ＤＣＯＮＴ）７０７と、ネットワークインタフェースカード（ＮＩＣ）７０８とを備える。それら機能部７０１、７０２、７０３、７０５、７０６、７０７、７０８は、システムバス７０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ７０１は、ＲＯＭ７０２又はＨＤ７１１に記憶されたソフトウェア、又はＳＴＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ７０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ７０２、ＨＤ７１１、又はＳＴＤ７１２から読み出して実行することで、第１〜第４の実施形態での動作を実現するための制御を行う。ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ７０５は、ＣＯＮＳ７０９からの指示入力を制御する。ＤＩＳＰＣ７０５は、ＤＩＳＰ７１０の表示を制御する。ＤＣＯＮＴ７０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び本実施形態における処理プログラム等を記憶するＨＤ７１１及びＳＴＤ７１２とのアクセスを制御する。ＮＩＣ７０８はネットワーク７１３上の他の装置と双方向にデータをやりとりする。

なお、上述した実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。 本発明の実施形態による画像処理装置の構成例を示すブロック図である。 第２の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。 第３の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。 第４の実施形態における基準点データと基準点データを演算処理する領域について説明するための図である。 本実施例における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。 従来の画像処理領域と補完処理領域とを示す図である。 本発明の実施形態における画像処理装置を適用した撮像システムの構成例を示す図である。

符号の説明

１０ 画像処理装置
２０ 撮像素子
３０ アナログフロントエンド（ＡＦＥ）
４０ タイミング発生器（ＴＧ）
２００ 撮像素子
２０２ 画素データ格納レジスタ
２０３ 基準点データ生成回路
２０４ ＲＡＭ
２０５、２０６ 基準点データ格納レジスタ
２０７ 減算器
２０８ シフタ
２０９ オフセットデータ生成回路
２１０ 微分データ格納レジスタ
２１１ セレクタ
２１２ 加算器
２１３ 線形補完データ格納レジスタ
２１４ 減算器
２１５ 減算器

Claims (17)

1. 複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理装置であって、
   複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完手段と、
   前記データ補完手段により生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理手段とを備え、
   前記小領域の端点を前記データ補完手段により行われる線形補完の基準点とし、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にすることを特徴とする画像処理装置。
2. 前記線形補完データのオフセット補正を施すオフセット補正手段を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記基準点データは、複数の画素で構成される撮像素子から得られる画像データを複数の小領域に分割した領域の平均値であることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記小領域の幅を隣接する前記基準点のデータ値の差が等しくなるように設定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理装置であって、
   複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完手段と、
   前記データ補完手段により生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理手段とを備え、
   前記データ補完手段により線形補完が行われる基準点間の領域と、前記小領域とを一致させるよう前記基準点を設定することを特徴とする画像処理装置。
6. 前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にすることを特徴とする請求項５記載の画像処理装置。
7. 前記撮像素子から得られる前記小領域の画像データを演算処理するデータ生成手段と、
   前記データ生成手段により得られたデータ値を前記基準点のデータ値として格納するデータ格納手段とを備えることを特徴とする請求項６記載の画像処理装置。
8. 複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理方法であって、
   複数の基準点間を基準点のデータに基づいた線形補完によりデータ補完し線形補完データを生成するデータ補完工程と、
   前記データ補完工程にて生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理工程とを有し、
   前記小領域の端点を前記線形補完の基準点とし、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にすることを特徴とする画像処理方法。
9. 前記線形補完データのオフセット補正を施すオフセット補正工程を有することを特徴とする請求項８記載の画像処理方法。
10. 前記基準点データは、複数の画素で構成される撮像素子から得られる画像データを複数の小領域に分割した領域の平均値であることを特徴とする請求項８又は９記載の画像処理方法。
11. 前記小領域の幅を隣接する前記基準点のデータ値の差が等しくなるように設定することを特徴とする請求項８〜１０の何れか１項に記載の画像処理方法。
12. 複数の画素で構成される撮像素子から得られる画像データを、複数の小領域に分割して処理する画像処理をコンピュータに実行させるプログラムであって、
    前記小領域の端点に基準点を設定し、かつ前記小領域の画像データを演算処理して得られるデータ値を前記基準点のデータ値にする基準点設定ステップと、
    隣接する基準点間の差データを生成し、当該差データを補完点数で割ることで微分データを生成し、当該微分データを基準点のデータ値に対して補完点毎に順次加算して、基準点間でのデータ補完を行い線形補完データを生成するデータ補完ステップと、
    前記データ補完ステップにて生成された線形補完データを用いて、前記画像データに係る画像処理を前記小領域毎に行う画像処理ステップとをコンピュータに実行させるプログラム。
13. 前記線形補完データのオフセット補正を施すオフセット補正ステップを有することを特徴とする請求項１２記載のプログラム。
14. 前記基準点データは、複数の画素で構成される撮像素子から得られる画像データを複数の小領域に分割した領域の平均値であることを特徴とする請求項１２又は１３記載のプログラム。
15. 前記基準点データは、複数の画素で構成される撮像素子の遮光領域から得られる画像データを複数の小領域に分割した領域の平均値であることを特徴とする請求項１２又は１３記載のプログラム。
16. 請求項１２記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
17. 請求項１〜７の何れか１項に記載の画像処理装置と、
    複数の画素で構成される撮像素子と、
    前記撮像素子より出力された画像信号にデジタル化を含む前処理を施し、得られるデジタルデータを前記画像データとして前記画像処理装置に供給する前処理手段とを備えることを特徴とする撮像システム。

Images