JP2008092282A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2008092282A JP2008092282A JP2006270947A JP2006270947A JP2008092282A JP 2008092282 A JP2008092282 A JP 2008092282A JP 2006270947 A JP2006270947 A JP 2006270947A JP 2006270947 A JP2006270947 A JP 2006270947A JP 2008092282 A JP2008092282 A JP 2008092282A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- image
- control means
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 連写速度を高速に保ちつつ補正後の画像データを高画質にする。
【解決手段】 複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子11と、撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段14,15と、第1制御手段による連写撮影の開始後、画像データの読み出しが行われない複数の期間の各々で、撮像素子を制御してカラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段14,16と、第1制御手段が読み出した各々の前記画像データを、第2制御手段が読み出した各々のラインデータ群のうち任意の2つ以上を用いて補正する補正手段15とを備える。
【選択図】 図1
【解決手段】 複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子11と、撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段14,15と、第1制御手段による連写撮影の開始後、画像データの読み出しが行われない複数の期間の各々で、撮像素子を制御してカラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段14,16と、第1制御手段が読み出した各々の前記画像データを、第2制御手段が読み出した各々のラインデータ群のうち任意の2つ以上を用いて補正する補正手段15とを備える。
【選択図】 図1
Description
本発明は、デジタルカメラなどの撮像装置に関する。
撮像装置は、CCDやCMOSセンサなどの撮像素子を用いて被写体の撮影を行う装置である。撮像素子の出力に含まれる固定パターンノイズを除去するため、撮像素子を露光しない状態でダーク画像データを読み出し、撮像素子を露光した状態で読み出した本撮影画像データに対して補正処理を行うことが周知である(例えば特許文献1を参照)。また、被写体の連写撮影時には、ダーク画像データの読み出しと本撮影画像データの読み出しとを交互に繰り返し、各々の本撮影画像データの直前のダーク画像データを用いて補正処理を行うことが一般的である。
特開2005−130027号公報
上記の補正処理をCMOSセンサのカラムアンプのオフセット性の固定パターンノイズの除去に適用する場合、上記のダーク画像データとして複数のラインデータを読み出し、ライン間の平均化を行ってランダムノイズ成分の少ない補正データを作成した後、本撮影画像データから補正データを減算することが考えられる。
しかし、被写体の連写撮影時、複数のラインデータの読み出し数を増やすと、ランダムノイズ成分の非常に少ない補正データが得られ、補正後の画像データを高画質にできるが、連写速度は低速になる。また、ラインデータの読み出し数を減らすと、連写速度を高速にできるが、補正データのランダムノイズ成分を十分に小さくすることができず、補正後の画像データは低画質になる。
しかし、被写体の連写撮影時、複数のラインデータの読み出し数を増やすと、ランダムノイズ成分の非常に少ない補正データが得られ、補正後の画像データを高画質にできるが、連写速度は低速になる。また、ラインデータの読み出し数を減らすと、連写速度を高速にできるが、補正データのランダムノイズ成分を十分に小さくすることができず、補正後の画像データは低画質になる。
本発明の目的は、連写速度を高速に保ちつつ補正後の画像データを高画質にすることもできる撮像装置を提供することにある。
本発明の撮像装置は、複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、前記第1制御手段が読み出した各々の前記画像データを、前記第2制御手段が読み出した各々の前記ラインデータ群のうち任意の2つ以上を用いて補正する補正手段とを備えたものである。
本発明の他の撮像装置は、複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、前記第1制御手段が読み出した2番目以降の各々の前記画像データを、該画像データの読み出し前の前記期間に前記第2制御手段が読み出した各々の前記ラインデータ群のうち任意の2つ以上を用いて補正する補正手段とを備えたものである。
また、上記の撮像装置において、前記補正手段は、前記2番目以降の各々の前記画像データを補正する際、該画像データの読み出し直前の前記期間に前記第2制御手段が読み出した前記ラインデータ群を少なくとも用いることが好ましい。
また、上記の撮像装置において、前記補正手段は、前記2番目以降の各々の前記画像データを補正する際、該画像データより1つ前の前記画像データの読み出し直前の前記期間に前記第2制御手段が読み出した前記ラインデータ群をさらに用いることが好ましい。
また、上記の撮像装置において、前記補正手段は、前記2番目以降の各々の前記画像データを補正する際、該画像データより1つ前の前記画像データの読み出し直前の前記期間に前記第2制御手段が読み出した前記ラインデータ群をさらに用いることが好ましい。
本発明の他の撮像装置は、複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、前記第1制御手段が読み出した各々の前記画像データを、該画像データの読み出し前の全ての前記期間に前記第2制御手段が読み出した各々の前記ラインデータ群を用いて補正する補正手段とを備えたものである。
本発明によれば、連写速度を高速に保ちつつ補正後の画像データを高画質にすることができる。
以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の撮像装置10には、図1に示す通り、撮像素子11と、アナログゲイン部12と、A/D変換部13と、制御部14と、画像処理部15と、データ演算部16とが設けられる。この撮像装置10は、撮像素子11を用いて被写体の撮影を行う装置であり(連写撮影も可能)、一眼レフタイプまたはコンパクトタイプのデジタルカメラなどである。
本実施形態の撮像装置10には、図1に示す通り、撮像素子11と、アナログゲイン部12と、A/D変換部13と、制御部14と、画像処理部15と、データ演算部16とが設けられる。この撮像装置10は、撮像素子11を用いて被写体の撮影を行う装置であり(連写撮影も可能)、一眼レフタイプまたはコンパクトタイプのデジタルカメラなどである。
撮像素子11は、CMOSセンサである。図2に示す通り、撮像素子11の撮像面には多数の画素21が2次元的に配置され、複数の垂直画素列22の各出力部にカラムアンプ23が配置される。撮像素子11の各画素21の電荷は、垂直画素列22ごとに、カラムアンプ23を介して外部に読み出される。撮像素子11の出力は、アナログゲイン部12やA/D変換部13などを介した後、デジタルデータとして画像処理部15に導かれる。なおアナログゲイン部12、A/D変換部13、制御部14、画像処理部15、データ演算部16は撮像素子11に内蔵してもよい。
制御部14は、レリーズ操作に応じたトリガの入力を検知すると、撮像素子11を制御して被写体の撮影を行い、撮像素子11から画像データを出力させる。また、制御部14は、撮像素子11から出力させた画像データを、アナログゲイン部12やA/D変換部13により処理させた後に画像処理部15に入力させる。レリーズ操作が短時間で終了した場合、制御部14は、1つの画像データのみを画像処理部15が取り込むように設定する(静止画撮影)。
ただし、撮像素子11の出力(上記の画像データ)には、カラムアンプ23(図2)のオフセット性の固定パターンノイズ(以下「オフセット性のカラムFPN」)が含まれ、これに起因して縦筋状のノイズが現れる。図3(a)にオフセット性のカラムFPNを含む画像データの一例を示す。図3(b)はオフセット性のカラムFPNに関わるラインデータの一例であり、横軸は水平方向の位置、縦軸はレベルを表す。このカラムFPNのピークレベル差は、カラムアンプ23のオフセット量の不均一を反映している。
このようなオフセット性のカラムFPN(図3)を除去するため、制御部14は、上記の画像データを読み出す前(レリーズ操作後)に、撮像素子11を制御してオフセット性のカラムFPNに関わるラインデータ群を読み出す(図4)。
そのタイミングは、撮影のための露光の前後(図4(1),(3))において撮像素子11を遮光したときでもよいが、露光中(図4(2))であっても構わない。つまり、画像データの読み出しが行われない期間であれば、カラムFPNに関わるラインデータ群を読み出すことができる。
そのタイミングは、撮影のための露光の前後(図4(1),(3))において撮像素子11を遮光したときでもよいが、露光中(図4(2))であっても構わない。つまり、画像データの読み出しが行われない期間であれば、カラムFPNに関わるラインデータ群を読み出すことができる。
露光中に(遮光せずに)読み出す場合は、各画素21とカラムアンプ23とを電気的に切り離した状態で、カラムアンプ23を含む後段の回路側のみオンにすればよい。また、有効画素領域の各画素21とは別に設けた黒画素を利用してカラムFPNに関わるラインデータ群を読み出してもよい。
ラインデータ群とは、複数(例えば500本)のラインデータからなる。各々のラインデータのプロファイルは図3(b)と同様であり、水平方向の同じ位置には略同一レベルのピークが現れる。そして、制御部14は、このラインデータ群を画像処理部15からデータ演算部16に出力させる。
ラインデータ群とは、複数(例えば500本)のラインデータからなる。各々のラインデータのプロファイルは図3(b)と同様であり、水平方向の同じ位置には略同一レベルのピークが現れる。そして、制御部14は、このラインデータ群を画像処理部15からデータ演算部16に出力させる。
ラインデータ群の各ラインデータ(図3(b))にはランダムノイズ成分が含まれ、そのレベルは各ラインデータごとに異なるため、データ演算部16は、ラインデータ群の各ラインデータの加算平均(ライン間の平均化)を行って、ランダムノイズ成分の非常に少ない1つのラインデータ(図5(a))を作成する。このラインデータはオフセット性のカラムFPNが支配的なため、以下の説明では「FPNデータ」という。そして、このFPNデータは、画像処理部15に出力される。
FPNデータの出力は、撮像素子11に対する露光が終わって画像データの読み出しが開始される前までに行われることが好ましい。この場合、A/D変換部13から画像処理部15に対して画像データの1つ目のラインデータが出力されたときには、既に上記のFPNデータが画像処理部15のメモリに格納されている。
このため、画像処理部15は、上記のFPNデータ(図5(a))を補正データとして用い、A/D変換部13から画像データの各ラインデータ(図5(b))を取り込むごとに、ラインデータに対する補正処理を行う。つまり、各ラインデータからFPNデータを減算する。その結果、画像データの各ラインデータに重畳していたオフセット性のカラムFPNが除去され(図5(c))、被写体像に応じたシグナル成分からなる画像データを得ることができる。
このため、画像処理部15は、上記のFPNデータ(図5(a))を補正データとして用い、A/D変換部13から画像データの各ラインデータ(図5(b))を取り込むごとに、ラインデータに対する補正処理を行う。つまり、各ラインデータからFPNデータを減算する。その結果、画像データの各ラインデータに重畳していたオフセット性のカラムFPNが除去され(図5(c))、被写体像に応じたシグナル成分からなる画像データを得ることができる。
次に、被写体の連写撮影について説明する。
制御部14は、レリーズ操作が短時間で終了せずに継続しているとき、撮像素子11を制御して被写体の連写撮影を行う。そして、一連の複数の画像データを順次に読み出し、画像処理部15に出力させる(図6)。各々の画像データは、静止画撮影の際と同様の画像データであり、オフセット性のカラムFPN(図3(a))を含んでいる。
制御部14は、レリーズ操作が短時間で終了せずに継続しているとき、撮像素子11を制御して被写体の連写撮影を行う。そして、一連の複数の画像データを順次に読み出し、画像処理部15に出力させる(図6)。各々の画像データは、静止画撮影の際と同様の画像データであり、オフセット性のカラムFPN(図3(a))を含んでいる。
さらに、制御部14は、連写撮影の開始後、画像データの読み出しが行われない複数の期間(図6の期間[1],[2],[3],…)の各々で、撮像素子11を制御してオフセット性のカラムFPNに関わるラインデータ群(図3(b))を読み出す。
各々の読み出しライン数は上記の静止画撮影時と同数(例えば500本)でも構わないが、連写速度を高速に保つために、少なくとも連写1枚目の画像データを読み出した以降の期間[2],[3],…においてラインデータ群の読み出しライン数を減らし(図7(a))、ラインデータ群の読み出しに掛かる各時間を短縮することが好ましい。図7(a)の横軸は時間、縦軸はライン数を表している。
各々の読み出しライン数は上記の静止画撮影時と同数(例えば500本)でも構わないが、連写速度を高速に保つために、少なくとも連写1枚目の画像データを読み出した以降の期間[2],[3],…においてラインデータ群の読み出しライン数を減らし(図7(a))、ラインデータ群の読み出しに掛かる各時間を短縮することが好ましい。図7(a)の横軸は時間、縦軸はライン数を表している。
本実施形態では、例えば、連写1枚目の画像データを読み出す前の期間[1]にてラインデータ群の読み出しライン数(n)を500本とし、連写1枚目の画像データを読み出した以降の期間[2],[3],…にてラインデータ群の読み出しライン数(m<n)を200本とする。これらのライン数は説明を分かりやすくするための一例であって、その他の本数でも構わない。
そして、制御部14は、上記の期間[1],[2],[3],…に読み出した各々のラインデータ群をデータ演算部16に出力する。データ演算部16は、期間[1],[2],[3],…ごとに、上記と同様、ラインデータ群の各ラインデータの加算平均を行って、ランダムノイズ成分の少ない1つのFPNデータ(図5(a))を作成し、これを画像処理部15に出力する。
期間[1],[2],[3],…ごとに作成されたFPNデータのランダムノイズ成分を比較すると、例えば図7(b)のようになる。図7(b)の横軸は時間、縦軸はランダムノイズ成分のレベルを表している。
連写1枚目の画像データを読み出す前(期間[1])と比べて、読み出した後(期間[2],[3],…)は、連写速度を高速に保つためにラインデータ群の読み出しライン数を減らしたので(図7(a))、FPNデータのランダムノイズ成分のレベル(図7(b))にも、これを反映した大小が生じている。
連写1枚目の画像データを読み出す前(期間[1])と比べて、読み出した後(期間[2],[3],…)は、連写速度を高速に保つためにラインデータ群の読み出しライン数を減らしたので(図7(a))、FPNデータのランダムノイズ成分のレベル(図7(b))にも、これを反映した大小が生じている。
つまり、期間[1]のラインデータ群(例えば500本)から作成されたFPNデータのランダムノイズ成分は非常に少ないが、それ以降(期間[2],[3],…)のラインデータ群(例えば200本)から作成されたFPNデータのランダムノイズ成分は、期間[1]より大きく、十分に小さいとは言えない。
このように、被写体の連写撮影時には、図6に示す通り、オフセット性のカラムFPNに関わるラインデータ群の読み出しと、本撮影に関わる画像データの読み出しとが交互に繰り返され、各々のラインデータ群はデータ演算部16における加算平均の処理によってランダムノイズ成分の少ないFPNデータ(図7(b))に変換される。
このように、被写体の連写撮影時には、図6に示す通り、オフセット性のカラムFPNに関わるラインデータ群の読み出しと、本撮影に関わる画像データの読み出しとが交互に繰り返され、各々のラインデータ群はデータ演算部16における加算平均の処理によってランダムノイズ成分の少ないFPNデータ(図7(b))に変換される。
そして、期間[1],[2],[3],…ごとに得られた各々のFPNデータと、期間[1],[2],[3],…の後に読み出された各々の画像データとが、画像処理部15に出力される。各々のデータの出力タイミングは、画像データの読み出しが開始される前までに、FPNデータの出力が終わってることが好ましい。
画像処理部15は、FPNデータ(図7(b))を用いて、図8に示すフローチャートの手順にしたがって、画像データの各ラインデータに対する補正処理(図5参照)を行う。
画像処理部15は、FPNデータ(図7(b))を用いて、図8に示すフローチャートの手順にしたがって、画像データの各ラインデータに対する補正処理(図5参照)を行う。
まず(ステップS1)、制御部14が出力させた画像データが連写1枚目か否かを判断する。
連写1枚目の場合には、現フレーム(連写1枚目の画像データ)の読み出し直前(期間[1])にデータ演算部16から出力されたFPNデータを補正データとして用い(ステップS2)、現フレームの各ラインデータから補正データを減算する(ステップS3)。期間[1]のFPNデータはランダムノイズ成分が非常に少ない(図7(b))ため、これを補正データとすれば、補正後の画像データ(連写1枚目)を高画質にできる。
連写1枚目の場合には、現フレーム(連写1枚目の画像データ)の読み出し直前(期間[1])にデータ演算部16から出力されたFPNデータを補正データとして用い(ステップS2)、現フレームの各ラインデータから補正データを減算する(ステップS3)。期間[1]のFPNデータはランダムノイズ成分が非常に少ない(図7(b))ため、これを補正データとすれば、補正後の画像データ(連写1枚目)を高画質にできる。
一方、連写2枚目の場合には、現フレーム(連写2枚目の画像データ)の読み出し直前(期間[2])にデータ演算部16から出力されたFPNデータのみを補正データとして用いると、補正後の画像データ(連写2枚目)が低画質になってしまう。
そこで、本実施形態では、連写2枚目の場合、ステップS5の処理に進み、現フレーム(連写2枚目の画像データ)の読み出し直前(期間[2])のFPNデータに対して、前フレーム(連写1枚目の画像データ)の読み出し直前(期間[1])のFPNデータ(つまり補正データ)を加味し、両者の加算平均によって今回の補正データを作成する。
そこで、本実施形態では、連写2枚目の場合、ステップS5の処理に進み、現フレーム(連写2枚目の画像データ)の読み出し直前(期間[2])のFPNデータに対して、前フレーム(連写1枚目の画像データ)の読み出し直前(期間[1])のFPNデータ(つまり補正データ)を加味し、両者の加算平均によって今回の補正データを作成する。
現フレームのFPNデータと前フレームの補正データとの加算平均は、例えば、次の式(1)により行えばよい。式(1)では、現フレームのFPNデータをDa、これの元となるラインデータ群のライン数をm、前フレームの補正データをDb、これの元となるラインデータ群のライン数をnとした。
補正データ=(Da・m+Db・n)/(m+n) …(1)
式(1)では、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)とに等しい重みを付けて(重み付けをせずに)加算平均の計算を行っている。
補正データ=(Da・m+Db・n)/(m+n) …(1)
式(1)では、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)とに等しい重みを付けて(重み付けをせずに)加算平均の計算を行っている。
そして、この補正データ(式(1))を用いて、現フレーム(連写2枚目の画像データ)の各ラインデータから補正データを減算する(ステップS3)。
期間[2]の元々のFPNデータ(図7(b))は、これを求めるために使用したラインデータ群のライン数(m)が少ないため、ランダムノイズ成分が十分に小さいとは言えない。しかし、前フレーム(連写1枚目の画像データ)の補正データを加味することで、擬似的に使用ライン数を増やすことができ(m+nライン)、補正データのランダムノイズ成分を非常に小さく抑えることができる。このため、補正後の画像データ(連写2枚目)を高画質にできる。
期間[2]の元々のFPNデータ(図7(b))は、これを求めるために使用したラインデータ群のライン数(m)が少ないため、ランダムノイズ成分が十分に小さいとは言えない。しかし、前フレーム(連写1枚目の画像データ)の補正データを加味することで、擬似的に使用ライン数を増やすことができ(m+nライン)、補正データのランダムノイズ成分を非常に小さく抑えることができる。このため、補正後の画像データ(連写2枚目)を高画質にできる。
以降、ステップS4において連写終了と判断されるまで、ステップS1→S5→S3→S4の処理が繰り返し行われる。
連写3枚目の場合にも、現フレーム(連写3枚目の画像データ)の読み出し直前(期間[3])にデータ演算部16から出力されたFPNデータのみを補正データとして用いると、平均化ライン数が少ないため、補正後の画像データ(連写3枚目)が低画質になってしまう。
連写3枚目の場合にも、現フレーム(連写3枚目の画像データ)の読み出し直前(期間[3])にデータ演算部16から出力されたFPNデータのみを補正データとして用いると、平均化ライン数が少ないため、補正後の画像データ(連写3枚目)が低画質になってしまう。
このため、現フレーム(連写3枚目の画像データ)の読み出し直前(期間[3])のFPNデータに対して、前フレーム(連写2枚目の画像データ)の補正データを加味し、両者の加算平均(式(1))によって、今回の補正データを作成する(ステップS5)。そして、現フレーム(連写3枚目の画像データ)の各ラインデータから今回の補正データを減算する(ステップS3)。
期間[3]の元々のFPNデータ(図7(b))も、これを求めるために使用したラインデータ群のライン数(m)が少ないため、ランダムノイズ成分が十分に小さいとは言えない。しかし、前フレーム(連写2枚目の画像データ)の補正データを加味することで、擬似的に使用ライン数を増やすことができ(2m+nライン)、補正データのランダムノイズ成分を非常に小さく抑えることができる。このため、補正後の画像データ(連写3枚目)を高画質にできる。
また、連写4枚目以降についても、ステップS1→S5→S3→S4の処理を繰り返すことにより、連写2枚目や3枚目と同様、ランダムノイズ成分の非常に小さい補正データを用いて減算処理を行うことができ、補正後の画像データを高画質にできる。
このように、本実施形態の撮像装置10では、連写1枚目の画像データを読み出した後の期間[2],[3],…においてラインデータ群の読み出しライン数を減らすため(図6,図7(a))、連写速度を高速に保つことができる。さらに、連写2枚目以降の各々の画像データを補正する際、期間[2],[3],…のラインデータ群(mライン)からFPNデータを求め、ある画像データ(例えば連写3枚目)の読み出し前の期間(例えば図6の期間[1],[2],[3])における各々のFPNデータのうち任意の2つ以上を用いて補正データを作成するため、補正後の画像データを高画質にできる。したがって、本実施形態によれば、連写速度を高速に保ちつつ補正後の画像データを高画質にすることもできる。
このように、本実施形態の撮像装置10では、連写1枚目の画像データを読み出した後の期間[2],[3],…においてラインデータ群の読み出しライン数を減らすため(図6,図7(a))、連写速度を高速に保つことができる。さらに、連写2枚目以降の各々の画像データを補正する際、期間[2],[3],…のラインデータ群(mライン)からFPNデータを求め、ある画像データ(例えば連写3枚目)の読み出し前の期間(例えば図6の期間[1],[2],[3])における各々のFPNデータのうち任意の2つ以上を用いて補正データを作成するため、補正後の画像データを高画質にできる。したがって、本実施形態によれば、連写速度を高速に保ちつつ補正後の画像データを高画質にすることもできる。
また、本実施形態では、補正データを作成する際、補正対象となる画像データ(例えば連写3枚目)が読み出される前(例えば図6の期間[1],[2],[3])に作成されたFPNデータを用いる。このため、連写撮影中に、画像データの各ラインデータを読み出しながら並行してオフセット性のカラムFPNの補正処理を行うことができる。
ただし、連写撮影の終了後、各々の画像データに対する補正処理を行う場合には、補正対象となる画像データ(例えば連写2枚目)が読み出される前(例えば図6の期間[1],[2])のFPNデータに限らず、補正対象の画像データが読み出された後(例えば図6の期間[3])のFPNデータを用いて補正データを作成してもよい。つまり、連写撮影の間に作成される各々のFPNデータのうち任意の2つ以上を用いて画像データを補正すれば、上記と同様、連写速度を高速に保ちつつ補正後の画像データを高画質にできる。この場合、連写2枚目以降の画像データに限らず、連写1枚目の画像データであっても、直前の読み出しライン数を減らしつつ補正後の画像データを高画質にできる。
ただし、連写撮影の終了後、各々の画像データに対する補正処理を行う場合には、補正対象となる画像データ(例えば連写2枚目)が読み出される前(例えば図6の期間[1],[2])のFPNデータに限らず、補正対象の画像データが読み出された後(例えば図6の期間[3])のFPNデータを用いて補正データを作成してもよい。つまり、連写撮影の間に作成される各々のFPNデータのうち任意の2つ以上を用いて画像データを補正すれば、上記と同様、連写速度を高速に保ちつつ補正後の画像データを高画質にできる。この場合、連写2枚目以降の画像データに限らず、連写1枚目の画像データであっても、直前の読み出しライン数を減らしつつ補正後の画像データを高画質にできる。
また、本実施形態の撮像装置10では、補正データを作成する際に、現フレーム(例えば連写3枚目)の直前の期間(例えば図6の期間[3])のFPNデータを少なくとも用いる。このため、現フレームの撮影条件に近い状態でのFPNデータを用いて補正データを作成することができ、撮影条件(例えば温度条件)が変化しても、これに追従して良好に画像データを補正することができる。
さらに、本実施形態の撮像装置10では、補正データを作成する際に、現フレーム(例えば連写3枚目)の直前の期間(例えば図6の期間[3])のFPNデータに加えて、1つ前のフレーム(例えば連写2枚目)の直前の期間(例えば図6の期間[2])のFPNデータをさらに用いる。このため、撮影条件(例えば温度条件)の変化が大きくても、これに追従して良好に画像データを補正することができる。
また、本実施形態の撮像装置10では、現フレーム(例えば連写3枚目)の読み出し直前(例えば期間[3])のFPNデータに対して、前フレーム(例えば連写2枚目)の補正データを加味して、今回の現フレームの補正データを作成する。つまり、現フレームの読み出し前の全ての期間(例えば期間[1],[2],[3])における各々のFPNデータを用いて、今回の現フレームの補正データを作成する。
このため、図9に示すように、連写の枚数が増えるにつれて、擬似的な使用ライン数を増やすことができる((m)→(m+n)→(2m+n)→…)。その結果、連写の枚数が増えるにつれて、補正データのランダムノイズ成分を低減することができ(図10)、補正後の画像データの高画質化が図られる。図10の横軸は時間、縦軸はランダムノイズ成分のレベルを表している。また、図10には、比較のため、図7(b)に示す元々のFPNデータのランダムノイズ成分のレベルを点線で示した。
(変形例)
上記した実施形態では、式(1)に示すように、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)とに等しい重みを付けて(重み付けをせずに)加算平均の計算を行ったが、本発明はこれに限定されない。その他、次の式(2)にしたがって、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)との加算平均を行ってもよい。
上記した実施形態では、式(1)に示すように、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)とに等しい重みを付けて(重み付けをせずに)加算平均の計算を行ったが、本発明はこれに限定されない。その他、次の式(2)にしたがって、現フレームのFPNデータ(Da)と前フレームの補正データ(Db)との加算平均を行ってもよい。
補正データ=(Da・m'+Db・n')/(m'+n') …(2)
式(2)のm'とn'の値を実際のライン数m,nと異なる値に設定することで、現フレームのFPNデータ(Db)と前フレームのFPNデータ(Da)とに異なる重みを付けて、加算平均の計算を行うことができる。
例えば、m'=n'となるような値に設定すれば、前フレームのFPNデータ(Da)と比較して、現フレームのFPNデータ(Db)の方に強い重みを付けて加算平均の計算を行い、補正データを作成したことになる。この場合、補正データのランダムノイズ成分のレベルは、図11に示すように、式(1)を利用した場合(m'<n')よりも僅かに大きくなるが、従来の場合(点線)より遙かに小さく抑えられていることが分かる。
式(2)のm'とn'の値を実際のライン数m,nと異なる値に設定することで、現フレームのFPNデータ(Db)と前フレームのFPNデータ(Da)とに異なる重みを付けて、加算平均の計算を行うことができる。
例えば、m'=n'となるような値に設定すれば、前フレームのFPNデータ(Da)と比較して、現フレームのFPNデータ(Db)の方に強い重みを付けて加算平均の計算を行い、補正データを作成したことになる。この場合、補正データのランダムノイズ成分のレベルは、図11に示すように、式(1)を利用した場合(m'<n')よりも僅かに大きくなるが、従来の場合(点線)より遙かに小さく抑えられていることが分かる。
加算平均の重み付けのパラメータm',n'(またはその比率)は、本実施形態の撮像装置10におけるオフセット性のカラムFPNの変化の大小に応じて設定することが考えられる。例えば、カラムFPNの変動が撮像装置10の内部温度に大きく依存するのであれば、撮像装置10の内部に温度センサを設けて、その出力に応じて重み付けのパラメータm',n'(またはその比率)を変えることが好ましい。カラムFPNの変化が小さいほどパラメータの比率(m'/n')を小さくすることが考えられる。
また、上記した実施形態では、現フレームの読み出し前の全ての期間(例えば期間[1],[2],[3])における各々のFPNデータを用いて補正データを作成する例を説明したが、本発明はこれに限定されない。その他、例えば、現フレームの直前のFPNデータに加えて、その前の少なくとも1つのFPNデータ(例えば連写1枚目の直前のFPNデータ)を用いてもよい。
さらに、本実施形態の撮像装置10では、現フレームの直前のFPNデータを少なくとも用いる例を説明したが、本発明はこれに限定されない。現フレームの直前のFPNデータを用いない場合にも、任意の2つ以上のFPNデータを用いれば、同様の効果を得ることができる。
また、上記した実施形態では、連写撮影の開始後、画像データの読み出しが行われない複数の期間(図6の期間[1],[2],[3],…)の各々で、撮像素子11のオフセット性のカラムFPNに関わるラインデータ群を読み出し、ラインデータ群の各ラインデータの加算平均によってFPNデータを作成した後、式(1)や式(2)を用いて補正データを作成したが、本発明はこれに限定されない。現フレームのFPNデータを作成せずにラインデータ群の各ラインデータからダイレクトに補正データを作成してもよい。
また、上記した実施形態では、連写撮影の開始後、画像データの読み出しが行われない複数の期間(図6の期間[1],[2],[3],…)の各々で、撮像素子11のオフセット性のカラムFPNに関わるラインデータ群を読み出し、ラインデータ群の各ラインデータの加算平均によってFPNデータを作成した後、式(1)や式(2)を用いて補正データを作成したが、本発明はこれに限定されない。現フレームのFPNデータを作成せずにラインデータ群の各ラインデータからダイレクトに補正データを作成してもよい。
さらに、十分な容量のメモリがあれば、各々の期間(図6の期間[1],[2],[3],…)の各々で読み出されたラインデータ群の各ラインデータを記憶し続け、それらを利用して、現フレームと前フレームの各ラインデータを加算平均し、補正データを作成してもよい。平均化後のFPNデータを利用する場合と比較してデジタル値のビット落ちがないため、好ましい。
また、本実施形態の撮像装置10において、画像データの補正処理に用いるFPNデータ(ラインデータ群)の数などを、連写速度の設定(高速/低速)に応じて切り換えてもよい。連写速度の設定が高速ならば、上記と同様、任意の2つ以上のFPNデータ(ラインデータ群)を用いて現フレームを補正し、連写速度の設定が低速ならば、現フレームの直前のFPNデータ(ラインデータ群)のみを用い、その他のFPNデータ(ラインデータ群)などを用いずに、現フレームを補正すればよい。
10撮像装置 ; 11撮像素子 ; 14制御部 ; 15画像処理部 ; 16データ演算部
21画素 ; 22垂直画素列 ; 23カラムアンプ
21画素 ; 22垂直画素列 ; 23カラムアンプ
Claims (5)
- 複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、
前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、
前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、
前記第1制御手段が読み出した各々の前記画像データを、前記第2制御手段が読み出した各々の前記ラインデータ群のうち任意の2つ以上を用いて補正する補正手段とを備えた
ことを特徴とする撮像装置。 - 複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、
前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、
前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、
前記第1制御手段が読み出した2番目以降の各々の前記画像データを、該画像データの読み出し前の前記期間に前記第2制御手段が読み出した各々の前記ラインデータ群のうち任意の2つ以上を用いて補正する補正手段とを備えた
ことを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記補正手段は、前記2番目以降の各々の前記画像データを補正する際、該画像データの読み出し直前の前記期間に前記第2制御手段が読み出した前記ラインデータ群を少なくとも用いる
ことを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記補正手段は、前記2番目以降の各々の前記画像データを補正する際、該画像データより1つ前の前記画像データの読み出し直前の前記期間に前記第2制御手段が読み出した前記ラインデータ群をさらに用いる
ことを特徴とする撮像装置。 - 複数の垂直画素列の各出力部にカラムアンプが配置された撮像素子と、
前記撮像素子を制御して被写体の連写撮影を行い、複数の画像データを順次に読み出す第1制御手段と、
前記第1制御手段による前記連写撮影の開始後、前記画像データの読み出しが行われない複数の期間の各々で、前記撮像素子を制御して前記カラムアンプのオフセット性の固定パターンノイズに関わるラインデータ群を読み出す第2制御手段と、
前記第1制御手段が読み出した各々の前記画像データを、該画像データの読み出し前の全ての前記期間に前記第2制御手段が読み出した各々の前記ラインデータ群を用いて補正する補正手段とを備えた
ことを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006270947A JP2008092282A (ja) | 2006-10-02 | 2006-10-02 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006270947A JP2008092282A (ja) | 2006-10-02 | 2006-10-02 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008092282A true JP2008092282A (ja) | 2008-04-17 |
Family
ID=39375942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006270947A Withdrawn JP2008092282A (ja) | 2006-10-02 | 2006-10-02 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008092282A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009284392A (ja) * | 2008-05-26 | 2009-12-03 | Canon Inc | 撮像装置 |
| WO2010001741A1 (ja) * | 2008-07-03 | 2010-01-07 | 株式会社ニコン | 撮像装置 |
| JP2010068325A (ja) * | 2008-09-11 | 2010-03-25 | Canon Inc | 撮像装置、制御方法、及びプログラム |
| JP2010074648A (ja) * | 2008-09-19 | 2010-04-02 | Canon Inc | 撮像装置、撮像方法、及びプログラム |
| JP2010268111A (ja) * | 2009-05-13 | 2010-11-25 | Seiko Epson Corp | センシング装置および電子機器 |
| JP2013026662A (ja) * | 2011-07-15 | 2013-02-04 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
-
2006
- 2006-10-02 JP JP2006270947A patent/JP2008092282A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009284392A (ja) * | 2008-05-26 | 2009-12-03 | Canon Inc | 撮像装置 |
| WO2010001741A1 (ja) * | 2008-07-03 | 2010-01-07 | 株式会社ニコン | 撮像装置 |
| JP5365633B2 (ja) * | 2008-07-03 | 2013-12-11 | 株式会社ニコン | 撮像装置 |
| US8953068B2 (en) | 2008-07-03 | 2015-02-10 | Nikon Corporation | Imaging device |
| JP2010068325A (ja) * | 2008-09-11 | 2010-03-25 | Canon Inc | 撮像装置、制御方法、及びプログラム |
| JP2010074648A (ja) * | 2008-09-19 | 2010-04-02 | Canon Inc | 撮像装置、撮像方法、及びプログラム |
| JP2010268111A (ja) * | 2009-05-13 | 2010-11-25 | Seiko Epson Corp | センシング装置および電子機器 |
| JP2013026662A (ja) * | 2011-07-15 | 2013-02-04 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI390971B (zh) | 成像裝置,成像處理方法及成像控制程式 | |
| JP5150795B2 (ja) | 撮像装置及び撮像方法 | |
| US8982249B2 (en) | Image capturing apparatus and method for controlling an image capturing apparatus for capturing and processing a plurality of pieces of exposure and dark image data to correct combined exposure image data in accordance with combined dark image data | |
| JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
| JP2007336561A (ja) | 映像生成装置及び方法 | |
| KR101817655B1 (ko) | 삼차원 영상 촬영 장치 및 방법 | |
| KR20120102509A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| EP2839634B1 (en) | Imaging device and image processing method | |
| WO2012117774A1 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
| JP2014154982A (ja) | 撮像装置およびその制御方法 | |
| JP2015186247A (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
| JP5199736B2 (ja) | 画像撮像装置 | |
| JP2014086889A (ja) | 固体撮像装置 | |
| JP2005109772A (ja) | 固体撮像素子を用いたビデオカメラ装置の黒レベル補正回路および黒レベル補正方法 | |
| JP2008533781A (ja) | 写真を生成する方法及び装置 | |
| JP2018207413A (ja) | 撮像装置 | |
| JP6277675B2 (ja) | 撮像装置および撮像方法 | |
| JP2008092282A (ja) | 撮像装置 | |
| JP6517573B2 (ja) | 画像処理装置および内視鏡装置 | |
| JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
| JP6108854B2 (ja) | 撮像装置及びその制御方法 | |
| JP7134786B2 (ja) | 撮像装置および制御方法 | |
| JP4847768B2 (ja) | 撮像装置及びその露光制御方法 | |
| JP6659163B2 (ja) | フラッシュバンド判定装置、その制御方法、およびプログラム | |
| JP6229436B2 (ja) | 撮像装置および撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100105 |