JP7175703B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関する。

撮像装置に使用されるＣＭＯＳセンサー等の撮像素子では、画素の不均一性による垂直方向、水平方向のシェーディングが存在する。特に、水平方向においては、列毎の読み出し回路、メモリの不均一性あるいはメモリから出力線を介して信号が出力されるまでの距離に応じてシェーディングが存在する。例えば、特許文献１には、撮像素子が出力する信号を撮像装置が有する補正機能によって補正することで均一化する撮像装置が開示されている。

特開２０１０－２６３５５３号公報

しかしながら、上述の特許文献に開示された従来技術では、ゲイン制御などの撮像素子の駆動条件が変わった場合や、静止画や動画などの駆動モードの違いに対応するために列毎の補正値を駆動条件毎に予め記憶する必要がある。この場合、記憶するためのＲＯＭなどの容量を圧迫するなどのシステム負荷が生じる。また、撮影条件が変化したときに補正値を生成する場合には、生成するために画像撮影を中断する必要があり、動画などではフレームがブラックアウトするという問題もある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、装置の負荷の増加を抑制しつつ、撮影画像の画質を向上させることができる撮像装置を提供することである。

本発明に係わる撮像装置は、光電変換を行う複数の画素が行列状に配置された画素領域と、前記画素領域の各画素列に並列に複数配置され、同じ画素列に配置された異なる複数画素の信号がそれぞれ出力される複数の列出力線と、前記複数の列出力線に１対１で接続された複数の列回路と、前記複数の列回路の特性差に基づいて画像データを補正する補正手段と、同じ画素列に配置された前記複数の列出力線のうちの第１の列出力線に画像データ生成用の信号を出力し、前記同じ画素列に配置された前記複数の列出力線のうちの前記第１の列出力線とは異なる第２の列出力線に前記補正手段による補正データ生成用の信号を出力するように制御する制御手段と、を有することを特徴とする。

本発明によれば、装置の負荷の増加を抑制しつつ、撮影画像の画質を向上させることができる撮像装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態におけるＤＦＥの構成を示す図。 第１の実施形態に係わる撮像装置の動作を示すフローチャート。 第１の実施形態における撮像装置の動作の概念を示す図。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態における撮像素子の動作の概念を示す図。 第１の実施形態における撮像素子の動作の概念を示す図。 第１の実施形態におけるＤＦＥの動作の概念を示す図。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態におけるＤＦＥの動作の概念を示す図。 第２の実施形態に係わる撮像装置の構成を示す図。 第２の実施形態における撮像素子の構成を示す図。 第２の実施形態における画像補正回路の構成を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。本実施形態の撮像装置１０００は、例えばデジタルカメラであり、静止画像撮影機能及び動画像撮影機能を有している。撮像装置１０００は、撮像装置１０００を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、及び撮影レンズ１０９を通過した光学像が結像される撮像素子１００を有する。

撮像素子１００は、これに結像された光学像を電気信号（アナログ画素信号）に変換後、所定の量子化ビット数に応じてデジタル画像データに変換して出力する。ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０１は、撮像素子１００からデータを受信し、後述する画像への列回路ごとの特性差に基づいて画像データを補正する補正処理を行い、ＣＰＵ１０２へデータを送信する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５は、撮像素子１００から出力される画像データ及び画像処理部１０７で処理された画像データを記憶するための画像メモリである。ＲＡＭ１０５は、ＣＰＵ１０２のワークメモリとしても用いられる。本実施形態では、画像メモリ及びワークメモリとしてＲＡＭ１０５を用いるが、アクセス速度に問題ないものであれば、他のメモリを用いてもよい。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６には、ＣＰＵ１０２で動作するプログラムが格納される。本実施形態では、ＲＯＭ１０６としてフラッシュＲＯＭが用いられるが、アクセス速度に問題がないものであれば、他のメモリを用いてもよい。

画像処理部１０７は、本実施形態における静止画像及び動画像の補正処理や、画像の圧縮処理等を行う。操作部１０３は、撮像装置１０００を起動するメインスイッチや、ユーザーが撮像装置１０００に静止画や動画の撮影命令を行う撮影スイッチを含み、撮像条件等を設定する際にも用いられる。表示部１０４は、ＣＰＵ１０２の制御下で、画像データに応じた静止画像又は動画像の表示を行うとともに、メニュー等の表示を行う。

記録部１０８は、例えば不揮発性メモリ又はハードディスクであり、画像データ等が記録される。本実施形態において記録部１０８は、装置に内蔵される形で記載されているが、コネクタ等を介した着脱可能なメモリーカードなどの外部記録媒体でもよい。

図２Ａ～図２Ｅは、撮像素子１００の回路構成の一例を示す図である。図２Ａに示すように光電変換素子を有する画素２００が画素Ｒ０＿０～Ｂｍ－１＿ｎ－１（ｍ、ｎは任意の整数）のように行列状に複数配置されている。画素２００に示すＲは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが各画素に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｐ＿ｑは、画素部２１０における第ｐ行第ｑ列の画素であることを示す。

ここで、画素２００の１画素毎の構成について図２Ｂを用いて説明する。フォトダイオード（ＰＤ）２０１は、入射した光信号を光電変換し、露光量に応じた電荷を蓄積する。制御信号ｔｘをハイレベルにすることにより転送ゲート２０２がオン（導通状態）になり、ＰＤ２０１に蓄積されている電荷がフローティングディフュージョン部（ＦＤ部）２０３に転送される。ＦＤ部２０３は、増幅ＭＯＳトランジスタ２０４のゲートに接続されている。増幅ＭＯＳトランジスタ２０４は、ＰＤ２０１からＦＤ部２０３に転送されてきた電荷量に応じた電圧信号を出力する。

リセットスイッチ２０５は、ＦＤ部２０３やＰＤ２０１の電荷をリセットするためのスイッチである。制御信号ｒｅｓをハイレベルにすることによりリセットスイッチ２０５がオン（導通状態）になり、ＦＤ部２０３がリセットされる。また、ＰＤ２０１の電荷をリセットする場合には、制御信号ｔｘ及び制御信号ｒｅｓを同時にハイレベルにすることにより、転送ゲート２０２及びリセットスイッチ２０５を両方オンし、ＦＤ部２０３経由でＰＤ２０１をリセットする。

画素選択スイッチ２０６ａ～２０６ｃは、それぞれ制御信号ｓｅｌ０～ｓｅｌ２をハイレベルとすることによりオン（導通状態）になり、増幅ＭＯＳトランジスタ２０４と画素２００の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）とを接続する。これにより、増幅ＭＯＳトランジスタ２０４で電圧に変換された画素信号が画素２００の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）に出力される。

本実施形態の撮像素子では、後述する制御により、駆動条件によって行毎にｓｅｌ０～ｓｅｌ２のいずれかがオンになり、出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）のいずれかから画素信号が出力される。

図２Ａに戻り、垂直走査回路３０３は、制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等を各画素２００に供給する。これらの制御信号は、それぞれ各画素２００の端子ｒｅｓ，ｔｘ，ｓｅｌ０～２に供給される。各画素の出力端子ｖｏｕｔ０（２０７ａ）～ｖｏｕｔ２（２０７ｃ）は、列出力線３００ａ～３００ｌに接続される。画素Ｒ０＿０が配置される列（０列目）を例に説明すると、図２Ａに示すように０行目の画素Ｒ０＿０から１１行目の画素Ｇ１１＿０までの画素と列出力線３００ａ～３００ｌとの接続パターンが、１２行目以降の画素において繰り返される。この接続パターンは、各列同様である。

列出力線３００ａ～３００ｌは、それぞれＡＤ変換器（ＡＤＣ）３０１ａ～３０１ｌの入力へ接続される。ＡＤ変換器３０１ａ～３０１ｌは、画素２００から出力される光信号とノイズ信号をアナログ－デジタル変換する。列出力線３００ａ～３００ｌには、それぞれ電流源３０２ａ～３０２ｌが接続されている。電流源３０２ａ～３０２ｌと列出力線３００ａ～３００ｌに接続された画素部２００の増幅ＭＯＳトランジスタ２０４によってソースフォロア回路が構成される。

ＡＤ変換器３０１ａを例として、ＡＤ変換器の構成を図２Ｃに示す。ＡＤ変換器３０１ａは、比較器３２７、Ｌａｔｃｈ＿Ｎ３２８、Ｌａｔｃｈ＿Ｓ３２９、スイッチ３３０，３３１を有する。列出力線３００ａにより出力される信号は比較器３２７に入力される。ランプ信号発生器３０６ａからは、信号線３２１ａおよび信号線３２２ａを介してランプ信号Ａとランプ信号Ｂが出力され、セレクタ３２６で選択されたランプ信号が比較器３２７に入力される。

図２Ａに示すＴＧ３０７ａから出力される制御信号によりセレクタ３２６が制御され、ＡＤ変換器毎にどちらのランプ信号を使用するかが選択される。すなわち、該当するＡＤ変換器が画像信号のＡＤ変換に使用される場合にはランプ信号Ａが選択され、補正データ信号のＡＤ変換に使用される場合にはランプ信号Ｂが選択される。

Ｌａｔｃｈ＿Ｎ３２８はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿Ｓ３２９は信号レベル（Ｓ信号）を保持するための記憶素子である。カウンタ３０５ａから信号線３２３ａを介して出力されるカウンタ値がＬａｔｃｈ＿Ｎ３２８とＬａｔｃｈ＿Ｓ３２９に入力される。

Ｌａｔｃｈ＿Ｎ３２８は比較器３２７から反転出力が入力された場合のカウンタ値をＮ信号のデジタル信号値として保持し、Ｌａｔｃｈ＿Ｓ３２９は比較器３２７から反転出力が入力された場合のカウンタ値をＳ信号のデジタル信号値として保持する。

Ｌａｔｃｈ＿Ｎ３２８に保持されたＮ信号と、Ｌａｔｃｈ＿Ｓ３２９に保持されたＳ信号はスイッチ３３０，３３１を介してそれぞれ共通出力線３２４ａ，３２５ａを介して図２Ａに示すＳ－Ｎ演算部３０８ａに出力される。

スイッチ３３０，３３１は水平走査回路３０４ａからの制御信号で制御される。このＳ－Ｎ演算部３０８ａまたは３０８ｂへのデジタル信号の出力はＡＤ変換器毎に順次行われ、水平転送と呼ぶ。

Ｓ－Ｎ演算部３０８ａ，３０８ｂは、入力されたＳ信号からＮ信号を減算する。この動作により列回路に起因するノイズ成分をキャンセルした画像データまたは補正値生成用の補正データが生成される。

Ｓ－Ｎ演算部３０８ａ，３０８ｂから出力されたデータは、データ振り分け部３０９ａ，３０９ｂに入力される。データ振り分け部３０９ａ，３０９ｂではデータの振り分け、並び替え等を行い、データをデータ出力部Ａ３１０ａ，３１０ｂまたはデータ出力部３１１ａ，３１１ｂへ出力する。

図２Ｄにデータ振り分け部３０９ａ，３０９ｂの構成を示す。入力されたデータは、メモリ制御部３２０から出力される書き込み制御信号に従い、ＡＤ変換器毎にメモリ０（３１２）～メモリ５（３１７）に書き込まれる。画素Ｒ０＿０が配置される列を例にすると、ＡＤ変換器３０１ａ～３０１ｆにおいてＡＤ変換されたデータは、データ振り分け部３０９ａに含まれるメモリ０（３１２）～メモリ５（３１７）にそれぞれ書き込まれる。また、ＡＤ変換器３０１ｇ～３０１ｌにおいてＡＤ変換されたデータは、データ振り分け部３０９ｂに含まれるメモリ０（３１２）～メモリ５（３１７）にそれぞれ書き込まれる。

メモリ制御部３２０はセレクタ３１８，３１９とメモリ０（３１２）～メモリ５（３１７）からのデータ読み出しを制御する。すなわち、データ出力部３１０ａ，３１０ｂまたはデータ出力部３１１ａ，３１１ｂへデータをメモリ毎に順次出力する。データ出力部３１０ａ，３１０ｂまたはデータ出力部３１１ａ，３１１ｂは、ＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ）等の伝送方式により、撮像素子１００の外部へデータを出力する。

ここで、図２Ｅを用いて撮像素子１００における画素領域の構成について説明する。図２Ｅに示すように、遮光された画素が複数配置された遮光画素領域ＶＯＢ＿０，ＶＯＢ＿１，ＨＯＢと、被写体を撮影する有効画素が複数配置された有効画素領域を有する。水平方向（行方向）にｎ列、垂直方向（列方向）にｍ行の画素が配置されている。

また、垂直方向（列方向）には遮光画素領域ＶＯＢ＿０は１２ｈ（ｈは０より大きい整数）行、遮光画素領域ＶＯＢ＿１は１２ｉ（ｉは０より大きい整数）行、有効画素領域は１２ｊ（ｊは０より大きい整数）行の画素がそれぞれ配置されている。垂直方向については、図２Ａに示す０行目から１１行目の画素―列出力線接続パターンが繰り返し続くため、各領域が１２の倍数となっている。

また、遮光画素領域ＶＯＢ＿０は後述する補正データの読み出し時に使用され、遮光画素領域ＶＯＢ＿１，ＨＯＢ、有効画像領域は画像データの読み出し時に使用される。遮光画素領域ＶＯＢ＿０，ＶＯＢ＿１，ＨＯＢ、有効画像領域の各々から信号を読み出すための垂直走査動作や画素―列出力線の電気的な接続を決定する制御信号ｓｅｌ０～２が独立に垂直走査回路３０３によって制御される。

次に、図３を用いてＤＦＥ１０１の構成について説明する。図３に撮像素子１００、ＣＰＵ１０２との接続を含めたＤＦＥ１０１の構成を示す。データ出力部３１０ａ，３１０ｂから出力されるデータは、セレクタ４０２へ入力される。一方、データ出力部３１１ａ，３１１ｂから出力されるデータは補正値生成回路４００へ入力される。また、データ出力部３１０ａ，３１０ｂから出力されるデータと、データ出力部３１１ａ，３１１ｂから出力されるデータは１フレームの画像データとしてまとめられ、セレクタ４０２へ入力される。セレクタ４０２は撮影モード毎にＣＰＵ１０２から設定される設定に基づき制御される。セレクタ４０２の出力は補正回路４０１へ入力される。

補正値生成回路４００は、データ出力部３１１ａ，３１１ｂから出力されるデータから列回路（列出力線、ＡＤ変換器等）毎の補正値を生成し、ＲＡＭ４０３へ格納する。ＲＡＭ４０３は、ＲＡＭ４０３ａとＲＡＭ４０３ｂを有する。いずれか一方のＲＡＭに画像の補正値を格納し、補正に使用する。補正に使用していない側のＲＡＭでは補正値生成や保持が行われ、またはパワーダウンされる。また、ＲＡＭ４０３ａまたはＲＡＭ４０３ｂは、ＣＰＵ１０２から送信される補正値を書き込む機能を有する。

補正回路４０１は、列回路毎にＲＡＭ４０３から出力される補正値を画像データから減算し、オフセット補正を行う。その後ＣＰＵ１０２に対してデータを出力する。

次に、第１の実施形態における撮像装置の動作について説明する。図４は、第１の実施形態における撮像装置１００の撮影動作を説明するためのフローチャートである。なお、以下では例としてＲ画素のみについて説明を行う。Ｇ画素、Ｂ画素の動作についてはＲ画素と同様であるため、説明を省略する。

ユーザーが図１に示した操作部１０３のメインスイッチを押下すると、ライブビュー（ＬＶ）撮影が開始される。ＬＶ撮影が開始されると、ステップＳ１００において、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを補正するための補正データを読み出す設定を行う。ＣＰＵ１０２は垂直走査回路３０３に対して、遮光領域ＶＯＢ＿０の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成するランプ信号Ｂの傾きとして、補正データを読み出す場合の傾き（例えば撮影感度ＩＳＯ２００で撮影するための傾き）を設定する。またＴＧ３０７ａに対して、ＡＤ変換器３０１ｄ，３０１ｂをオン状態、その他のＡＤ変換器（３０１ａ，３０１ｃ，３０１ｅ，３０１ｆ）はオフ状態にする設定を行う。
また、ＡＤ変換器３０１ｄ，３０１ｂのセレクタ３２６にランプ信号Ｂを選択する設定を行う。また、データ出力部３１０ａをオフにし、データ出力部３１１ａをオンにする設定を行う。本実施形態では、オフにした回路は消費電力がオン時より低くなる構成とする。

次にステップＳ１０１においてＤＦＥ１０１の設定を行う。ここでは、補正値を生成するための設定を行う。補正値生成回路４００に補正値を生成する設定を行う。また、ＲＡＭ４０３に対して、補正値生成のために使用するＲＡＭをＲＡＭ４０３ａにする設定を行う。

次にステップＳ１０２において、補正データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．ＬＶ＿０に示す。

補正データ読み出し時（出力期間）の撮像素子１００の動作について、図６Ａを用いて説明する。

時刻ｔａ０において、制御信号ｔｘ＿０，２，４，６，８，１０がＨになり、転送スイッチ２０２がオンになる。このとき、リセットスイッチ２０５の制御信号ｒｅｓ＿０，２，４，６，８，１０はＨになっている。そして、フォトダイオード２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１はリセットされる。

時刻ｔａ１において、制御信号ｔｘ＿０，２，４，６，８，１０をＬとし、フォトダイオード２０１における電荷の蓄積が開始される。

所定の時間だけ電荷の蓄積を行った後の時刻ｔａ２において、選択スイッチ２０６の制御信号ｓｅｌ１＿０，２，４，６，８，１０がＨになり、増幅ＭＯＳトランジスタ２０４のソースが列出力線に接続される。

時刻ｔａ３において、リセットスイッチ２０５の制御信号ｒｅｓ＿０，２，４，６，８，１０をＬとすることでＦＤ部２０３のリセットを解除する。このとき、ＦＤ部２０３の電位に応じたリセット信号レベルの電位が増幅ＭＯＳトランジスタ２０４を介して列出力線３００ｂ，３００ｄに出力され、ＡＤ変換器３０１ｂ，３０１ｄに入力される。

このときの、画素と列出力線の接続を示す概念図を図７に示す。フレームＮｏ．ＬＶ＿０に示すように、０，２，４行目が列出力線３００ｄ（列出力線３）に接続され、６，８，１０行目が列出力線３００ｂ（列出力線１）に接続されることになる。同一列出力線に接続された画素信号は混合（加算）された状態でＡＤ変換器においてＡＤ変換される。

なお、図７において画素からの列出力線への接続線が破線で記載されているものは、制御信号ｓｅｌがＬとなっており、列出力線へ接続されていないものとする。また、以下の説明において、列出力線３００ａ～３００ｆをそれぞれ列出力線０～５と便宜的に呼ぶこととする。

各画素２００の出力端子ｖｏｕｔ１にはノイズレベルが出力され、列出力線３００ｂには６，８，１０行目の画素のノイズレベルの混合（加算）信号が出力され、列出力線３００ｄには０，２，４行目の画素のノイズレベルの混合信号が出力される。

次に、時刻ｔａ４において、ＴＧ３０７ａはＡＤ変換器３０１ｂ，３０１ｄを駆動し、ＡＤ変換を開始する。ここで各列出力線に出力されるノイズレベルの混合信号がＡＤ変換される。ＡＤ変換開始とともにカウンタ３０５ａがカウント値のインクリメント動作を開始する。列出力線３００ｂ，３０１ｄの信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｃｈ＿Ｎ３２８に格納することでＡＤ変換が行われる。

時刻ｔａ５において、ＡＤ変換が終了すると、ＡＤ変換器３０１ｂ，３０１ｄはそれぞれＡＤ変換されたノイズレベルを保持する。

次に、時刻ｔａ６において、ＴＧ３０７ａは再びＡＤ変換器３０１ｂ，３０１ｄを駆動し、ＡＤ変換を開始する。すなわち各列出力線に出力されるノイズレベルの混合信号がＡＤ変換される。時刻ｔａ７において、ＡＤ変換が終了すると、ＡＤ変換器３０１ｂ，３０１ｄは、それぞれＡＤ変換されたノイズレベルを保持する。

ここで保持されるノイズレベルと最初のノイズレベルとは、ｒｅｓ＿０，２，４，６，８，１０をＬにしてリセット解除した状態からの時間（タイミング）が異なっている。本実施形態では、この時間に関連する２回取得されたノイズレベルの違いを列回路（列出力線、ＡＤ変換器等）毎の固有の列オフセットノイズとして、補正対象とする。

その後、時刻ｔａ８において、制御信号ｒｅｓ＿０，２，４，６，８、１０をＨとし、再びＦＤ部２０３をリセット状態とする。また、撮像素子１００の外部へのデータ出力を開始する。水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ｂ，３０１ｄの１回目のＮ信号と２回目のＮ信号をＳ－Ｎ演算部３０８ａへ順次転送する。

Ｓ－Ｎ演算部３０８ａで列毎に２回目のＮ信号から１回目のＮ信号が減算され、データ振り分け部３０９ａを経由してデータ出力部３１１ａからデータを出力する。

時刻ｔａ９において、制御信号ｓｅｌ＿０，２，４，６，８，１０がＬになり、その後、時刻ｔａ１０において全列のデータ出力が終了すると、データ出力の１転送単位が終了する。

本実施形態では、図８（ａ）に示すように遮光画素領域ＶＯＢ＿０に対して図６Ａに示す補正データ読み出し動作を所定回数繰り返すことにより、補正データを出力する。

次に、ステップＳ１０２におけるＤＦＥ１０１の動作（図５のＬＶ＿０フレーム）について説明する。

撮像素子１００のデータ出力部３１１ａから補正データが出力され、補正値生成回路４００に入力される。図９に示すように補正値生成回路４００には、列出力線３００ｂ，３００ｄ（列出力線１，３）をそれぞれ経由したデータが順次入力される。

補正値生成回路４００は各列出力線の列毎に、ＲＡＭ４０３ａへデータを一時格納しながら加算する。所定の行数加算後に平均し、補正値としてＲＡＭ４０３ａへ格納する。ＤＦＥ１０１で補正値の生成が終了すると、ステップＳ１０３へ進む。

ステップＳ１０３において、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを読み出す設定を行う。ＣＰＵ１０２は垂直走査回路３０３に対して、遮光画素領域ＶＯＢ＿１と有効画素領域の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成するランプ信号Ａの傾きとして、ＬＶ画像データを読み出すときの傾き（例えば撮影感度ＩＳＯ２００で撮影するための傾き）を設定する。またＴＧ３０７ａに対して、ＡＤ変換器３０１ｄ，３０１ｂをオン状態、その他のＡＤ変換器（３０１ａ，３０１ｃ，３０１ｅ，３０１ｆ）はオフ状態にする設定を行う。

また、ＡＤ変換器３０１ｄ，３０１ｂのセレクタ３２６にランプ信号Ａを選択する設定を行う。また、データ出力部３１１ａをオフにし、データ出力部３１０ａをオンにする設定を行う。

次にステップＳ１０４においてＤＦＥ１０１の設定を行う。ここでは、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部３１０ａからのデータのみを選択する。また、ＲＡＭ４０３に対して、補正のために使用するＲＡＭをＲＡＭ４０３ａにする設定を行う。

次にステップＳ１０５において、ＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．ＬＶ＿１に示す。

ＬＶ画像データ読み出し時の撮像素子１００の動作について、図１０Ｂを用いて説明する。

時刻ｔｃ０において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０（ｋはｈより大きい整数）がＨになり、転送スイッチ２０２がオンになる。このとき、ｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０はＨになっている。そして、フォトダイオード２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１はリセットされる。

時刻ｔｃ１において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬとし、フォトダイオード２０１における光電荷の蓄積が開始される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔｃ２において、選択スイッチ２０６の制御信号ｓｅｌ１＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０がＨになる。そして、増幅ＭＯＳトランジスタ２０４のソースが列出力線に接続される。

時刻ｔｃ３において、リセットスイッチ２０５の制御信号ｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬとすることでＦＤ部２０３のリセットを解除する。このとき、ＦＤ部２０３の電位に応じたリセット信号レベルの電位が増幅ＭＯＳトランジスタ２０４を介して列出力線３００ｂ，３００ｄ（列出力線１，３）に出力され、ＡＤ変換器３０１ｂ，３０１ｄに入力される。

このときの、画素と列出力線の接続を示す概念図を図７に示す。フレームＮｏ．ＬＶ＿１に示すように、１２ｋ＋０，１２ｋ＋２，１２ｋ＋４行目が列出力線３００ｄ（列出力線３）に接続され、１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目が列出力線３００ｂ（列出力線１）に接続されることになる。同一列出力線に接続された画素信号は混合（加算）された状態でＡＤ変換器においてＡＤ変換される。

各画素２００の出力端子ｖｏｕｔ１にはノイズレベルが出力され、列出力線３００ｂには６，８，１０行目の画素のノイズレベルの混合（加算）信号が出力され、列出力線３００ｄには０，２，４行目の画素のノイズレベルの混合信号が出力される。

次に、時刻ｔｃ４において、ＴＧ３０７ａはＡＤ変換器３０１ｂ，３０１ｄを駆動し、ＡＤ変換を開始する。ここで各列出力線に出力されるノイズレベルの混合信号がＡＤ変換される。ＡＤ変換開始とともにカウンタ３０５ａがカウント値のインクリメント動作を開始する。列出力線３００ｂ，３００ｄの信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｃｈ＿Ｎ３２８に格納することでＡＤ変換が行われる。

時刻ｔｃ５において、ＡＤ変換が終了すると、ＡＤ変換器３０１ｂ，３０１ｄはそれぞれＡＤ変換されたノイズレベルを保持する。

時刻ｔｃ６において、垂直走査回路３０３は、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＨにする。それに伴って、１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目の画素２００の転送ゲート２０２がオンされる。

そして、各画素のＰＤ２０１に蓄積されている信号電荷（光電荷）が増幅ＭＯＳトランジスタ２０４で構成されるソースフォロアのゲートに転送される。ソースフォロアは転送された信号電荷に見合う分だけリセットレベルから電位が変動して信号レベルが確定する。

このとき、各画素２００の出力端子ｖｏｕｔ１には信号レベルが出力され、列出力線３００ｄには１２ｋ＋０，１２ｋ＋２，１２ｋ＋４行目の画素の信号レベルの混合（加算）信号が出力される。また、列出力線３００ｂには１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目の画素の信号レベルの混合信号が出力される。

その後、時刻ｔｃ７において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬにし、ＰＤ２０１からの転送を完了する。

次に、時刻ｔｃ８において、ＴＧ３０７ａはＡＤ変換器３０１ｂ，３０１ｄを駆動し、ＡＤ変換を開始する。すなわち各列出力線に出力される信号レベルの混合信号がＡＤ変換される。時刻ｔｃ９において、ＡＤ変換が終了されると、ＡＤ変換器３０１ｂ，３０１ｄは、それぞれＡＤ変換された信号レベルを保持する。

その後、時刻ｔｃ１０において、制御信号ｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＨとし、再びＦＤ部２０３をリセット状態とする。また、撮像素子１００の外部へのデータ出力を開始する。水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ｂ，３０１ｄのＮ信号とＳ信号をＳ－Ｎ演算部３０８ａへ順次転送する。

Ｓ－Ｎ演算部３０８ａで列毎にＳ信号からＮ信号が減算され、データ振り分け部３０９ａを経由してデータ出力部３１０ａからデータを出力する。

時刻ｔｃ１１において、制御信号ｓｅｌ１＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０がＬになる。その後、時刻ｔｃ１２において全列のデータ出力が終了すると、データ出力の１転送単位が終了する。

本実施形態では、図８（ｂ）に示すように垂直方向（列方向）において、遮光画素領域ＶＯＢ＿１、有効画素領域に対して図１０Ｂに示すＬＶ画像データ読み出し動作を行い、垂直方向に３画素の信号を混合することにより、ＬＶ画像データを出力する。

次に、ステップＳ１０５におけるＤＦＥ１０１の動作（図５のＬＶ＿１フレーム）について説明する。

撮像素子１００のデータ出力部３１０ａからＬＶ画像データが出力され、補正回路４０１へ入力される。図１１に示すように補正回路４０１には、列出力線３００ｂ，３００ｄ（列出力線１，３）をそれぞれ経由した画像データが順次入力される。

補正回路４０１はＲＡＭ４０３ａに格納されている補正値を、入力される画像データの列との対応が合うタイミングで受信し、各列出力線の列毎に画像データから補正値を減算する。その後、ＣＰＵ１０２に対して画像データを出力する。

ＣＰＵ１０２は入力されたＬＶ画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、表示部１０４でライブビュー画像として表示を開始する。

その後、ステップＳ１０６において、ＣＰＵ１０２は、操作部１０３の静止画撮影スイッチが押下されたか否かを判断する。静止画撮影スイッチが押下されていない場合には（ステップＳ１０６のＮＯ）、ステップＳ１１１へ進む。

ステップＳ１１１では、ＣＰＵ１０２は、メインスイッチが押下されているか否かを判断し、メインスイッチが押下されている場合には（ステップＳ１１１のＹＥＳ）、撮影を終了する。メインスイッチが押下されていない場合には（ステップＳ１１１のＮＯ）、ステップＳ１１２に進む。

ステップＳ１１２では、ＣＰＵ１０２は次のフレームでＩＳＯ感度を変更するか否かを判断する。本実施形態ではユーザーが操作部１０３を操作してＩＳＯ感度を変更するものとし、変更されない場合（ステップＳ１１２のＮＯ）はステップＳ１０３に戻る。ＩＳＯ感度が変更された場合（ステップＳ１１２のＹＥＳ）はステップＳ１１３へ進む。

なお、本実施形態ではＩＳＯ感度をユーザーが決定する構成としたが、それに限定されるものではない。撮影したＬＶ画像から明るさを検知し、所定の判断でＣＰＵ１０２が自動でＩＳＯ感度を変更する構成でもよい。

ステップＳ１１３において、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを補正するための補正データを読み出す設定を行う。ＣＰＵ１０２は垂直走査回路３０３に対して、遮光画素領域ＶＯＢ＿０の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成するランプ信号Ｂの傾きとして、補正データを読み出すときの傾き（例えば撮影感度ＩＳＯ１６００で撮影するための傾き）を設定する。

また、ＣＰＵ１０２は垂直走査回路３０３に対して、遮光画素領域ＶＯＢ＿１と有効画素領域の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成するランプ信号Ａの傾きとして、ＬＶ画像データを読み出すときの傾き（例えば撮影感度ＩＳＯ２００で撮影するための傾き）を設定する。

またＴＧ３０７ａに対して、ＡＤ変換器３０１ｂ，３０１ｃ，３０１ｄ，３０１ｅをオン状態、その他のＡＤ変換器（３０１ａ，３０１ｆ）はオフ状態にする設定を行う。また、ＡＤ変換器３０１ｂ，３０１ｄにはセレクタ３２６にランプ信号Ａを選択する設定を行う。ＡＤ変換器３０１ｃ，３０１ｅにはセレクタ３２６にランプ信号Ｂを選択する設定を行う。また、データ出力部３１０ａ、データ出力部３１１ａをオンにする設定を行う。

次にステップＳ１１４においてＤＦＥ１０１の設定を行う。ここでは、補正値を生成するための設定を行う。補正値生成回路４００に補正値を生成する設定を行う。また、ＲＡＭ４０３に対して、補正値生成のために使用するＲＡＭをＲＡＭ４０３ｂにする設定を行う。

また、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部３１０ａからのデータのみを選択する。また、ＲＡＭ４０３に対して、補正のために使用するＲＡＭをＲＡＭ４０３ａにする設定を行う。

次にステップＳ１１５において、補正データの読み出しとＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．ＬＶ＿３に示す。

このときの補正データの読み出しにおける撮像素子１００の動作を、図６Ｂに示す。前述した図６Ａの補正データ読み出し時の動作と異なるのは、制御信号ｓｅｌ２＿０，２，４，６，８，１０を駆動する点であり、他は図６Ａと同様であるため説明を省略する。

このときの、画素と列出力線の接続を示す概念図を再び図７を用いて説明する。フレームＮｏ．ＬＶ＿３に示すように、０，２，４行目が列出力線３００ｅ（列出力線４）に接続され、６，８，１０行目が列出力線３００ｃ（列出力線２）に接続されることになる。同一列出力線に接続された画素信号は混合（加算）された状態でＡＤ変換器においてＡＤ変換される。

また、同時にＬＶ画像データの読み出しを行う。このときのＬＶ画像データの読み出しは前述した図１０Ａと同様であるため、説明を省略する。

次に、ステップＳ１１５におけるＤＦＥ１０１の動作（図５のＬＶ＿３フレーム）について説明する。このフレームでは、画像データと補正データの読み出し期間が重複する。

撮像素子１００のデータ出力部３１１ａから補正データが出力され、補正値生成回路４００に入力される。補正値生成回路４００には、列出力線３００ｃ，３００ｅ（列出力線２，４）をそれぞれ経由した補正データが順次入力される。

補正値生成回路４００は各列出力線の列毎に、ＲＡＭ４０３ｂへ補正データを一時格納しながら加算する。所定の行数の加算後に平均し、補正値としてＲＡＭ４０３ｂへ格納する。

また、ＬＶ画像の補正については、前述したステップＳ１０５の動作と同様のため、説明を省略する。ＤＦＥ１０１で補正値の生成とＬＶ画像の補正が終了すると、ステップＳ１１６へ進む。

ステップＳ１１６では、ＣＰＵ１０２は、メインスイッチが押下されているか否かを判断し、メインスイッチが押下されている場合には（ステップＳ１１６のＹＥＳ）、撮影を終了する。メインスイッチが押下されていない場合には（ステップＳ１１６のＮＯ）、ステップＳ１１２に進む。ステップＳ１１２において、さらにＩＳＯ感度が変更されないと判断された場合には、ステップＳ１０３へ進む。

ステップＳ１０３において、ＣＰＵ１０２は撮像素子１００に対してＬＶ画像データを読み出す設定を行う。ＣＰＵ１０２は垂直走査回路３０３に対して、遮光画素領域ＶＯＢ＿１と有効画素領域の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成されるランプ信号Ａの傾きとして、ＬＶ画像データを読み出すときの傾き（例えば撮影感度ＩＳＯ１６００で撮影するための傾き）を設定する。またＴＧ３０７ａに対して、ＡＤ変換器３０１ｅ，３０１ｃをオン状態、その他のＡＤ変換器（３０１ａ，３０１ｂ，３０１ｄ，３０１ｆ）をオフ状態にする設定を行う。

また、ＡＤ変換器３０１ｅ，３０１ｃのセレクタ３２６に対してランプ信号Ａを選択する設定を行う。また、データ出力部３１１ａをオフにし、データ出力部３１０ａをオンにする設定を行う。

次にステップＳ１０４においてＤＦＥ１０１の設定を行う。ここでは、ＬＶ画像データを補正するための設定を行う。セレクタ４０２をａに設定し、データ出力部３１０ａからの画像データのみを選択する。また、ＲＡＭ４０３に対して、補正のために使用するＲＡＭをＲＡＭ４０３ａにする設定を行う。

次にステップＳ１０５において、ＬＶ画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．ＬＶ＿４に示す。

このときの補正データ読み出し時の撮像素子１００の動作を、図１０Ｂに示す。前述した図６Ａの補正データ読み出し時の動作と異なるのは、制御信号ｓｅｌ２＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０を駆動する点であり、他は図１０Ａと同様であるため説明を省略する。

このときの、画素と列出力線の接続を示す概念図を再び図７を用いて説明する。フレームＮｏ．ＬＶ＿４に示すように、１２ｋ＋０，１２ｋ＋２，１２ｋ＋４行目が列出力線３００ｅ（列出力線４）に接続され、１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目が列出力線３００ｃ（列出力線２）に接続されることになる。同一列出力線に接続された画素信号は混合（加算）された状態でＡＤ変換器においてＡＤ変換される。

次に、ステップＳ１０５におけるＤＦＥ１０１の動作（図５のＬＶ＿４フレーム）について説明する。

撮像素子１００のデータ出力部３１０ａからＬＶ画像データが出力され、補正回路４０１へ入力される。図１１に示すように補正回路４０１には、列出力線３００ｃ，３００ｅ（列出力線２，４）をそれぞれ経由した画像データが順次入力される。

補正回路４０１はＲＡＭ４０３ｂに格納されている補正値を、入力される画像データの列と対応するタイミングで受信し、各列出力線の列毎に画像データから補正値を減算する。その後、ＣＰＵ１０２に対して画像データを出力する。

ＣＰＵ１０２は入力されたＬＶ画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、表示部１０４へライブビュー画像として表示する動作を開始する。

その後ステップＳ１０６へ進む。ステップＳ１０６において静止画撮影スイッチが押下されていた場合（ステップＳ１０６のＹＥＳ）には、ステップＳ１０７へ進む。

ステップＳ１０７では、ＣＰＵ１０２は静止画用の補正データをＤＦＥ１０１に送信する。ここでは、静止画撮影はＩＳＯ１６００で行われるものとする。ＣＰＵ１０２はＲＯＭ１０６に格納される、列出力線３００ａ～３００ｆ（列出力線０～５）の列毎のＩＳＯ１６００に対応する補正値をＤＦＥ１０１のＲＡＭ４０３へ送信する。ここではＬＶ画像データの補正に使用していないＲＡＭ４０３ａに書き込まれる。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．ＬＶ＿５に示す。その後ステップＳ１０８へ進む。

ステップＳ１０８において、ＣＰＵ１０２は撮像素子１００に対して静止画画像データを読み出す設定を行う。ＣＰＵ１０２は垂直走査回路３０３に対して、遮光画素領域ＶＯＢ＿１と有効画素領域の制御信号ｒｅｓ，ｔｘ，ｓｅｌ０～２等のパルス設定を行う。

また、ランプ信号発生器３０６ａにより生成するランプ信号Ａの傾きとして、静止画画像データを読み出すときの傾き（例えば撮影感度ＩＳＯ１６００で撮影するための傾き）を設定する。またＴＧ３０７ａに対して、ＡＤ変換器３０１ａ～３０１ｆをオン状態にする設定を行う。

また、ＡＤ変換器３０１ａ～３０１ｆのセレクタ３２６にランプ信号Ａを選択する設定を行う。また、データ出力部３１０ａ、データ出力部３１１ａをオンにする設定を行う。

次にステップＳ１０９においてＤＦＥ１０１の設定を行う。ここでは、静止画画像データを補正するための設定を行う。セレクタ４０２をｂに設定し、データ出力部３１０ａとデータ出力部３１１ａからのデータを選択する。また、ＲＡＭ４０３に対して、補正のために使用するＲＡＭをＲＡＭ４０３ａにする設定を行う。また、ＲＡＭ４０３ｂに格納される補正値は保持する設定を行う。

次にステップＳ１１０において、静止画画像データの読み出しを行う。なお、このときの各構成要素の状態を示す概念図を図５のフレームＮｏ．静止画に示す。

静止画画像データの読み出しにおける撮像素子１００の動作について、図１０Ｃを用いて説明する。

時刻ｔｅ０において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０がＨになり、転送スイッチ２０２がオンになる。このとき、ｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０はＨになっている。そして、フォトダイオード２０１に蓄積された電荷は、転送スイッチ２０２、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１はリセットされる。

時刻ｔｅ１において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬとし、フォトダイオード２０１における光電荷の蓄積が開始される。

所定の時間だけ光電荷の蓄積を行った後の時刻ｔｅ２において、選択スイッチ２０６の制御信号ｓｅｌ０＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０がＨになる。そして、増幅ＭＯＳトランジスタ２０４のソースが列出力線に接続される。

時刻ｔｅ３において、リセットスイッチ２０５の制御信号ｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬとすることでＦＤ部２０３のリセットを解除する。このとき、ＦＤ部２０３の電位に応じたリセット信号レベルの電位が増幅ＭＯＳトランジスタ２０４を介して列出力線３００ａ～３００ｆに出力され、ＡＤ変換器３０１ａ～３０１ｆに入力される。

このときの、画素と列出力線の接続を示す概念図を再び図７を用いて説明する。フレームＮｏ．静止画に示すように、１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目がそれぞれ列出力線３００ａ～３００ｆ（列出力線０～５）に接続されることになる。

各画素２００の出力端子ｖｏｕｔ０にはノイズレベルが出力され、列出力線３００ａ～３００ｆには１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目の画素のノイズレベルが出力される。

次に、時刻ｔｅ４において、ＴＧ３０７ａはＡＤ変換器３０１ａ～３０１ｆを駆動し、ＡＤ変換を開始する。ここで各列出力線に出力されるノイズレベルがＡＤ変換される。ＡＤ変換開始にカウンタ３０５ａがカウント値のインクリメント動作を開始する。列出力線３００ａ～３００ｆの信号レベルとセレクタ３２６から出力されるランプ信号レベルを比較器３２７で比較し、一致した時点のカウンタ値をＬａｔｅｈ＿Ｎ３２８に格納することによりＡＤ変換が行われる。

時刻ｔｅ５において、ＡＤ変換が終了されると、ＡＤ変換器３０１ａ～３０１ｆはそれぞれＡＤ変換されたノイズレベルを保持する。

時刻ｔｅ６において、垂直走査回路３０３は、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＨにする。それに伴って、１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目の画素２００の転送ゲート２０２がオンされる。

そして、各画素のＰＤ２０１に蓄積されている信号電荷（光電荷）が増幅ＭＯＳトランジスタ２０４で構成されるソースフォロアのゲートに転送される。ソースフォロアは転送された信号電荷に見合う分だけリセットレベルから電位が変動して信号レベルが確定する。

このとき、各画素２００の出力端子ｖｏｕｔ０には信号レベルが出力され、列出力線３００ａ～３００ｆには１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０行目の画素の信号レベルが出力される。

その後、時刻ｔｅ７において、制御信号ｔｘ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＬにし、ＰＤ２０１からの転送を完了する。

次に、時刻ｔｅ８において、ＴＧ３０７ａはＡＤ変換器３０１ｂ，３０１ｄを駆動し、ＡＤ変換を開始する。すなわち各列出力線に出力される信号レベルがＡＤ変換される。時刻ｔｅ９において、ＡＤ変換が終了されると、ＡＤ変換器３０１ｂ，３０１ｄは、それぞれＡＤ変換された信号レベルを保持する。

その後、時刻ｔｅ１０においてｒｅｓ＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０をＨとし、再びＦＤ部２０３をリセット状態とする。また、撮像素子１００の外部へのデータ出力を開始する。水平走査回路３０４は水平走査を開始し、各列のＡＤ変換器３０１ｂ，３０１ｄのＮ信号とＳ信号をＳ－Ｎ演算部３０８ａへ順次転送する。

Ｓ－Ｎ演算部３０８ａで列毎にＳ信号からＮ信号が減算され、データ振り分け部３０９ａを経由して、データ出力部３１１ａから静止画画像データが出力される。

時刻ｔｅ１１において制御信号ｓｅｌ０＿１２ｋ＋０，１２ｋ＋２，１２ｋ＋４，１２ｋ＋６，１２ｋ＋８，１２ｋ＋１０がＬになる。その後、時刻ｔｅ１２において全列のデータ出力が終了すると、データ出力の１転送単位が終了する。

本実施形態では、図８（ｂ）に示すように、垂直方向（列方向）において、遮光画素領域ＶＯＢ＿１、有効画素領域に対して図１０Ｃに示す静止画画像データ読み出し動作を行うことにより、静止画画像データを出力する。

次に、ステップＳ１１０におけるＤＦＥ１０１の動作（図５の静止画フレーム）について説明する。

撮像素子１００のデータ出力部３１０ａ、データ出力部３１１ａから静止画画像データが出力され、補正回路４０１へ入力される。補正回路４０１には、列出力線３００ａ～３００ｆ（列出力線０～５）をそれぞれ経由した静止画画像データが順次入力される。

補正回路４０１はＲＡＭ４０３ａに格納されている補正値を、入力される静止画画像データの列と対応が合うタイミングで受信し、各列出力線の列毎に静止画画像データから補正値を減算する。その後、ＣＰＵ１０２に対して静止画画像データを出力する。

ＣＰＵ１０２は入力された静止画画像データを画像処理部１０７へ転送し、画像処理部１０７内で不図示の現像回路での現像を行い、記録部１０８へ静止画として記録する。静止画撮影が終了すると、ステップＳ１０３に進む。

上記の動作により、動画撮影においてＩＳＯ感度などの撮影モードが変わった場合でも、動画（ＬＶ画像）フレームが消失することなく、撮影モードに対応した補正を画像に適用することができる。また、撮影直前に補正値を生成するため、必要な撮影モード毎の補正値を記憶する必要がない。

なお、本実施形態では、ＩＳＯ感度に関連してＡＤ変換器のゲインを変更した場合に、補正値を取得する構成としたが、これに限定されるものではない。例えば、内蔵アンプのゲインなどが変更された場合にも適用できる。また、ＡＤ変換のｂｉｔ数、垂直方向／水平方向の画素混合数などの撮影モードが切り替わった場合などにも適用することができる。

また、本実施形態ではオフセット補正を行う構成としたが、ゲイン補正など列回路に起因する補正であれば適用可能である。

＜第２の実施形態＞
以下、図１２を参照して、本発明の第２の実施形態に係わる撮像装置について説明する。図１２は、本実施形態における撮像装置の構成を示すブロック図である。本実施形態における撮像装置１００１は、撮像素子５００を有する。また、第１の実施形態で説明した撮像装置１０００と比較して、ＤＦＥ１０１を持たず、撮像素子５００から直接ＣＰＵ１０２にデータが送信される。それ以外は撮像装置１０００と同様であるため、説明を省略する。

図１３は、撮像素子５００の構成を示す図である。画像補正回路５０１ａ，５０１ｂは、Ｓ－Ｎ演算部３０８ａ，３０８ｂから出力される補正データに基づいて補正値を生成し、画像データを補正する。データ出力部５０２ａ，５０２ｂはＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ）等の伝送方式である。

画像補正回路５０１ａ，５０１ｂから出力された画像データは、データ出力部５０２ａ，５０２ｂから撮像素子５００の外部へ出力される。画像補正回路５０１ａ，５０１ｂ、データ出力部５０２ａ，５０２ｂ以外の構成は撮像素子１００と同様であるため、説明を省略する。

次に、図１４を用いて画像補正回路５０１の構成について説明する。図１４は、ＣＰＵ１０２との接続を含めた画像補正回路５０１の構成を示す図である。Ｓ－Ｎ演算部３０８ａ（３０８ｂ）から入力されたデータは、補正値生成回路５０３、補正回路５０４へ入力される。ＳＳＧ５０５はＴＧ３０７ａ（３０７ｂ）からの不図示の制御信号に基づいて、入力データの種別とデータ数をカウントし、補正値生成回路５０３と補正回路５０４に対して、補正値生成と補正のタイミング制御を行う。

補正値生成回路５０３はＳＳＧ５０５のタイミング制御信号に基づき、入力されるデータが補正データである場合に、列回路（列出力線、ＡＤ変換器等）毎の補正値を生成し、ＲＡＭ５０６へ格納する。ＲＡＭ５０６は、ＲＡＭ５０６ａとＲＡＭ５０６ｂを有する。いずれか一方のＲＡＭに読み出しを行う画像の補正値を格納し、補正に使用する。補正に使用していない側のＲＡＭでは補正値生成や保持が行われるか、またはパワーダウンされる。また、ＲＡＭ５０６ａまたはＲＡＭ５０６ｂは、ＣＰＵ１０２から送信される補正値を書き込む機能を有する。

補正回路５０４は、ＳＳＧ５０５のタイミング制御信号に基づき、入力されるデータが画像データである場合に、列回路毎にＲＡＭ５０６から出力される補正値を画像データから減算し、オフセット補正を行う。その後ＣＰＵ１０２に対してデータを出力する。

本実施形態の画像補正回路５０１ａ（５０１ｂ）は、補正値生成回路５０３と補正回路５０４がＳＳＧ５０５でタイミング制御されて処理を実行する以外、第１の実施形態で説明したＤＦＥ１０１の機能と同様である。ＤＦＥ１０１では、画像データと補正データが撮像素子１００から分かれて入力されるが、画像補正回路５０１ａ（５０１ｂ）ではＳＳＧ５０５でデータの判別とデータ数カウントを実施している。画像補正回路５０１ａ（５０１ｂ）、補正回路５０４、ＲＡＭ５０６の動作内容は、ＤＦＥ１０１の補正値生成回路４００、補正回路４０１、ＲＡＭ４０３と同様である。

本実施形態の撮像装置１００１の動作は、第１の実施形態における図４の動作に対して、ＤＦＥ１０１で行っている動作が画像補正回路５０１ａ（５０１ｂ）に変更されるのみであるため、説明を省略する。

上記の動作により、動画撮影においてＩＳＯ感度などの撮影モードが変わった場合でも動画フレームが消失することなく、撮影モードに対応した補正を画像に適用することができる。

本実施形態では、撮像素子外に補正値を生成するためのデータを出力する必要がないため、撮像素子のデータ出力インターフェース（Ｉ／Ｆ）に関して画像データの出力レートを制限することがない。また、撮像素子外へ出力する場合と比べて出力Ｉ／Ｆをパワーダウンできるので、消費電力を削減することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像素子、１０１：ＤＦＥ、１０２：ＣＰＵ、１０４：表示部、１０７：画像処理部、１０９：撮影レンズ、１０００：撮像装置

Claims (19)

1. 光電変換を行う複数の画素が行列状に配置された画素領域と、
   前記画素領域の各画素列に並列に複数配置され、同じ画素列に配置された異なる複数画素の信号がそれぞれ出力される複数の列出力線と、
   前記複数の列出力線に１対１で接続された複数の列回路と、
   前記複数の列回路の特性差に基づいて画像データを補正する補正手段と、
   同じ画素列に配置された前記複数の列出力線のうちの第１の列出力線に画像データ生成用の信号を出力し、前記同じ画素列に配置された前記複数の列出力線のうちの前記第１の列出力線とは異なる第２の列出力線に前記補正手段による補正データ生成用の信号を出力するように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の列出力線に第１のモードにより得られる画像データ生成用の信号を出力し、前記第２の列出力線に前記第１のモードとは異なる第２のモードに対応する補正データ生成用の信号を出力するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、さらに前記第２の列出力線に前記第２のモードにより得られる画像データ生成用の信号を出力するように制御するとともに、前記補正手段が前記第２のモードに対応する補正データを用いて前記第２のモードにより得られた画像データを補正するように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記第１のモードと前記第２のモードは、ＩＳＯ感度が異なることを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１のモードと前記第２のモードは、ＡＤ変換のｂｉｔ数が異なることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記第１のモードと前記第２のモードは、列方向の画素の混合数が異なることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記第１のモードと前記第２のモードは、行方向の画素の混合数が異なることを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記画像データ生成用の信号と前記補正データ生成用の信号は、異なる出力部を介して出力されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記列回路は、前記列回路ごとにゲインが設定されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記画像データ生成用の信号の出力期間と前記補正データ生成用の信号の出力期間は重複することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記画像データ生成用の信号の出力期間と前記補正データ生成用の信号の出力期間は重複しないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 前記制御手段は、前記画像データ生成用の信号または前記補正データ生成用の信号の出力期間のいずれかにおいて、使用しない前記列回路をオフするように制御することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記第１または第２の列出力線のいずれかを用いて画素の信号を読み出すモードと、前記第１および第２の列出力線を用いて画素の信号を読み出すモードとを有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記補正手段は、前記補正データ生成用の信号を用いて得られた補正値を用いて前記画像データを補正するモードと、前記補正データ生成用の信号を用いないで得られた補正値を用いて前記画像データを補正するモードとを有することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記補正手段は、撮像素子に内蔵されることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記補正データ生成用の信号は、前記画素領域において、光電変換素子からの信号を転送しない読み出しにより得られることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 光電変換を行う複数の画素が行列状に配置された画素領域と、前記画素領域の各画素列に並列に複数配置され、同じ画素列に配置された異なる複数画素の信号がそれぞれ出力される複数の列出力線と、前記複数の列出力線に１対１で接続された複数の列回路と、を備える撮像装置を制御する方法であって、
    前記複数の列回路の特性差に基づいて画像データを補正する補正工程と、
    同じ画素列に配置された前記複数の列出力線のうちの第１の列出力線に画像データ生成用の信号を出力し、前記同じ画素列に配置された前記複数の列出力線のうちの前記第１の列出力線とは異なる第２の列出力線に前記補正工程による補正データ生成用の信号を出力するように制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
18. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images