JP2018033101A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮像装置において、電荷保持部から増幅部への１回の電荷転送につき、光電変換部から電荷保持部への電荷転送を複数回行う場合の画質劣化を抑制する。【解決手段】複数の画素が二次元的に配列された撮像素子であって、それぞれの画素が、入射光を電荷に変換する光電変換部と、光電変換部で得られた電荷を保持する保持部と、保持部から出力される電荷に基づく信号を出力する増幅部と、光電変換部から保持部へ電荷を転送する第１の転送スイッチと、保持部から増幅部へ電荷を転送する第２の転送スイッチと、を有する、撮像素子と、撮像装置の設定に応じて、第２の転送スイッチの１回のオンにつき、第１の転送スイッチをオンする回数を制御する制御部とを備える。【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、ビデオカメラに代表される撮像装置の撮像素子として、ＣＭＯＳイメージセンサ（以下、ＣＭＯＳセンサ）が主に用いられている。ＣＭＯＳセンサは、その駆動方式として、水平ラインを順次露光し、ラインごとに映像信号を順次読み出して一つのフレームを生成するローリングシャッタ方式と、水平ラインの露光タイミングを全行で同じタイミングとして映像を読み出すグローバルシャッタ方式がある。

一般的に、ローリングシャッタ方式では、各行で露光時間がずれていくローリングシャッタ歪が発生するが、グローバルシャッタ方式では全行で同時に露光を行うため、ローリングシャッタ歪が発生せず、動体を撮影する場合に有利である。

グローバルシャッタ方式を実現するためには、光電変換部の他に、電荷を保持する保持部を設けることが必要である。しかしながら、ローリングシャッタ方式に比べ、保持部を設けることで相対的に光電変換部の面積が小さくなり、１画素が扱うことのできる飽和電荷量が少なくなってしまう。

特許文献１では、電荷保持部から増幅部に電荷を転送する間に光電変換部から電荷保持部へ複数回電荷を転送することにより、飽和電荷量を拡大する方法が記載されている。

特開２０１５−１７７３４９号公報

しかしながら、電荷保持部から増幅部へ電荷を転送する間に、光電変換部から電荷保持部へ電荷を複数回転送するような撮像方法を行った場合、次のような問題がある。すなわち、１フレームの映像信号の読み出し速度（以下、フレームレート）が低下したり、閃光などの一瞬の明るい被写体が発生した場合に、画像の色バランスがくずれてしまう可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、各画素に電荷保持部を設けることで相対的に光電変換部の面積が小さい撮像素子を備えた撮像装置において、飽和電荷量の拡大に伴う画質劣化を抑制することである。

本発明に係わる撮像装置は、複数の画素が二次元的に配列された撮像素子であって、それぞれの前記画素が、入射光を電荷に変換する光電変換部と、前記光電変換部で得られた電荷を保持する保持部と、前記保持部から出力される電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、を有する、撮像素子と、撮像装置の設定に応じて、前記第２の転送スイッチの１回のオンにつき、前記第１の転送スイッチをオンする回数またはオンしている時間を制御する制御手段と、を備えることを特徴とする。

本発明によれば、各画素に電荷保持部を設けることで相対的に光電変換部の面積が小さい撮像素子を備えた撮像装置において、飽和電荷量の拡大に伴う画質劣化を抑制することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示す図。 撮像素子の画素の構造を示す図。 転送スイッチの動作タイミングを示す図。 転送スイッチの動作と電荷量の推移を示す図。 第１の実施形態の撮像装置の動作を示すフローチャート。 第１の実施形態におけるガンマ補正の例を示す図。 第２の実施形態における転送スイッチの動作と電荷量の推移を示す図。 列出力線にクリップ回路を設けた場合の列回路の構成図。 第３の実施形態における撮像装置の動作を示すフローチャート。 第４の実施形態における転送スイッチの動作と電荷量の推移を示す図。 第４の実施形態における転送回数の算出方法を示すフローチャート。 第５の実施形態における転送回数の算出方法を示すフローチャート。 第６の実施形態における転送回数の算出方法を示すフローチャート。 第６の実施形態における読出しと蓄積のタイミングを示した図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置２００のブロック構成を示す図である。図１において、撮像装置２００は、並列型ＡＤ変換器を実装しているＣＭＯＳ型のイメージセンサである撮像素子１と、画像処理ＬＳＩ２とを有する。画像処理ＬＳＩ２は、撮像素子１が出力する画像データに対し、ホワイトバランス調整処理や、ガンマ補正処理などの現像処理を行い、現像処理した画像データを最終的にモニタに出力したり、記録媒体に記録したりする。画像処理ＬＳＩ２はＣＰＵを内蔵しており、このＣＰＵにより、撮像装置２００の動作モードに応じて撮像素子１と通信（例えばシリアル通信）し、制御を行う。

撮像素子１は、タイミング制御部１００、画素部１１０、垂直走査回路１２０、列回路１３０、水平転送回路１４０、信号処理回路１５０、外部出力回路１６０、コントローラ回路１７０を有する。コントローラ回路１７０は、画像処理ＬＳＩ２とのインターフェイス（Ｉ／Ｆ）部であり、シリアル通信などを用いて、画像処理ＬＳＩ２のＣＰＵからの撮像素子１への制御を受け付ける。

タイミング制御部１００は、この撮像素子１の各ブロックに対する動作クロック（ＣＬＫ）を供給し、また、各ブロックにタイミング信号を供給して、動作を制御する。画素部１１０は、入射光量に応じて光電変換を行い、電圧信号を出力する多数の画素を有する。各画素は光電変換素子（フォトダイオード）を有し、フォトダイオードの表面には、カラーフィルタとマイクロレンズが実装されている。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタを用い、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期になるように配置されている。しかし、必ずしもベイヤー配列に限定されるものではない。なお、本実施形態の撮像素子１における画素部１１０の構造については、図２を用いて後述する。

垂直走査回路１２０は、二次元的に配置された画素部１１０が生成した画素信号電圧を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に画素部１１０の上部の行から下部の行にかけて、行単位で順次読み出される。列回路１３０は、列ごとに画素部１１０から読みだされた信号を電気的に増幅するためのアンプや、信号をアナログデジタル変換するＡＤ変換回路を備える。

水平転送回路１４０は、列回路１３０から出力された画素信号を、水平方向に転送する回路である。水平転送回路１４０の出力は信号処理回路１５０に入力される。信号処理回路１５０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える他に、シフト演算や乗算を行うことで、簡易的にゲイン演算を行う。また、画素部１１０に、意図的に遮光した画素領域を設けることで、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路１５０の出力データは、外部出力回路１６０に入力される。外部出力回路１６０はシリアライザー機能を有し、信号処理回路１５０から入力される多ビットのパラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイス（本実施形態の場合、画像処理ＬＳＩ２）に出力する。

図２は、図１における画素部１１０に配置された各画素の構成を示す図である。光電変換部２１は、入射した光から生じる信号電荷を蓄積する。第１の転送スイッチ２５は、制御信号ＴＸ１で制御され、光電変換部２１に蓄積された信号電荷を保持部２２へ転送する。第２の転送スイッチ２６は、制御信号ＴＸ２により制御され、保持部２２で保持された信号電荷を増幅部３０の入力ノードであるフローティングディフュージョン（ＦＤ）２３へ転送する。増幅部３０は、ＦＤ２３の信号電荷量に基づく電圧信号を増幅して出力する。

リセットトランジスタ２７は、制御信号ＲＥＳで制御され、ＦＤ２３の信号電荷をリセットする。制御信号ＳＥＬにより制御される画素選択用の選択トランジスタ２８は、増幅部３０により増幅された電圧信号を列出力線２９へ出力する。なお、制御信号ＯＦＤで制御されるオーバーフロードレイントランジスタ（ＯＦＤトランジスタ）２４は、光電変換部２１の不要な電荷をリセットするためのトランジスタである。本実施形態では、保持部２２を設けることにより、列出力線２９へ信号を出力するまで信号電荷を溜めておくことができ、その期間に光電変換部２１はさらなる信号電荷を蓄積することができる。そのため、全画素同時蓄積のグローバルシャッタ動作が可能となる。

図３は、制御信号ＯＦＤによって制御されるオーバーフロードレインと、制御信号ＴＸ１，ＴＸ２によって制御される第１及び第２の転送スイッチ２５，２６のオン／オフするタイミングを示したタイミングチャートである。

制御信号ＯＦＤがハイレベルになることによってオーバーフロードレインから光電変換部２１の不要な電荷を排出した後、制御信号ＯＦＤをローレベルにすることにより光電変換部２１への信号電荷の蓄積が開始される。制御信号ＴＸ１は、光電変換部２１の蓄積が終わる前に１回以上ハイレベルとなり、光電変換部２１の信号電荷が保持部２２へ転送される。

図３（ａ）は、光電変換部２１の蓄積期間中（制御信号ＯＤＦがローレベルになってから次にハイレベルになるまでの期間）に、光電変換部２１から保持部２２への信号電荷の転送を２回行う様子を示す図である。光電変換部２１に蓄積可能な信号電荷量が保持部２２に蓄積可能な信号電荷量より少なくても、信号電荷の転送を複数回行うことにより、保持部２２の電荷飽和量いっぱいまで信号電荷を溜めることができる。一方、図３（ｂ）は、光電変換部２１の蓄積期間中に、光電変換部２１から保持部２２への信号電荷の転送を１回のみ行う様子を示しており、この場合は、光電変換部２１の飽和電荷量しか保持部２２に信号電荷を溜めることができない。保持部２２へ転送された信号電荷は、制御信号ＴＸ２がハイレベルになることによってＦＤ２３へ転送されて電圧信号に変換され、選択トランジスタ２８により列出力線２９へ行ごとに順次出力される。

図４は、上述した光電変換部２１の電荷蓄積期間中に、保持部２２へ信号電荷の転送を２回行う場合の、光電変換部２１の電荷量と、保持部２２の電荷量の推移の一例を示した図である。

図４（ａ）は、被写体の明るさによって、光電変換部の電荷量が飽和電荷量まで到達していない場合の電荷の推移を示した図である。時刻ｔ１で制御信号ＯＦＤがローレベルになってから、保持部２２への第１の電荷の転送が始まる時刻ｔ２まで光電変換部２１は第１の露光（信号電荷の蓄積）を行う。時刻ｔ２から時刻ｔ３までは、制御信号ＴＸ１がハイレベルになって、第１の転送スイッチがＯＮとなり、光電変換部２１から保持部２２への信号電荷の転送が行われる。時刻ｔ３からｔ４では、光電変換部２１で第２の露光（信号電荷の蓄積）が行われる。時刻ｔ４から時刻ｔ５では、制御信号ＴＸ１が再度ハイレベルになって、第１の転送スイッチ２５がＯＮとなり、光電変換部２１から保持部２２への信号電荷の転送が行われる。保持部２２へ信号電荷が転送された後、光電変換部２１の信号電荷をリセットするために、次の電荷蓄積が始まる時刻まで制御信号ＯＦＤをハイレベルにする。制御信号ＯＦＤをハイレベルにする時刻は、設定する蓄積時間によって異なる。保持部２２には、光電変換部２１から転送された２回分の信号電荷が蓄積され、ＦＤ２３へ転送する時刻ｔ６になるまで信号電荷を保持する。そして、時刻ｔ６になると制御信号ＴＸ２をハイレベルにして第２の転送スイッチ２６をオンし、保持部２２の信号電荷をＦＤ２３へ転送する。

図４（ｂ）は、図４（ａ）と同じ駆動であるが、時刻ｔ７で、ストロボ光のように露光時間に対して充分に短い発光時間でかつ明るい光が発生した場合を示している。この場合、時刻ｔ７で光電変換部の飽和電荷量まで蓄積される。保持部２２の電荷量は、時刻ｔ２から時刻ｔ３における初めの転送で光電変換部２１の飽和電荷量まで蓄積される。次の光電変換部２１の露光中に閃光が発生しなければ、こちらは通常の被写体の明るさ分だけ電荷が蓄積される。

このような場合、閃光が発生しなかった２回目の露光では、画素部に設けられたＲ、Ｇ、Ｂのカラーフィルタを通じて、被写体の色に応じた光量が入射され、蓄積される電荷量が色ごとに異なる。しかし、１回目の露光では、閃光の影響でＲ、Ｇ、Ｂの全ての色が光電変換部２１の飽和電荷量まで蓄積されてしまい、蓄積される電荷量が各色とも同じになってしまう。そのため、保持部２２へ転送される２回の合計の電荷量のバランスが、実際の被写体の色バランスと異なってしまい、画質劣化の原因となる。これに対し、図３（ｂ）に示したような光電変換部２１の信号電荷蓄積期間中に、保持部２２への電荷の転送を１回しか行わない場合は、このような問題は発生しない。

そこで、本実施形態では、撮像装置の設定条件に応じて光電変換部２１の蓄積期間中の保持部２２への信号電荷転送回数を制御する。図５は、本実施形態の撮像装置の動作を示すフローチャートである。

図５（ａ）は、撮像装置の信号増幅部のゲイン設定（ＩＳＯ感度設定）に応じて、光電変換部２１から保持部２２への信号電荷転送回数を切り替える例を示している。まず、ステップＳ１において、撮像装置のゲインが最低ゲインの２倍以上（６ｄＢ以上）か否かを判定する。ステップＳ１において、ゲインが２倍未満であればステップＳ２に進み、光電変換部２１から保持部２２への電荷転送を２回行う。一方、ゲインが２倍以上であればステップＳ３に進み、光電変換部２１から保持部２２への電荷転送を１回にする。そして、ステップＳ４では、次のフレームの露光に進み、ステップＳ１〜Ｓ４を撮影停止まで繰り返す。

このように、ゲイン設定が最低ゲインの２倍以上であれば、光電変換部２１の飽和電荷量の電荷を１回転送するだけでも、後段に設けられた信号増幅部のゲインで信号量を稼ぐことができるため、電荷転送を１回のみ行うように制御する。また、ゲイン設定が最低ゲインの２倍未満である場合には、後段の信号増幅部のゲインで信号量を稼ぐことができないため、電荷転送を２回行うように制御する。

また、図５（ｂ）は、撮像装置のガンマ補正入力部のダイナミックレンジの上限値に応じて、光電変換部２１から保持部２２への信号電荷転送回数を切り替える例を示している。具体的には、ステップＳ１’において、ガンマカーブのダイナミックレンジの上限値が４００％未満である場合は電荷転送を２回行い、４００％以上である場合は電荷転送を１回にする。その他の動作は、図５（ａ）の場合と同様である。

このようにガンマカーブのダイナミックレンジの上限値が小さい場合には、閃光が画質に与える影響が大きくなるため、電荷転送を１回のみ行うように制御する。ガンマカーブのダイナミックレンジの上限値が大きい場合には、閃光が画質に与える影響が小さいため、電荷転送を２回行うように制御する。

図６は、ガンマ補正入力のダイナミックレンジの上限値を１２００％とした場合のガンマカーブの例を示している。２回の電荷転送のうち、１回目の露光期間が閃光によって光電変換部２１の飽和電荷量まで蓄積された場合、ガンマ補正入力の６００％程度の入力信号となる。そのときの出力は１００ＩＲＥ以上となっており、ほぼ白となっているため、色バランスが崩れてもそれほど目立たない。なお、図５（ａ）と図５（ｂ）を合わせ、ゲインとガンマカーブの両方に基づいて転送回数を選択してもよい。

以上説明したように、本実施形態によれば、光電変換部の蓄積期間中に行う保持部への電荷転送の回数を撮像装置の設定に応じて切り替えることにより、閃光発生時の画質劣化を防ぐことができる。

なお、本実施形態では、撮像装置の設定としてゲイン設定またはガンマ設定を記載した。しかし、ゲイン設定やガンマ設定だけでなく、ノイズリダクションのパラメータ設定や、ニー設定、ホワイトバランスの設定などに応じて電荷の転送回数を切り替えてもよい。また、被写体として高輝度被写体が高速で動いている場合は、１回転送に切り替えるなど、転送回数を切り替える条件は撮像装置の設定や被写体の検出状況により変更されてもかまわない。

＜第２の実施形態＞
第１の実施形態では、光電変換部２１の電荷蓄積期間中に行う保持部２２への電荷転送の回数を撮像装置の設定に応じて切り替えたが、転送回数を変更する以外に、光電変換部２１から保持部２２への転送のオン時間を変更することも可能である。この方法について、図７を用いて説明する。

図７は、光電変換部２１の電荷蓄積期間中に、保持部２２への電荷転送を継続しているときの、光電変換部２１の電荷量と、保持部２２の電荷量の推移の例を示した図である。時刻ｔ１で制御信号ＯＦＤがローレベルになり、光電変換部２１の電荷蓄積が始まると同時に、制御信号ＴＸ１をハイレベルにし、保持部２２への電荷転送を開始する。保持部２２への電荷転送は時刻ｔ５まで継続する。そのため、光電変換部２１には電荷が蓄積されず、保持部２２に直接電荷が蓄積される。

時刻ｔ７で閃光が発生した場合、保持部２２に直接電荷が蓄積されるため、保持部２２の飽和電荷量まで電荷が蓄積される。そのため、色バランスは崩れるものの、Ｒ、Ｇ、Ｂの各色すべて飽和することになり、白飛びした部分として映像出力される。保持部２２はＦＤ２３に電荷を転送する時刻ｔ６になるまで電荷を保持し、時刻ｔ６になると制御信号ＴＸ２がハイレベルになり、電荷が保持部２２からＦＤ２３へ転送される。

このような転送方法を行うことで、閃光発生時に保持部の電荷を飽和電荷量まで蓄積させることができるため、画質劣化を防ぐことができる。

＜第３の実施形態＞
この第３の実施形態では、列出力線におけるクリップ回路の制御について説明する。前述したように、複数回露光時の閃光により色バランスが崩れる原因は、Ｒ、Ｇ、Ｂそれぞれの信号電荷が１回の露光期間で光電変換部の飽和電荷量まで蓄積されてしまい、転送される合計の電荷量が本来の色バランスから崩れてしまうことである。

図８は、画素部１１０から列回路１３０に信号を出力する列出力線２９にクリップ制御回路１９０を設けた場合の構成図である。クリップ制御回路１９０は、列出力線２９の電圧レベルを、あるレベルで（所定値以下とならないように）クリップする回路である。列回路１３０内の列アンプゲインや、画像処理部のデジタルゲイン、ホワイトバランスゲインによって、信号が増幅されるが、増幅した分、保持部の飽和電荷量は少なくても画像処理部の最大値で飽和することになる。

図９は、本実施形態における動作を示すフローチャートである。まず、ステップＳ２１で撮像装置に設定されている電荷の転送回数が１回であるかどうかを判断し、転送回数が１回である場合には、ステップＳ２５に進む。また、転送回数が複数回に設定されている場合、ステップＳ２２でＲ、Ｇ、Ｂの各チャンネル（色プレーン）の回路にかかっているゲイン値を算出する。ここで言うゲイン値とは、撮像素子１の列アンプなどのアナログゲイン、デジタルゲイン、画像処理部のデジタルゲイン、ホワイトバランスゲインなどである。これらのトータルのゲインを算出する。

トータルゲインを算出したら、ステップＳ２３においてクリップ電圧値を決定する。そして、ステップＳ２４でこのクリップ電圧をクリップ回路にセットする。例えば、トータルゲインが、Ｒ、Ｂチャンネルが２倍、Ｇチャンネルが１倍であった場合は、列出力線２９に出力されるＧチャンネルの電圧値に対し、Ｒ、Ｂチャンネルの電圧値が１／２でクリップされるよう、クリップ電圧を制御する。このような制御を行うことで、トータルゲインをかけたあとのＲ、Ｇ、Ｂチャンネルの色バランスが崩れることがなくなり、画質劣化を抑制することができる。

なお、２回転送で保持部の飽和電荷量まで蓄積できる場合、トータルゲインを算出した結果が２倍以上のゲインがかかっている場合は、電荷の転送回数を１回に切り替えた上でクリップ電圧を制御する方法をとることもできる。

＜第４の実施形態＞
この第４の実施形態では、撮像装置の構成及び各画素の構成は、図１、図２に示した第１の実施形態の構成と同様であるため、説明を省略する。

図１０は、第４の実施形態における、光電変換部２１の電荷蓄積期間中に、保持部２２へ電荷の転送を行う場合の、光電変換部２１の電荷量と保持部２２の電荷量の推移の例を示した図である。

図１０では、全画素が同じ明るさの被写体を撮像している例を示す。光電変換部２１の電荷量と保持部２２の電荷量は全画素の情報を表わしている。被写体が同じ明るさなので、光電変換部２１と保持部２２の電荷量は各画素で同様となる。光電変換部２１から保持部２２への電荷の転送のタイミングは各画素で同様となる。ＦＤ２３に転送するタイミングは画素によって異なる。なお、被写体の明るさが画素間で異なれば、光電変換部２１の電荷量は各画素で異なるため、図の高さ方向が画素毎に異なることになる。

図１０（ａ）は、光電変換部２１の蓄積期間中に、光電変換部２１から保持部２２への電荷転送を１回行う場合の、光電変換部２１の電荷量と保持部２２の電荷量の推移の例を示した図である。時刻ｔ１で１フレーム目の撮像が開始される。時刻ｔ２で制御信号ＯＦＤがハイレベルとなり、光電変換部２１の不要電荷が吐き捨てられる。時刻ｔ３で制御信号ＯＦＤがローレベルになると、光電変換部２１の電荷蓄積が開始される。時刻ｔ４からｔ５までは第１の転送スイッチ２５がＯＮとなり、光電変換部２１から保持部２２に電荷が転送される。光電変換部２１の電荷蓄積時間は時刻ｔ３から時刻ｔ５までの時間となる。次のフレームの開始である時刻ｔ５以降、画素毎に制御信号ＴＸ２をハイレベルにし、保持部２２からＦＤ２３に順次電荷を転送する。時刻ｔ１０でＦＤ２３への電荷の転送が完了する。電荷の転送が完了した後、保持部２２をリセットし（不図示）、ＦＤ２３への転送中に光電変換部２１に蓄積していた電荷を光電変換部２１から保持部２２に転送する。

図１０（ｂ）は、光電変換部２１の蓄積期間中に、光電変換部２１から保持部２２への電荷転送を２回行う場合の、光電変換部２１の電荷量と保持部２２の電荷量の推移の例を示した図である。時刻ｔ１で１フレーム目の撮像が開始される。時刻ｔ２で制御信号ＯＦＤがハイレベルとなり、光電変換部の不要電荷が吐き捨てられる。時刻ｔ３で制御信号ＯＦＤがローレベルになってから保持部２２への第１の転送が始まる時刻ｔ４まで、光電変換部で第１の露光（電荷蓄積）を行う。時刻ｔ４から時刻ｔ５までは、光電変換部２１から保持部２２への第１の転送スイッチ２５がＯＮとなり、この期間で光電変換部２１から保持部２２に電荷が転送される。時刻ｔ５で制御信号ＴＸ１がローレベルになると、光電変換部２１で第２の露光（電荷蓄積）を行う。時刻ｔ６から時刻ｔ７までは、光電変換部２１から保持部２２への第１の転送スイッチが再度ＯＮとなり、この期間で光電変換部２１から保持部２２に再度電荷が転送される。この結果、保持部２２には光電変換部２１から転送された２回分の電荷が蓄積される。時刻ｔ７以降、画素毎に制御信号ＴＸ２をハイレベルにし、保持部２２からＦＤ２３に順次電荷を転送する。時刻ｔ１２で電荷の転送が終了する。

保持部２２からＦＤ２３に電荷を転送している最中に、光電変換部２１から保持部２２に電荷を転送すると、保持部２２の電荷量が変わるため、正しく増幅部２３に電荷を転送することができない。そのため、前のフレームの保持部２２からＦＤ２３への電荷の転送が終了した後に、次のフレームの１回目の光電変換部２１から保持部２２への電荷の転送を行う必要がある。また、複数回転送を行う場合、転送毎に蓄積時間が異なると、１回目の転送は飽和し、２回目の転送は飽和しないような状況が発生し、飽和までの線形性が崩れてしまう。そのため、１回目の蓄積時間（ｔ５−ｔ３）と２回目の蓄積時間（ｔ７−ｔ５）が同じになるように、制御信号ＴＸ１をハイレベルにするタイミングを総蓄積時間から決定する。転送回数が３回以上の場合も同様で、蓄積時間が等間隔になるように制御信号ＴＸ１をハイレベルにする期間を決定する。

次に、転送回数の算出方法について説明する。図１１は、転送回数の算出方法を示すフローチャートである。まず、ステップＳ５０１において、フレームレートの情報を取得する。記録のフレームレートと撮像素子１の読み出しのフレームレートが異なる場合には、撮像素子１の読み出しのフレームレートを取得する。

次に、ステップＳ５０２において、撮像素子からの信号読み出し時間を判定する。信号読み出しの速度は撮像素子によって異なる。また、ユーザが設定したカメラの状態により、信号読み出し時間が異なることがある。たとえば、撮像画素数が多く設定されると信号読み出し時間が長くなり、少ないと信号読み出し時間が短くなる。撮像素子や設定に応じて信号読み出し速度を判定する。

次に、ステップＳ５０３において、転送回数を算出する。転送回数は以下の式（１）を用いて求める。

転送回数＝切り捨て｛１／（読み出し時間[s]×フレームレート[fps]）｝ …（１）
例えば信号読み出しにかかる時間が１／１２０［ｓ］の場合の転送回数は、フレームレートが６０ｆｐｓより高い場合は１回、６０ｆｐｓ以下で３０ｆｐｓより高い場合は２回、３０ｆｐｓ以下で１５ｆｐｓより高い場合は３回（１５ｆｐｓ未満は省略）となる。

次に、ステップＳ５０４において、保持部２２の電荷量を満たすために必要な転送回数（以下、必要転送回数）と上記の転送回数を比較する。必要転送回数は以下の式（２）を用いて算出される。

必要転送回数＝切り上げ（保持部が蓄積可能な最大電荷量／光電変換部が蓄積可能な最大電荷量） …（２）
例えば、光電変換部２１と保持部２２の蓄積可能な最大電荷量の比が２：５であれば必要転送回数は３となる。すなわち、転送を３回行えば、保持部２２の蓄積能力を最大限まで使用することができる。

ステップＳ５０４において、転送回数が必要転送回数と比較して大きければ、ステップＳ５０５に進み、転送回数を必要転送回数にする。つまり、必要転送回数以上に転送回数を増やしても意味がないため、必要転送回数で制限する。一方、ステップＳ５０４において、転送回数が必要転送回数以下であれば、ステップＳ５０３で算出された転送回数をそのまま転送回数としてこのルーチンを終了する。

なお、本実施形態では、転送回数の算出の順序は上記の順序に限定されるものではない。また、算出結果をあらかじめテーブル等として記憶しておいてもよい。また、本実施形態では転送回数を最大とする例を示したが、飽和が必要でない場合や転送時にノイズ特性が悪くなるなどの理由で、転送回数に固定値の制限を設けてもよい。例えば、転送回数を２回までに制限したければ、必要転送回数との比較ではなく固定値との比較をしてもよい。

以上説明したように、本実施形態の手法で転送回数を決定すれば、フレームレートに応じて保持部の容量を最大限有効に利用できる転送回数に設定することが可能となる。

＜第５の実施形態＞
第４の実施形態では、撮像素子からの信号読み出し時間とフレームレートに応じて電荷転送回数を変更する例を示した。しかしながら、スローシャッター時についても、フレームレートに応じて転送回数を決めると、転送回数が増加してしまう。例えば、信号読み出し時間が１／１２０［ｓ］、フレームレートが６０ｆｐｓ、シャッター秒時が１／１５［ｓ］であるとすると、転送回数は式（１）より２回となるので、１フレームで電荷転送を２回行うことになる。一方、スローシャッターでは、４フレームで１回の電荷蓄積なので、光電変換部２１における１回の電荷蓄積に対して光電変換部２１から保持部２２に８回電荷を転送することになる。そこで、本実施形態では、蓄積を行うフレームの時間と読み出し時間に応じて転送回数を決定する例を示す。

図１２は、本実施形態における転送回数の算出方法を示すフローチャートである。まず、ステップＳ６０１において、蓄積に使用するフレームの時間（以下、蓄積フレーム時間）を算出する。蓄積フレーム時間は以下の式（３）を用いて算出される。

蓄積フレーム時間[s]＝切り上げ（蓄積時間[s]×フレームレート[fps]）／フレームレート[fps] …（３）
例えばフレームレートが６０ｆｐｓであるとすると、電荷蓄積時間が１／６０［ｓ］以下であれば１フレームで光電変換部２１に電荷を蓄積するので１／６０［ｓ］となり、電荷蓄積時間が１／６０［ｓ］より大きく１／３０以下であれば２フレームで光電変換部２１に電荷を蓄積するので、１／３０［ｓ］となる。

次に、ステップＳ５０２において、第４の実施形態と同様に信号読み出し時間を判定し、ステップＳ５０３において、電荷転送回数を算出する。転送回数の算出は以下の式（４）を用いて算出される。

転送回数＝切り捨て（蓄積フレーム時間[s]／読み出し時間[s]） …（４）
ただし、蓄積フレーム時間が信号読み出し時間より短い場合は転送を１回とする。

次に、ステップＳ５０４において、第４の実施形態と同様に転送回数と必要転送回数を比較する。そして、転送回数が必要転送回数より多ければ、ステップＳ５０５に進み、転送回数を必要転送回数とする。一方、ステップＳ５０４において、転送回数が必要転送回数以下であれば、ステップＳ５０３で算出された転送回数をそのまま転送回数としてこのルーチンを終了する。

なお、本実施形態では、転送回数の算出の順序は上記の順序に限定されるものではない。また、算出結果をあらかじめテーブル等として記憶しておいてもよい。また、本実施形態では転送回数を最大とする例を示したが、飽和が必要でない場合や転送時にノイズ特性が悪くなるなどの理由で、転送回数に固定値の制限を設けてもよい。例えば、転送回数を２回までに制限したければ、必要転送回数との比較ではなく固定値との比較をしてもよい。

以上説明したように、本実施形態の手法で転送回数を決定すれば、蓄積フレーム数に応じた転送回数とすることができるので、スローシャッター時にも、不要に転送回数を増やすことがなくなる。

＜第６の実施形態＞
第４及び第５の実施形態では、フレームレートの単位で転送回数を算出する例を示した。しかしながら光電変換部２１の電荷蓄積時間（シャッター速度）、フレームレート、信号読み出し時間の関係によっては、転送回数を増やすことができる。本実施形態では電荷蓄積時間、フレームレート、信号読み出し時間に応じて、転送回数を変更する例を示す。

図１３は、本実施形態における転送回数の算出方法を示すフローチャートである。まず、ステップＳ７０１において、電荷蓄積時間（シャッター速度）を取得する。電荷蓄積時間は、露出モードがマニュアルやＴｖモード（シャッター速度優先モード）であればユーザが意図した電荷蓄積時間となり、その他のシャッター秒時をオートで変更するモードであれば、明るさに応じて電荷蓄積時間が決定される。電荷蓄積時間の決定方法は公知の様々な手法で行えばよく、特に限定されるものではない。

次に第５の実施形態と同様に、ステップＳ６０１において、電荷蓄積に使用するフレームの時間を算出し、ステップＳ５０２において、信号読み出し時間を判定し、ステップＳ５０３において、電荷転送回数を算出する。

転送回数の算出に関して図１４を用いて説明する。図１４は、信号読み出しと電荷蓄積のタイミングを示した図である。時刻ｔ１で１フレームの撮像が開始される。同時に、制御信号ＴＸ２がハイレベルになることにより、各ラインの信号読み出しが開始される。時刻ｔ２で、制御信号ＯＦＤがハイレベルとなり、光電変換部２１の不要電荷を吐き捨てた後に、時刻ｔ３で制御信号ＯＦＤをローレベルにして、信号電荷の蓄積が開始される。時刻ｔ２、時刻ｔ３のタイミングは電荷蓄積時間に応じて変化する。スローシャッターの場合は不要電荷の吐き捨てを行わないため、制御信号ＯＦＤがハイレベルにならないフレームも生じる。時刻ｔ４で各ラインの保持部２２からＦＤ２３への電荷の転送が終了し、光電変換部２１から保持部２２への電荷の転送が可能となる。時刻ｔ５で垂直同期信号ＶＤが再びハイレベルとなり、１フレームの読み出しが終了し、次のフレームが開始される。

電荷蓄積時間は時刻ｔ３から時刻ｔ５の間の時間となり、信号読み出し時間は時刻ｔ１から時刻ｔ４の間、蓄積フレーム時間は時刻ｔ１から時刻ｔ５の間となる。例えば、蓄積時間が１／８０［ｓ］、読み出し時間が１／１２０［ｓ］、フレームレートが６０ｆｐｓであるならば、以下のようになる。

ｔ５−ｔ３＝１／８０［ｓ］ （５）
ｔ４−ｔ１＝１／１２０［ｓ］ （６）
ｔ５−ｔ１＝１／６０［ｓ］ （７）
電荷蓄積が開始される時刻ｔ３から信号読み出しが終了する時刻ｔ４までは、光電変換部２１から保持部２２への電荷の転送はできない。この期間が光電変換部２１に電荷を蓄積する最短の時間（以下、転送最短時間）となる。そのため蓄積時間を転送最短時間で除した値が転送回数となる。

上記例に当てはめると、式（５）と式（７）から、
ｔ３−ｔ１＝（ｔ５−ｔ１）−（ｔ５−ｔ３）＝１／６０−１／８０＝１／２４０
…（８）
であるため、式（６）と式（８）から転送最短時間である（ｔ４−ｔ３）は、
ｔ４−ｔ３＝（ｔ４−ｔ１）−（ｔ３−ｔ１）＝１／１２０−１／２４０＝１／２４０
…（９）
となる。転送回数は電荷蓄積時間１／８０［ｓ］を１／２４０［ｓ］で除した値であるため、３回となる。１／８０［ｓ］よりも蓄積時間が少し長くなると、（ｔ４−ｔ３）が長くなるため３回転送ができなくなる。そのため、転送回数は切り捨てで計算する必要がある。以上より転送回数は、以下の式（１０）の様になる。

転送回数＝切り捨て［蓄積時間／｛読出し時間−（蓄積フレーム時間−蓄積時間）｝］
…（１０）
つまり、転送回数は、信号読み出し時間から電荷蓄積に使用するフレームの時間を減算しさらに電荷蓄積時間を加算した値で、電荷蓄積時間を除すことで得られる。ただし、式（１０）の分母は電荷蓄積時間によっては小さくなりすぎることがあるので、ある程度制限をかけておく必要がある。たとえば転送回数を５回に制限する場合は、式（１０）の分母において電荷蓄積時間が１／５以下の場合は電荷蓄積時間を１／５にする。また、電荷蓄積時間が１／５より大きい場合は、式（１０）に従って算出する。このようにすれば転送回数を制限することができる。

転送回数を算出した後、ステップＳ５０４において、第５の実施形態と同様に、転送回数と必要転送回数を比較し、転送回数が必要転送回数より大きければ、ステップＳ５０５に進み、転送回数を必要転送回数とする。一方、ステップＳ５０４において、転送回数が必要転送回数以下であれば、ステップＳ５０３で算出された転送回数をそのまま転送回数としてこのルーチンを終了する。

なお、本実施形態では、転送回数の算出の順序は上記の順序に限定されるものではない。また、算出結果をあらかじめテーブル等として記憶しておいてもよい。また、本実施形態では転送回数を最大とする例を示したが、飽和が必要でない場合や転送時にノイズ特性が悪くなるなどの理由で、転送回数に固定値の制限を設けてもよい。例えば、転送回数を２回までに制限したければ、必要転送回数との比較ではなく固定値との比較をしてもよい。

また、本実施形態では第５の実施形態と同様に蓄積に使用するフレームの時間を用いて転送回数を算出しているが、第４の実施形態と同様に、フレームレートを用いて転送回数を算出しても良い。その場合は蓄積に使用するフレームの時間を１フレームの時間に変更すればよい。

以上説明したように、本実施形態の手法で転送回数を決定すれば、電荷蓄積時間に応じた転送回数にすることができるため、同じ信号読み出し時間やフレームレートの設定であっても、電荷蓄積時間によっては転送回数を増やすことができる。そして、フレームレートに応じて保持部の容量を最大限有効に利用できる転送回数に設定することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：撮像素子、２：画像処理ＬＳＩ、１００：タイミング制御部、１１０：画素部、１２０：垂直走査回路、１３０：列回路、１４０：水平転送回路、１５０：信号処理回路、１６０：外部出力回路、１７０：コントローラ回路、２００：撮像装置

Claims (12)

1. 複数の画素が二次元的に配列された撮像素子であって、それぞれの前記画素が、
   入射光を電荷に変換する光電変換部と、
   前記光電変換部で得られた電荷を保持する保持部と、
   前記保持部から出力される電荷に基づく信号を出力する増幅部と、
   前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、
   前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、
   を有する、撮像素子と、
   撮像装置の設定に応じて、前記第２の転送スイッチの１回のオンにつき、前記第１の転送スイッチをオンする回数またはオンしている時間を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像装置の設定は、前記撮像装置の信号処理におけるゲインの設定であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置の設定は、前記撮像装置のガンマ補正におけるダイナミックレンジの上限値の設定であることを特徴とする請求項１に記載の撮像装置。
4. 前記複数の画素の前記増幅部からの信号が出力される列出力線と、前記列出力線の電圧レベルが所定値以下にならないように前記画素から前記列出力線に流れる信号を制御するクリップ制御回路と、前記複数の画素のそれぞれの色プレーンにゲインをかける画像処理部とをさらに備え、前記クリップ制御回路は、それぞれの色プレーンにかけるゲイン値の合計に応じてクリップ電圧値を制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. それぞれの色プレーンにかけるゲイン値の合計に応じて、前記第１の転送スイッチをオンする回数を制御することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像装置の設定は、前記撮像装置のフレームレートと読み出し時間の設定であることを特徴とする請求項１に記載の撮像装置。
7. 前記第１の転送スイッチをオンする回数は、前記読み出し時間から前記蓄積に使用するフレームの時間を減算しさらに前記蓄積時間を加算した値で、前記蓄積時間を除した値を切り捨てた値を上限とすることを特徴とする請求項６に記載の撮像装置。
8. 前記第１の転送スイッチをオンする回数は、固定の値を上限とすることを特徴とする請求項６または７に記載の撮像装置。
9. 前記固定の値は前記保持部が蓄積可能な最大電荷量を前記光電変換部が蓄積可能な最大電荷量で除した値を切り上げた値であることを特徴とする請求項８に記載の撮像装置。
10. 複数の画素が二次元的に配列された撮像素子であって、それぞれの前記画素が、
    入射光を電荷に変換する光電変換部と、
    前記光電変換部で得られた電荷を保持する保持部と、
    前記保持部から出力される電荷に基づく信号を出力する増幅部と、
    前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、
    前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、
    を有する、撮像素子を備える撮像装置を制御する方法であって、
    撮像装置の設定に応じて、前記第２の転送スイッチの１回のオンにつき、前記第１の転送スイッチをオンする回数またはオンしている時間を制御する制御工程を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images