JP5528093B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関し、特に、マトリクス状に配列された複数の画素を有する撮像素子を備える撮像装置および撮像方法に関する。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている（例えば、特許文献１）。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている（例えば、特許文献２および３）。

特許文献２および３では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。

特開平１１−４１５２３号公報 特開２００７−１５９０６１号公報 特開２００７−５３７４２号公報

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを１つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。

上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電荷を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部と、を備え、走査制御部は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置が提供される。

かかる構成によれば、被写体の撮像状態を検出し、該撮像状態に応じて撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子に蓄積された電荷を掃出して撮像素子の露光が開始された後、幕体が撮像素子を遮光するように走行する。これにより、撮像状態に応じて撮像素子の露光時間を調整してダイナミックレンジの広い撮影をすることが可能となる。

また、走査制御部は、撮像素子の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることにより撮像素子の露光を開始するシャッタの先幕（以降、電子先幕シャッタとも称する。）として機能させ、動作制御部は、撮像素子を遮光する幕体をシャッタの後幕（以降、メカ後幕シャッタとも称する。）として機能させる。これにより、先幕としての電子シャッタと後幕としてのメカニカルシャッタを併用し、先幕となる電子シャッタのタイミングを制御して露光時間を調整することができる。

また、検出部は、被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、走査制御部は、検出部により被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整してもよい。これにより、撮像状態がダイナミックレンジ外、すなわち、白飛びしていたり黒くつぶれていたりして画像が再現できない場合に露光時間を調整することができる。

また、走査制御部は、幕体の走行カーブに対応するように、撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、被写体の撮像状態に応じて、掃出しパルスのパルス幅を調整する。これにより、掃出しパルスを幕体の走行カーブに対応させて電子先幕の走査開始速度を制御するとともに、掃出しパルスのパルス幅を撮像状態に応じて可変とすることにより撮像素子の露光時間を調整することができる。

また、走査制御部は、撮像素子のラインごとに掃出しパルスのパルス幅を調整してもよい。また、走査制御部は、撮像素子の領域ごとに掃出しパルスのパルス幅を調整してもよい。これにより、ラインごとまたは領域ごとに撮像素子の露光時間を調整することができる。

また、走査制御部は、被写体の輝度情報に応じて、掃出し時間を調整してもよい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、掃出し時間を予め設定された掃出し時間より短くすることが好ましい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、被写体の輝度に応じて段階的に掃出し時間を短くすることが好ましい。これにより、被写体の輝度情報に応じて撮像素子の露光時間を調整することができる。

また、走査制御部は、撮像素子の各画素の読み出し走査を制御し、走査制御部による撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えてもよい。これにより、水平方向のゲインを調整することができる。

また、上記課題を解決するために、本発明の別の観点によれば、マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、被写体の撮像状態を検出するステップと、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子の露光を開始させるステップと、撮像素子の露光開始後に撮像素子を遮光するように走行する幕体を動作させるステップと、を含むことを特徴とする、撮像方法が提供される。

以上説明したように本発明によれば、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることができる。

本発明の実施形態にかかる画質改善の具体例について説明する説明図である。 同実施形態の概要を説明する説明図である。 同実施形態にかかる撮像装置の機能構成を示すブロック図である。 同実施形態にかかるＣＰＵの構成を示すブロック図である。 同実施形態にかかる撮像シーンの検出について説明する説明図である。 同実施形態にかかる撮像シーンの検出について説明する説明図である。 同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。 同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。 同実施形態にかかるゲインおよびシャッタの調整について説明する説明図である。 同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。 同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕撮像装置の概要
〔３〕撮像装置の機能構成
〔４〕撮像装置の動作の詳細

〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている。

上記技術では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを１つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。

上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電界を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる撮像装置が創作されるに至った。本実施形態にかかる撮像装置１０によれば、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能となる。

〔２〕撮像装置の概要
次に、図１および図２を参照して、本実施形態にかかる撮像装置１０の概要について説明する。まず、図１を参照して、本実施形態にかかる撮像装置１０による画質改善について説明する。図１は、撮像装置１０による画質改善の具体例について説明する説明図である。図１の画像例５１〜５３は、太陽や山、ススキなどを含む風景を撮影した画像である。画像例５１は、画像下部に露出を合わせて撮影した画像である。画像例５１では、画像下部のススキなどはよく撮影されているが、上部の太陽周辺はいわゆる白飛びを起こしてしまっている。また、画像例５２は、画像上部の太陽に露出を合わせて撮影した画像である。画像例５２では、画像上部の太陽はよく撮影されているが、画像下部のススキなどは露光不足で黒くなってしまっている。

画像例５３は、撮像装置１０により露出調整されて撮影された画像である。画像例５３では、太陽周辺が画像例５１ほど白くなく、画像下部が画像例５２ほど黒くなっておらず、太陽も山もススキもよく撮影されている画像となっている。上記したように、撮像装置１０は、電子シャッタとメカニカルシャッタを併用している。撮像装置１０は、先幕となる電子シャッタ（電子先幕シャッタ）により露光を開始する際に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して領域ごとまたはラインごとに露光時間を調整することができる。

上記したように、撮像素子に蓄積された電荷をすべて掃出すための時間が不足している場合には残留電荷が発生し、その結果、残像現象が生じる。例えば、画像の暗い部分に対して意図時に残留電荷を残すように電荷を掃出す時間を設定することで、画像の暗い部分に長時間露光したことと同様の効果を得ることができる。具体的には、撮像装置１０は、撮像画面を領域ごとに分割し、領域ごとの明るさの分布を検知して撮像シーンの分析を行う。そして、領域ごとの測光値をもとに、電子先幕シャッタの電荷掃出し時間を変更して、画面内での露光時間を撮影シーンに合わせて調整することができる。

例えば、画像例５３では、上部と下部で明るさが異なっている。すなわち、上部は明るく、下部が暗い画像である。そこで、撮像装置１０は、画面の上部では蓄積された電荷がすべて掃出されるように掃出し時間を設定し、画面の下部では電荷掃出し時間を短く設定し、敢えて残留電荷を残して露光時間が長くなるようにする。

例えば、画面内の明るさ（輝度）が１２８より大きい場合には、電荷がすべて掃出される掃出し時間を設定し、輝度が１２８以下の場合には、輝度の値に応じて掃出し時間を調整するようにしてもよい。すなわち、画面内の明るさが暗くなり輝度の値が小さくなるほど掃出し時間を短くして残留電荷を多く残すことにより、暗い部分に長時間露光したことと同様の効果を得ることができる。

ここで、図２を参照して、シャッタの先幕と後幕について説明する。図２は、電子先幕シャッタと機械式シャッタの後幕の動作について説明する説明図である。図２にでは、右方向に時間の経過を表し、下方向に撮像素子のライン（Ｌｉｎｅ）数を表している。ここで、Ｌｉｎｅ[Ｎ]におけるＮは、撮像素子の垂直方向の有効ライン数に相当する。また、撮像装置１０を使用した撮影は、ライブビューモードからの静止画撮影で使用されることとする。

先幕として電子シャッタを用いる場合には、撮像素子が備える各画素にリセット動作を行わせるリセット信号を画素ライン単位で順次に与えて、当該撮像素子に露光動作を開始させる。そして、設定された露光時間の経過後に幕体を走行させる機械的な遮光を行い当該撮像素子の露光動作を終了させる。撮像素子の露光動作が終了すると、撮像素子から画像データの読み出しが行われる。

図２に示したように、機械式シャッタは、幕体の移動速度が一定ではなく、移動始端では比較的幕速が遅く、移動終端になるほど加速されて比較的幕速が速くなっている。また、温湿度の変化や姿勢差などによっても、幕速が変化する場合がある。そこで、撮像装置１０では、先幕として用いる電子シャッタの幕速を機械式シャッタの幕速に合わせるようにしている。電子シャッタの幕速を機械式シャッタの幕速に合わせるとは、すなわち、電子先幕シャッタのリセット走査（露光開始走査）の走査カーブを、機械式シャッタの走行カーブとほぼ同じ形状とすることを意味する。

図２に示したように、電子先幕シャッタの露光開始走査は、電荷掃出しパルスの発生により開始される。具体的には、電荷掃出しポインター（Ｐｏｉｎｔｅｒ）により電荷が掃出されるラインアドレスが指定される。電荷掃出しパルスが「Ｈ」（Ｈ＝Ｈｉｇｈ）となったときに、電荷掃出しポインターで指定されたラインの撮像素子がグランド(ＧＮＤ)に接続されて、当該画素に蓄積されていた電荷が掃出される。撮像素子に蓄積されていた電荷を掃出すことを、以降、電荷がリセットされるとも称する。

上記したように、撮像装置１０を用いた撮影は、ライブビューモードからの静止画撮影で使用される。したがって、電荷掃出しパルスが「Ｈ」となっている間にライブビューモードにおいて蓄積された電荷が掃出されることとなる。通常、電荷を完全に掃出すのに必要十分なパルス幅が設定されている。しかし、電荷掃出しパルスが「Ｈ」となっている時間が短い場合には、蓄積されていた電荷をすべて掃出す時間が不足して残留電荷が発生して残像現象が生じる。画像の暗い部分に対して、意図的に残留電荷を残すようにすることで、画像の暗い部分に長時間露光をしたことと同様の効果を得ることが可能となる。撮像装置１０では、図２に示したように、電荷掃出し時間、すなわち、電荷掃出しパルスが「Ｈ」となる時間を可変にして、電荷を完全に掃出したり意図的に残留電荷を発生させたりして露光時間を調整している。

図２では、撮像素子のＬｉｎｅ[Ｎ]付近では、Ｌｉｎｅ[０]よりもパルス幅が狭くなっている。Ｌｉｎｅ[０]において電荷を完全に掃出すために必要なパルス幅が設定されており、Ｌｉｎｅ[Ｎ]付近ではパルス幅を狭くして電荷掃出し時間を短くすることにより残留電荷を発生させている。したがって、Ｌｉｎｅ[Ｎ]付近では、結果的に露光時間が長くなり、画像の暗い部分を明るくすることが可能となる。

撮像装置１０は、画面の領域ごとまたはラインごとの測光値をもとに、白飛びしている領域や黒くつぶれている領域など被写体の撮像シーン（撮像状態）を検出する。そして検出した撮像シーンに応じて電荷掃出し時間を調整している。例えば、検知した撮影シーンの上部が明るく下部が暗い場合には、電子先幕の移動始端（Ｌｉｎｅ[０]付近）では電荷をすべて掃出すのに必要十分なパルス幅を設定する。また、電子先幕の移動終端（Ｌｉｎｅ[Ｎ]付近）では、残留電荷が残るようにＬｉｎｅ[０]付近より狭いパルス幅を設定する。このように、撮像装置１０によれば、撮影シーンに応じて電荷掃出し時間を調整して、ダイナミックレンジの広い撮影をすることが可能となる。

さらに、領域ごとの測光値をもとに、部分的に感度（ゲイン）を変更するようにしてもよい。例えば、白飛びする画面領域と黒くつぶれてしまう画面領域の割合や、コントラスト、それぞれの位置などから、１画面の領域ごとに電子先幕シャッタにより露光時間を調整するか、感度を変更（ゲイン変更）するかのいずれかまたは両方により調整するようにしてもよい。これにより、ダイナミックレンジの広い、良好な画像を取得することが可能となる。

〔３〕撮像装置の機能構成
以上、撮像装置１０の概要について説明した。次に、図３を参照して、撮像装置１０の機能構成について説明する。図３は、撮像装置１０の機能構成を示すブロック図である。図３に示したように、撮像装置１０は、ＣＭＯＳ１０２、シャッタ１０４ａ、１０４ｂ（以降、シャッタユニット１０４とも称する）、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログフロントエンド）１０６、ＴＧ（タイミングジェネレータ）１０８、撮像信号処理部１１０、メモリコントローラ１１２、メモリ１１４、メモリコントローラ１１６、ＡＥ／ＡＦ／ＡＷＢ１２０、ＣＰＵ１２２、ＬＣＤ／Ｉｍａｇｅ Ｏｕｔｐｕｔ（ＬＣＤ／ＩＯ）１２４、ＬＣＤ１２６、ＲＡＭテーブル１３０、シャッタドライバ１３２、レンズユニット１５などを備える。

ＣＭＯＳ１０２は、本発明のマトリクス状に配列された複数の画素を有する撮像素子の一例であり、レンズユニット１５から入射された光を電気信号に変換するための素子である。詳しくは、ＣＭＯＳ１０２は、レンズユニット１５により結像された被写体の光像をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のアナログの電気信号（画像信号）に変換し、Ｒ、Ｇ、Ｂ各色の画像信号として出力する。本実施形態においては、ＣＭＯＳ１０２の各画素に所定のタイミングでリセット信号を与えることで、ＣＭＯＳ１０２の露光動作を開始させて電子先幕シャッタとして機能させている。

シャッタユニット１０４は、ＣＭＯＳ１０２の所定の画素ラインの垂直方向に移動する幕体を備え、ＣＭＯＳ１０２に露光される光の遮断動作を行う後幕として機能する。シャッタユニット１０４の動作は、シャッタドライバ１３２により制御される。

ＡＦＥ１０６は、アナログ前段回路であり、ＣＭＯＳ１０２から出力されたアナログの電気信号を撮像信号処理部１１０に提供する。ＴＧ（タイミングジェネレータ）１０８は、ＣＭＯＳ１０２におよびＡＦＥ１０６にタイミング信号を入力する機能を有する。ＴＧ１０８からのタイミング信号によりシャッタ速度が決定される。つまり、ＴＧ１０８からのタイミング信号によりＣＭＯＳ１０２の駆動が制御され、ＣＭＯＳ１０２が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。

撮像信号処理部１１０は、ＡＦＥ１０６から出力されたアナログの電気信号をデジタル信号に変換した画像の生データを生成する機能を有する。また、撮像信号処理部１１０は、ＣＭＯＳ１０２から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスを調整する。メモリコントローラ１１２は、撮影した画像をメモリ１１４に一時的に記憶させたり、記憶された画像を読み出したりする機能を有する。メモリ１１４は、複数の画像を記憶だけるだけの記憶容量を有している。メモリ１１４としては、例えば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてもよい。

メモリカードコントローラ１１６は、メモリカード１１８に撮影された画像や合成された画像を記録させる機能を有する。メモリカード１１８は、フラッシュメモリにデータを記録するカード型の記憶装置である。

ＡＥ／ＡＦ／ＡＷＢ１２０は、撮像時における周辺光量（明るさ）や、焦点距離、絞り値（フォーカス）、色温度などを検知して、検知結果をＣＰＵ１２２に提供する機能を有する。ＣＰＵ１２２は、ＣＭＯＳ１０２やＴＧ１０８などに対して信号系の命令を行ったり、操作部１５０に対する操作系の命令を行ったりする。本実施形態では、信号系の命令と走査系の命令を１つのＣＰＵ１２２で行っているが、かかる例に限定されず、２つのＣＰＵでそれぞれ実行するようにしてもよい。ＣＰＵ１２２による電子シャッタによる先幕とメカニカルシャッタによる後幕の制御については後で詳細に説明する。

ＬＣＤ１２６は、撮影操作する前のライブビュー表示や、撮像装置１０の各種設定画面や、撮像した画像を表示する機能を有する。また、ＴＶ１２８は、撮像した画像などをテレビジョン受像機の画面に表示する機能を有する。画像データ等のＬＣＤ１２６やＴＶ１２８への表示は、ＬＣＤ／ＩＯ（ＩｍａｇｅＯｕｔｐｕｔ）１２４を介して表示される。

ＲＡＭテーブル１３０は、本発明の走査テーブルを記憶しているテーブルである。ＲＡＭテーブル１３０には、予め複数の走査パターンを記憶しておき撮像シーンに応じた走査パターンを選択するようにしてもよい。また、基準となる走査パターンをＲＡＭテーブル１３０に記憶させておき、撮像シーンの周辺光量等の値と基準値との差異に応じて走査パターンを変更させるようにしてもよい。走査パターンは、電子先幕シャッタによるリセットタイミング（露光開始タイミング）を出力するタイミングである。本実施形態では、電子先幕シャッタのリセット走査の走査カーブを、機械式の後幕シャッタの走行カーブとほぼ同じ形状としている。

また、ＲＡＭテーブル１３０には、撮像素子の電荷蓄積量と蓄積した電荷を掃出すのに要する時間特性が記憶されている。また、撮影画像の輝度などの撮像シーンに応じた電荷掃出し時間の割合を記憶してもよい。例えば、撮像素子に蓄積した電荷をすべて掃出すのに要する時間を基準時間とし、輝度値と基準時間に対する減算割合との関係を示すテーブルを記憶する。これにより、基準時間と減算割合とを用いて撮像シーンに応じた電荷掃出し時間の調整を行うことが可能となる。

また、走査パターンを記憶するＲＡＭテーブル１３０に代えて、関数発生回路（図示せず）を搭載してもよい。この場合、関数は、単純に２次関数で表現する方法や、１次関数で補間していく方法などが挙げられる。関数発生回路により走査タイミングを出力することにより、搭載回路を小さくすることができる。

操作部１５０は、撮像装置１０の操作を行ったり、撮像時の各種の設定を行ったりするための部材が配置されている。操作部１５０に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータを設定する十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。

次に、図４を参照して、ＣＰＵ１２２による先幕と後幕の制御について説明する。図４は、ＣＰＵ１２２の構成を示すブロック図である。図４に示したようにＣＰＵ１２２は、検出部２０２、走査制御部２０４、動作制御部２０６、ゲイン調整部２０８などを備える。

検出部２０２は、被写体の撮像状態を検出する機能を有する。具体的には、検出部２０２は、ＡＥ／ＡＦ／ＡＥＢなどの各種センサ１２０により検知された周辺光量（明るさ）や、焦点距離、絞り値、色温度などから撮像状態（撮像シーン）を検出し、撮影シーンが画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出する。例えば、露光過多で白飛びしてしまっていたり、露光不足で黒くつぶれてしまったりという、再現できない画像があるか否かを検出する。

ここで、図５および図６を参照して、検出部２０２による撮像シーンの検出について説明する。図５および図６は、検出部２０２による撮像シーンの検出について説明する説明図である。図５は、画像の上部がいわゆる白飛びを起こし、青空が再現できていない画像である。検出部２０２は、画面７１内で白飛びしている領域を求める。例えば、説明図７２に示したように、画面７１を所定の領域に分割して、白飛びしている領域を求めるようにしてもよい。この場合、画面７１の上部４つの領域が白飛びしている領域、すなわちダイナミックレンジの上限を超えている領域であることを検出する。

また、図６に示したヒストグラム７３により画面内の白飛びしている領域を求めるようにしてもよい。ヒストグラム７３では、右側に大きな山が現れている。すなわち、画面の一部に特に白飛びしている領域があることがわかる。撮像装置１０では、後述する走査制御部２０４により撮像素子の露光量を制御することにより、画面の領域またはラインごとの露光時間を補正して、白飛びしている領域の露出を抑えることが可能となる。

図４に戻り、ＣＰＵ１２２の構成についての説明を続ける。走査制御部２０４は、後述する動作制御部２０６による幕体の走行に先行して、ＣＭＯＳ１０２に蓄積された電荷を掃出すことによりＣＭＯＳ１０２の露光を開始する。走査制御部２０４は、検出部２０２により検出された被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。走査制御部２０４は、走査パターン記憶部（ＲＡＭテーブル）１３０に記憶されている走査パターンに基づいてＣＭＯＳ１０２に蓄積された電荷を掃出す。

また、走査パターン記憶部１３０に記憶されている電荷掃出し時間の割合をもとに、ＣＭＯＳ１０２に蓄積された電荷を掃出すための掃出し時間を調整する。ＣＭＯＳ１０２に蓄積された電荷を掃出すための掃出し時間は、電荷掃出しパルスのパルス幅を調整することにより可変とすることができる。

ここで、図７および図８を参照して、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する。図７および図８は、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。図７に示したように、撮像素子のＬｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]までは、撮像素子に蓄積された電荷をすべて掃出す（残留電荷ゼロ）完全掃出し領域となっている。また、撮像素子のＬｉｎｅ[Ｍ]〜Ｌｉｎｅ[Ｎ]までは、撮像素子に蓄積された電荷を意図的に残留させる（残留電荷有り）不完全掃出し領域となっている。

Ｌｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、ＣＭＯＳ１０２に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。また、Ｌｉｎｅ[Ｍ]〜Ｌｉｎｅ[Ｎ]までの不完全掃出し領域では、Ｌｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Ｌｉｎｅ[Ｍ]からＬｉｎｅ[Ｎ]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。

例えば、撮像装置１０では、撮像画像の下部から上部に向かって露光開始走査が行われる。撮像画像の上部が暗くなっている、すなわち、撮像画像の上部の輝度値が低い場合には、図７に示したように、撮像画像の上部のＬｉｎｅにおけるパルス幅を撮像画像の下部のＬｉｎｅにおけるパルス幅より狭くして、撮像画像の上部の暗くなっている部分の露光時間を長くすることができる。

例えば、画面の明るさ（輝度）を０〜２５５の２５６段階で表す場合には、輝度値が１２８以上の場合は適正露光であると判断して、残留電荷がゼロとなるようにパルス幅を設定する。一方、輝度が１２８より小さい値である場合には、暗い画像であると判断して、蓄積された電荷が残留するように完全掃出し領域のパルス幅より狭いパルス幅を設定する。さらに、輝度が１２８より小さい値である場合には、輝度の値に対するパルス幅の減算割合を設定して、輝度が小さくなるほどパルス幅が狭くなるようにする。これにより、ライン毎に露光時間を調整して、ダイナミックレンジの広い良好な画像を得ることが可能となる。

また、撮像画像の下部が暗くなっている、すなわち、撮像画像の下部の輝度値が低い場合には、図８に示したように、撮像画像の下部のＬｉｎｅにおけるパルスは場を撮像画像の上部のＬｉｎｅにおけるパルス幅より狭くして、撮像画像の下部の暗くなっている部分の露光時間を長くすることができる。

図８では、撮像素子のＬｉｎｅ[Ｍ]〜Ｌｉｎｅ[Ｎ]までは、撮像素子に蓄積された電荷を意図的に残留させる（残留電荷有り）不完全掃出し領域となっている。また、撮像素子のＬｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]までは、撮像素子に蓄積された電荷をすべて掃出す（残留電荷ゼロ）完全掃出し領域となっている。

また、Ｌｉｎｅ[Ｍ]〜Ｌｉｎｅ[Ｎ]までの不完全掃出し領域では、Ｌｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Ｌｉｎｅ[Ｍ]からＬｉｎｅ[Ｎ]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。一方、Ｌｉｎｅ[０]〜Ｌｉｎｅ[Ｍ]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、ＣＭＯＳ１０２に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。

図４に戻り、動作制御部２０６は、ＣＭＯＳ１０２を遮光するように走行する幕体の動作を制御する機能を有する。動作制御部２０６は、シャッタドライバ１３２を介して幕体の動作を制御する。動作制御部２０６は、走査制御部２０４の制御により、ＣＭＯＳ１０２に露光動作を開始させた後、設定された露光時間の経過後に幕体を走行させることにより、機械的な遮光を行いＣＭＯＳ１０２の露光動作を終了させる。

走査制御部２０４は、ＣＭＯＳ１０２の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることによりＣＭＯＳ１０２の露光を開始するシャッタの先幕として機能させる。そして、動作制御部２０６は、ＣＭＯＳ１０２を遮光する幕体をシャッタの後幕とて機能させる。また、走査制御部２０４は、撮像シーンに応じてリセット信号のパルス幅を調整する。このように、走査制御部２０４が撮像シーンに応じたリセット信号のパルス幅に基づいて電子先幕シャッタを制御し、動作制御部２０６がメカ後幕シャッタを制御することにより、ライン毎または領域毎に露出を調整することが可能となる。

ゲイン調整部２０８は、走査制御部２０４により、ＣＭＯＳ１０２の各画素の読み出し操作が制御された場合に、走査制御部２０４によるＣＭＯＳ１０２の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整する機能を有する。ゲイン調整部２０８は、ＣＭＯＳ１０２の画素単位でゲインを調整し、ＣＭＯＳ１０２の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整する。

例えば、ゲイン調整部２０８は、ＣＭＯＳ１０２内で水平方向に複数の領域、または画素単位の読み出し回路が搭載され、その各々に利得調整アンプが備わっている場合には、該アンプのゲインを領域毎に調整する。また、ＡＦＥ１０６内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平位置に合わせてゲインを提示する回路は、ＡＦＥ１０６内部にあってもよいし、外部の撮像信号処理部１１０やＴＧ１０８にもたせるようにしてもよい。また、ゲイン調整部２０８は、撮像信号処理部１１０内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平方向の位置によるゲインの変化量を提供する回路を撮像信号処理部１１０にもたせる。

本実施形態では、ゲイン調整部２０８により所定の領域または画素ごとにゲインを調整したが、かかる例に限定されず、領域単位でガンマカーブを変更するようにしてもよい。ガンマカーブは、入力される映像の信号レベルと出力される映像の明るさとの比率を表した特性曲線である。ＣＰＵ１２２は、このガンマカーブを調整することにより画面の露出を調整してもよい。

ここで、図９を参照して、ゲインの調整やシャッタの調整について説明する。図９は、ゲインおよびシャッタの調整について説明する説明図である。図９のグラフ８１は、水平方向に利得を変えた例である。グラフ８１によれば、例えば、画面の右側部分の利得を変更して、露出を調整している。また、グラフ８２は、垂直方向にシャッタのスリット幅を変更させた例である。すなわち、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変更させている。グラフ８２によれば、例えば、画面の上部でスリット幅を狭くしている。

また、グラフ８３は、垂直方向にシャッタのスリット幅を広げた例である。グラフ８３によれば、グラフ８２の場合に比べて、画面の下部のスリット幅が広がり、暗部の露光量が多くなっている。このように、撮像装置１０によれば、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変えることにより垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅を変えるだけでは調整しきれない水平方向の露光量については、水平方向に利得を変更して調整することが可能となる。したがって、より細かく露出を調整することができる。

〔４〕撮像装置の動作の詳細
以上、撮像装置１０の機能構成について説明した。次に、図１０Ａおよび図１０Ｂを参照して、撮像装置１０の動作の詳細について説明する。図１０Ａはおよび図１０Ｂは、垂直および水平方向の画像補正の処理を示すフローチャートである。図１０Ａに示したように、まず、検出部２０２は、画面内の分割領域毎の測光データを取得する（Ｓ１０２）。そして、ステップＳ１０２において取得した分割領域毎の測光データをもとに、垂直方向のヒストグラムと、水平方向のヒストグラムを算出する（Ｓ１０４）。

ステップＳ１０４において算出した垂直／水平方向のヒストグラムから、水平方向および垂直方向の輝度分布やコントラストなどを分析する（Ｓ１０６）。そして、ステップＳ１０４において算出したヒストグラムから、被写体（撮影シーン）を認識する（Ｓ１０８）。ステップ１０８においては、ＡＥ情報だけでなく、ＡＦ／ＡＷＢ情報を利用してもよい。

そして、ステップＳ１０８において認識した撮影シーンがダイナミックレンジ（Ｄレンジ）内であるか否かを判定する（Ｓ１１０）。

ステップＳ１１０において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップＳ１０２において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する（Ｓ１１２）。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する（Ｓ１１４）。そして、電子先幕の露光走査とメカ後幕シャッタの遮光動作により、撮像素子（ＣＭＯＳ）１０２に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする（Ｓ１１６）。

ステップＳ１１０において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、次に、カメラの縦／横を検出する（Ｓ１１８）。ステップＳ１１８においては、ユーザがカメラを縦に構えたか、横に構えたかを検出する。この場合、撮像装置１０には、筐体の縦横を検知するセンサが搭載されており、該センサによりカメラの縦横を検出することができる。

ステップＳ１１８において、カメラが縦位置であると判定された場合には、縦位置対応のための基本パラメータを変更する（Ｓ１２０）。具体的には、画面の分割数や、分割範囲、分割比率、利得やシャッタによる調整手段の重み付けなどを変更する。ステップＳ１２０において基本パラメータを変更するのは、撮像装置１０の画面が長方形である場合、カメラが縦か横かで画面の分割比や面積が異なってくるためである。また、シャッタにより露出を調整する場合には、横位置か縦位置かでシャッタの幕速度が異なってくるため、幕速度に応じて電子先幕の走査速度を変更する必要がある。

そして、検出部２０２は、画面内において白飛びしている領域を求める（Ｓ１２２）。さらに、画面内において黒くつぶれている（黒つぶれ）領域を求める（Ｓ１２４）。

図１０Ｂを参照して、説明を続ける。走査制御部２０４は、ステップＳ１２２およびステップＳ１２４において求められた白飛び／黒つぶれの情報から、画面内の垂直方向の補正すべき領域と補正量を決定する（Ｓ１２６）。そして、ステップＳ１２６において決定された補正すべき領域と補正量から、電荷掃出しパルスのパルス幅を調整して補正する領域と補正量を決定する（Ｓ１２８）。次に、ゲイン調整やガンマカーブにより補正する領域と補正量を決定する（Ｓ１３０）。

そして、ステップＳ１２８において決定した補正領域と補正量により、電子先幕シャッタの電荷掃出し量の値を書き換え、ステップＳ１３０において決定した補正領域と補正量により水平ゲインテーブルの値を書き換える（Ｓ１３２）。電子先幕シャッタの電荷掃出し量の値を書き換えるとは、電荷掃出しパルスのパルス幅の値を書き換えることを意味する。

そして、予め設定された走査テーブルの値に基づいて、電子先幕シャッタを動作させ、ステップＳ１３２において書き換えた電荷掃出しパルスのパルス幅を用いて露光を開始する（Ｓ１３４）。ステップＳ１３４において露光が開始され、メカ後幕シャッタの遮光動作によりＣＭＯＳ１０２に蓄積された電荷の読み出しに同期させて横方向のゲインを補正する（Ｓ１３６）。

以上、垂直および水平方向の画像補正の処理について説明した。図１０Ａおよび図１０Ｂに示したように、撮像装置１０によれば、電子先幕シャッタの電荷掃出しパルスのパルス幅を変更して垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅の調整だけでは補正しきれない水平方向の露光量についても、水平方向の利得を調整して補正することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の撮像装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、撮像装置１０の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。

また、撮像装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した撮像装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 撮像装置
１０２ 撮像素子（ＣＭＯＳ）
１０４ａ、１０４ｂ シャッタ
２０２ 検出部
２０４ 走査制御部
２０６ 動作制御部
２０８ ゲイン調整部

Claims (10)

1. マトリクス状に配列された複数の画素を有する撮像素子を備え、前記撮像素子に露光して被写体を撮像する撮像装置であって、
   被写体の撮像状態を検出する検出部と、
   前記撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、
   前記幕体の走行に先行して、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光開始走査を制御する走査制御部と、
   を備え、
   前記走査制御部は、前記被写体の輝度が所定の基準値より低い場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を、予め設定された掃出し時間より短くすることを特徴とする、撮像装置。
2. 前記走査制御部は、
   前記撮像素子の露光開始走査を、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光を開始するシャッタの先幕として機能させ、
   前記動作制御部は、前記撮像素子を遮光する前記幕体を、前記シャッタの後幕として機能させることを特徴とする、請求項１に記載の撮像装置。
3. 前記検出部は、前記被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、
   前記走査制御部は、前記検出部により前記被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、請求項１に記載の撮像装置。
4. 前記走査制御部は、
   前記幕体の走行カーブに対応するように、前記撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、
   前記被写体の撮像状態に応じて、前記掃出しパルスのパルス幅を調整することを特徴とする、請求項１に記載の撮像装置。
5. 前記走査制御部は、
   前記撮像素子のラインごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項４に記載の撮像装置。
6. 前記走査制御部は、
   前記撮像素子の領域ごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項４に記載の撮像装置。
7. 前記走査制御部は、
   前記被写体の輝度が所定の基準値より低い場合に、前記被写体の輝度に応じて段階的に掃出し時間を短くすることを特徴とする、請求項１に記載の撮像装置。
8. 前記予め設定された掃出し時間は、前記撮像素子に蓄積された電荷が、当該撮像素子から掃き出される時間に基づきあらかじめ設定されていることを特徴とする、請求項１または７に記載の撮像装置。
9. 前記走査制御部は、前記撮像素子の各画素の読み出し走査を制御し、
   前記走査制御部による前記撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることを特徴とする、請求項１に記載の撮像装置。
10. マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、
    被写体の撮像状態を検出するステップと、
    前記被写体の輝度が所定の基準値より低い場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を、予め設定された掃出し時間より短くして前記撮像素子の露光を開始させるステップと、
    前記撮像素子の露光開始後に前記撮像素子を遮光するように走行する幕体を動作させるステップと、
    を含むことを特徴とする、撮像方法。

Images