JP2009284394A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】画質に応じた精度でぶれを効率よく補正して被写体像を撮像できる撮像装置を提供する。
【解決手段】画質を決めるパラメータを設定する画質設定部37cと、撮像レンズ３の焦点距離および画質設定部37cで設定された画質を決めるパラメータに基づいて、撮像素子７のぶれ限界露光時間を演算するぶれ限界露光時間演算部35と、ぶれ限界露光時間に基づいて、被写体像を連続して撮像を行う撮像部35と、被写体像の露光開始からのぶれ量を検出するぶれ量検出部(39,19,43,45,47,49)と、複数コマの画像データのそれぞれによって表される複数コマの画像の同一部分が重なるように、複数コマの画像データを対応付けて加算する画像合成部（35、15、25）と、を有する。
【選択図】図１

Description

本発明は、撮像レンズにより結像される被写体像を撮像素子により光電変換して撮像する撮像装置および撮像方法、特に、手ぶれ等による像のぶれを補正する撮像装置および撮像方法に関するものである。

静止画を撮像する電子カメラ等の撮像装置では、あらゆるシーンを精度よく確実に撮像できることが求められる。しかし、静止画撮像に関しては、長時間撮像を行う場合の手ぶれや被写体の動きによって、像にぶれを生じることは広く知られている。この像の「ぶれ」は、１次元（曲線状も含む）の像ぼけであるため、「ぼけ」と称される場合もあるが、本明細書においては「ぶれ」と表現することとする。なお、「ぶれ」はベクトルを表し、ぶれの大きさを表すぶれ量とぶれの方向を含むものとする。像ぶれは、流し撮りなど撮像術に積極的に応用される場合もあるが、通常は画質の劣化と見做され、これを防止することが必須となっている。その代表的方法の一つは、三脚等を用いてカメラを安定に固定することであり、他の一つは短時間露光（高速シャッタ）の使用であるが、いずれも状況が許さないと適用できず、手持ちの低照度撮像には適用不可能である。また、撮像レンズや撮像素子を駆動して、撮像素子の撮像面に結像する画像のぶれを低減するぶれ防止装置が普及してきている。しかし、このようなぶれ防止装置は機構が複雑であり、且つ高度な制御が要求されるため、カメラを小型化するのが難しかったりコストが高くなるなどの課題がある。

上述したような課題を解決する技術として、例えば、所定値よりも長い露光時間が設定された場合は、露光時間が所定値以下になるように、例えば、１／ｆ（sec）（ただし、ｆは３５ｍｍフィルム用の撮像レンズの焦点距離（mm））の露光時間で時分割撮像を行って、得られた複数の画像データに基づいて画像間の相対的な動き情報を検出し、その検出した動き情報に基づいて画像間の相互のぶれを補正してから、複数の画像データを合成して一枚の静止画像を得るようにしたものが知られている（例えば、特許文献１参照）。

特開２００１−８６３９８号公報

しかしながら、上記の特許文献１に開示の撮像装置には、以下に説明するような改良すべき点があることが判明した。すなわち、許容できる画像のぶれ量は、画像をプリントする場合の引き伸ばし倍率、画像の観察距離、視覚の分解能、手ぶれ周波数などに依存する。このため、これらの条件が異なると、１／ｆ（sec）で撮像を行っても、ぶれを十分補正できない場合がある。また、従来提案されている多くの電子カメラは、撮像素子に結像された被写体像を光電変換するピクセル数で表される画像サイズや、撮像した画像データを記録保存する際の画像データの圧縮率を選択して画質を設定できるようになっている。しかし、上記の特許文献１に開示の撮像装置では、画質モードに係わらず、１／ｆ（sec）の露光時間で複数回の撮像を行うようにしているため、画質の選択機能が十分に生かされていないことになる。

なお、像ぶれの補正精度を高める方法として、時分割撮像における露光時間をより短くすることが考えられる。しかし、この場合は、画像データのＳ／Ｎが低下するので、Ｓ／Ｎ改善のために高度の技術が必要になる。そのＳ／Ｎ改善策の一方法として、時分割撮像の回数を増やして、より多くの画像データを合成することが考えられる。しかし、このようにすると、ぶれ補正や画像データ合成などを行うための画像処理回路が複雑化したり、画像処理の負荷が重くなり他の処理に悪影響を与えたり、消費電力が多くなったりする。

したがって、かかる点に鑑みてなされた本発明の目的は、画質に応じた精度でぶれを効率よく補正して被写体像を撮像できる撮像装置および撮像方法を提供することにある。

上記目的を達成する請求項１に係る撮像装置の発明は、時分割撮像によって得られた複数コマの画像データのそれぞれによって表される複数コマの画像の相互のぶれが低減されように、上記複数コマの画像データを合成する撮像装置であって、撮像レンズによって結像される被写体像を光電変換する撮像素子と、上記複数コマの画像の画質に関連するパラメータを設定する画質設定部と、上記撮像レンズの焦点距離および上記パラメータに基づいて、上記複数コマの画像のぶれ量を許容値以下にするための露光時間を演算する露光時間演算部と、上記露光時間に基づいて、連続して複数コマの画像を撮像するように上記撮像素子の露光を制御する露光制御部と、上記複数コマの画像のそれぞれのぶれに関するデータを検出するぶれ検出部と、上記ぶれに関するデータに基づいて、上記複数コマの画像データのそれぞれによって表される複数コマの画像の同一部分が一致するように、上記複数コマの画像データを対応付けて加算する画像合成部と、を有することを特徴とするものである。

請求項２に係る発明は、請求項１に記載の撮像装置において、上記画質設定部で設定する画質を決めるパラメータは、画像サイズまたは圧縮率の少なくとも１つを含むことを特徴とするものである。

さらに、上記目的を達成する請求項３に係る撮像方法の発明は、時分割撮像によって得られた複数コマの画像データのそれぞれによって表される複数コマの画像の相互のぶれが低減されように、上記複数コマの画像データを合成する撮像方法であって、上記複数コマの画像の画質に関連するパラメータを設定するステップと、撮像レンズの焦点距離および上記パラメータに基づいて、上記複数コマの画像のぶれ量を許容値以下にするための露光時間を演算するステップと、上記露光時間に基づいて、連続して複数コマの画像の撮像を行うように露光を制御するステップと、上記複数コマの画像のそれぞれのぶれに関するデータを検出するステップと、上記ぶれに関するデータに基づいて、上記複数コマの画像データのそれぞれによって表される複数コマの画像の同一部分が一致するように、上記複数コマの画像データを対応付けて加算するステップと、を含むことを特徴とするものである。

本発明によれば、必要とされる画質に応じた精度でぶれを効率よく補正して被写体像を撮像することができる。

以下、本発明の実施の形態について、図を参照して説明する。

図１は、本発明の一実施の形態に係る電子カメラの要部の構成を示す機能ブロック図である。この電子カメラ１は、撮像レンズ３、絞り５、撮像素子７、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）回路９、増幅回路１１、アナログ／デジタル（Ａ／Ｄ）変換部１３、画像処理部１５、自動露光（Automatic Exposure：ＡＥ）処理部１７、自動焦点（Automatic Focusing：ＡＦ）処理部１９、表示部２１、不揮発性メモリ２３、内蔵メモリ２５、圧縮／伸張部２７、着脱メモリ２９、撮像素子ドライバ３１、タイミングジェネレータ（ＴＧ）回路３３、第１演算処理部（ＣＰＵ）３５、入力部３７、レンズ駆動系３９、絞り駆動系４１、角速度センサ４３，４５、アナログ／デジタル（Ａ／Ｄ）変換部４７、第２演算処理部（ＣＰＵ）４９、電源部５１を有する。

撮像レンズ３は、ＣＰＵ３５によりレンズ駆動系３９を介して制御して、図示しない被写体像を、絞り５を介して撮像素子７に結像する。絞り５は、ＣＰＵ３５により絞り駆動系４１を介して制御する。

撮像素子７は、例えば数１００万を越える画素（ピクセル）を有するインターライン型のＣＣＤイメージセンサからなり、線順次走査による全画素読み出しに適したベイヤー配列の色フィルタを有するものを用いる。この撮像素子７は、ＣＰＵ３５により制御されるＴＧ回路３３からの転送パルスに従って、撮像素子ドライバ３１を介して駆動し、その出力信号をＣＤＳ回路９に供給する。

ＣＤＳ回路９は、ＴＧ回路３３から供給されるサンプルホールドパルスに従って、撮像素子７の出力信号からリセット雑音等を除去して、増幅回路１１に供給する。増幅回路１１は、ＣＤＳ回路２の出力信号を、後段のＡ／Ｄ変換部１３の最適な入力レンジに増幅するもので、その増幅率は、ＩＳＯ感度および後述する時分割撮像における画像データのレベル（具体的には時分割撮像における撮像回数）に応じて、ＣＰＵ３５によりバスライン５３を介して制御する。Ａ／Ｄ変換部１３は、ＴＧ回路３３から供給されるタイミングパルスに従って増幅回路１１の出力信号をデジタル信号に変換して、バスライン５３に出力する。なお、時分割撮像とは、所定の露光時間で連続して複数回の撮像を行うことをいうものとする。また、単に「画像」というときは、撮像素子の撮像面で受光される被写体像、又は画像データを変換して視覚によって観察可能にされた被写体像を意味するものとる。

画像処理部１５、ＡＥ処理部１７、ＡＦ処理部１９、表示部２１、不揮発性メモリ２３、内蔵メモリ２５、圧縮／伸張部２７、着脱メモリ２９、ＣＰＵ４９は、バスライン５３を介してＣＰＵ３５に接続する。画像処理部１５は、Ａ／Ｄ変換部１３からの画像データを処理するもので、時分割撮像によって得られた画像データを一時的に記憶するためのフレームメモリ１５ａを含む画像合成部１５ｂを有する。表示部２１は、液晶モニタやＥＶＦ（Electronic View Finder）で構成する。

角速度センサ４３および４５は、互いに直交する軸回りにおける回転角の単位時間当たりの変化量である角速度を検出するためのもので、それらの出力はＡ／Ｄ変換部４７でデジタル信号に変換してＣＰＵ４９に供給する。ＣＰＵ４９は、角速度センサ４３，４５の出力を用いて、時分割撮像における被写体像の露光開始からのぶれ量を算出する。

本実施の形態では、図２に電子カメラ１の概略外観図を示すように、撮像レンズ３の光軸Ｏに沿った方向をＺ軸とするとき、角速度センサ４３は、Ｚ軸に垂直な撮像面内における電子カメラ１の左右方向であるＸ軸回りにおける回転角θx の単位時間当たりの変化量である角速度を検出するように配置する。また、角速度センサ４５は、Ｚ軸とＸ軸との交点を通り、Ｚ軸およびＸ軸に直交する電子カメラ１の上下方向であるＹ軸回りにおける回転角θy の単位時間当たりの変化量である角速度を検出するように配置する。

図１において、ＣＰＵ３５は、露光時間を計数するタイマカウンタ３５ａを有し、電子カメラ１の全体の動作を制御する。入力部３７は、図２に示すレリーズボタン５５の第１段の押し込み操作で閉じる第１レリーズスイッチ３７ａと、第１段の押し込み操作に続く第２段の押し込み操作で閉じる第２レリーズスイッチ３７ｂとを有する。また、入力部３７は、撮像素子７に結像された被写体像を光電変換するピクセル数で表される画像サイズを設定するとともに、撮像して得られた画像データを着脱メモリ２９に記録保存する際の画像データの圧縮率を設定する画質設定部を構成する画質入力部３７ｃを有する。この入力部３７から得られる入力情報は、ＣＰＵ３５に供給する。

図１に示す電子カメラ１は、電源部５１から供給される電源で駆動され、概略的には、以下のように動作する。すなわち、電子カメラ１に着脱可能に装填された着脱メモリ２９に被写体像の画像データを記録する際は、撮像素子７から出力される画像データを、ＣＤＳ９、増幅回路１１およびＡ／Ｄ変換部１３を経て画像処理部１５およびＡＥ処理部１７に供給し、画像処理部１５でホワイトバランス等を自動的に調整して表示部２１に表示するとともに、ＡＥ処理部１７で標準露光量を算出し、その露光量に基づいてＣＰＵ３５により、絞り５あるいは撮像素子７の駆動を制御してＡＥ制御を行う。したがって、ＡＥ処理部１７およびＣＰＵ３５は、標準露光時間演算部を構成する。この状態では、撮像者は、表示部２１を見ながら被写体の構図等を決定することができる。

次に、図２に示したレリーズボタン５５が押し込み操作されて第１レリーズスイッチ３７ａがオンすると、その状態で得られた画像データに基づいてＡＦ処理部１９によりデフォーカス量を検出し、そのデフォーカス量に基づいてＣＰＵ３５によりレンズ駆動系３９を介して撮像レンズ３を駆動するＡＦ制御を行う。

その後、さらにレリーズボタン５５が押し込み操作されて第２レリーズスイッチ３７ｂがオンすると、ＡＥ処理部１９で算出された標準露光量に基づく露光時間Ｔexpで本露光を行って、画質入力部３７ｃで設定された画像サイズの画像データを生成する。この際、露光時間Ｔexpが所定値（ぶれ限界露光時間Ｔlimit）よりも長い場合は、撮像レンズ３の焦点距離、画質入力部３７ｃで設定された画像サイズおよび圧縮率に依拠した露光時間ΔＴexpで、時分割撮像を行って複数コマの画像データを生成し、その複数コマの画像データを画像合成部１５ｂで合成して合成した画像データを生成する。また、この場合、ＣＰＵ４９において、被写体像の露光開始から許容値以上のぶれ量が検出された場合は、画像処理部１５は、時分割撮像によって得られた複数コマの画像データを合成する前に、ＣＰＵ４９で算出されたぶれ量に基づいて画像間の相互のぶれを補正する。画像合成部１５ｂで合成された画像データは、内部メモリ２５に書き込み、画質入力部３７ｃで設定された圧縮率に応じて、圧縮／伸張部２７で圧縮処理して、着脱メモリ２９に記録する。

また、着脱メモリ２９に記録されている画像データを再生する場合は、着脱メモリ２９から読み出した圧縮された画像データを、圧縮／伸張部２７で伸張処理して内部メモリ２５に書き込み、この書き込まれた画像データを、画像処理部１５で画像処理して表示部２１にて再生する。なお、着脱メモリ２９に記録された画像データは、図示しないプリンタでプリントしたり、大画面のモニタで表示したりする場合もある。

次に、図２乃至図４を参照して、ＣＰＵ４９で算出するぶれ量について説明する。

図２において、ある時刻における、撮像レンズ３の光軸Ｏに沿った被写体側をＺ軸の正方向、被写体側から電子カメラ１を見て右側をＸ軸の正方向、電子カメラ１の上方向をＹ軸の正方向とする。また、Ｚ軸周りの回転角は、θz とする。なお、上述したある時刻においては、撮像レンズ３の光軸ＯとＺ軸とは一致しているが、別の時刻において、ぶれが発生している場合は、撮像レンズ３の光軸Ｏは一般にＺ軸とは一致しない。

ＣＰＵ４９は、撮像レンズ３から、焦点距離ｆに関する情報を取得する。例えば、撮像レンズ３が電動ズームである場合には、レンズ駆動系３９を介して焦点距離ｆに関する情報の取得を行い、あるいは、撮像レンズ３が交換式のレンズ鏡筒である場合には通信接点等を介して焦点距離ｆに関する情報の取得を行う。また、ＣＰＵ４９は、ＡＦ処理部１９から被写体距離情報を取得する。これら、焦点距離ｆの情報、および被写体距離情報は、後述するように、Ｘ方向のぶれ量の演算、およびＹ方向のぶれ量の演算に用いる。

図３は、電子カメラ１がぶれた場合の撮像面上における被写体像の移動状態を示す図である。電子カメラ１が手ぶれ等によって回転角θx だけ回転したとすると、撮像レンズ３は、実線で示す位置から、符号３′として破線で示す位置まで回転して移動するとともに、撮像素子７の撮像面６１も角度θx だけ傾いたＣ−Ｄ面の位置に回転する。また、ぶれが発生していないときには、符号６３で示す中心位置にあった被写体６５の像が、回転角θx のぶれが発生した後には、撮像面Ｃ−Ｄ上の符号６３′で示す位置に移動する。

ここで、撮像レンズ３の焦点距離をｆ、ぶれが発生していないときの撮像レンズ３の物体空間焦点から被写体６５までの距離をＬ、ぶれが発生していないときの撮像レンズ３の像空間焦点から像位置までの距離をＬ′、ぶれによる像位置の移動量をΔＹ、とすると、移動量ΔＹは、（１）式に示すニュートン（Newton）の結像公式を用いて、（２）式から算出することができる。

［数１］
Ｌ・Ｌ′＝ｆ^２ ・・・（１）
ΔＹ＝（１＋β）^２・θx・ｆ ・・・（２）

なお、上記（２）式において、βは撮像倍率を示し、ｆ／Ｌである。また、（２）式では、θx が微小量であるとして、θx の１次のオーダまでの近似を行っている。

上記（２）式における値ｆは、上述したように、レンズ情報としてＣＰＵ４９に入力する。また、βを算出するために必要な距離Ｌは、図１に示したＡＦ処理部１９からの情報に基づいて算出する。さらに、角度θx は、角速度センサ４３からの出力に基づいて算出する。もちろん、Ｌがｆに比べて大きいときは、βを省略することにより設計を簡略にすることも可能である。

上記（２）式で算出した移動量ΔＹに基づいて、移動後の画像データに対して実質的な補正を行うことにより、電子カメラ１にぶれが発生したとしても、撮像素子７から出力される画像データによる画像には、ぶれの影響が生じないようにすることができる。なお、上述したように、角度θx は微小量であるために、撮像面Ｃ−Ｄが、Ｘ軸周りにＹ軸に対して角度θx だけ傾いても、撮像面６１の傾きにより生じる像への影響は、上述した移動量ΔＹ以外には問題になることはない。

また、Ｙ軸回りに回転角θy だけぶれが発生したときの像位置の移動量ΔＸも、上記（２）式と同様に、下記の（３）式から求めることができる。

［数２］
ΔＸ＝（１＋β）^２・θy・ｆ ・・・（３）

上記（２）式の両辺を時間で微分すると、下記の（４）式が得られる。

上記（４）式において、右辺のｄ（θx ）／ｄｔは、Ｘ軸周りの角速度そのものであるので、角速度センサ４３の出力をそのまま用いることが可能である。また、（４）式の左辺のｄ（ΔＹ）／ｄｔは、ｄ（θx ）／ｄｔの角速度が生じた場合のＹ軸方向の像移動速度Ｖy となる。

同様に、Ｙ軸回りに回転角θy だけぶれが発生したときのＸ軸方向の像位置の移動量ΔＸに関しても、上記（３）式の両辺を時間で微分することにより、下記の（５）式が得られる。

上記（５）式において、右辺のｄ（θy ）／ｄｔは、Ｙ軸周りの角速度そのものであるので、角速度センサ４５の出力をそのまま用いることが可能である。また、（５）式の左辺のｄ（ΔＸ）／ｄｔは、ｄ（θy ）／ｄｔの角速度が生じた場合のＸ軸方向の像移動速度Ｖx となる。

ここで、所定時間ΔＴの周期で検出した角速度センサ４３の出力ｄ（θx ）／ｄｔが、ωx1，ωx2，ωx3，…，ωx(n-1)，ωxnであったとすると、ｎ×ΔＴの時間が経過した後のＹ軸方向における像位置の移動量ΔＹは、下記の（６）式で与えられる。なお、所定時間ΔＴは、Ａ／Ｄ変換部４７が角速度センサ４３，４５の出力をデジタル信号に変換するサンプリング間隔であって、ぶれ限界露光時間Ｔlimit と同じか、またはそれよりも短い時間であることが望ましい。

同様に、所定時間ΔＴ毎に（所定時間ΔＴ周期で）検出した角速度センサ４５の出力ｄ（θy ）／ｄｔが、ωy1，ωy2，ωy3，…，ωy(n-1)，ωynであったとすると、ｎ×ΔＴの時間が経過した後のＸ軸方向における像位置の移動量ΔＸは、下記の（７）式で与えられる。

上記（６）式および（７）式から、撮像素子７により、ｎ×ΔＴの時間間隔で露光制御が行われた２コマの画像間のぶれ量を算出することができる。したがって、これらの数式により算出された移動量（ぶれ量）ΔＸ，ΔＹに基づいて、２コマの画像データのぶれを補正してから、画像を加算することにより、ぶれの低減された画像データを生成することが可能となる。

図４は、ＣＰＵ４９により移動量ΔＸ，ΔＹを画素単位で算出する処理を示すフローチャートである。この処理は、第２レリーズスイッチ３７ｂが閉じたときから露光が終了するまでの間、他の処理とは独立なプロセスとして実行する。

このため、ＣＰＵ４９は、入力部３７からの入力情報を受けるＣＰＵ３５を介して、第２レリーズスイッチ３７ｂのスイッチ状態を監視する（ステップＳ４０１）。そして、第２レリーズスイッチ３７ｂが閉じたことが検出された場合は、次に、撮像レンズ３の焦点距離ｆと、被写体距離Ｌとを取得する（ステップＳ４０２）。これらの焦点距離ｆおよび被写体距離Ｌは、被写体の撮像処理の中で演算して取得してもよいが、より高速なサイクルでぶれ量を演算するためには、別途のプロセッサ等を用いて焦点距離ｆおよび被写体距離Ｌを演算し、ＣＰＵ４９はこの演算されたデータをステップＳ４０２において取得するのが好ましい。これにより、処理の高速化を図ることができるとともに、リアルタイムへの高い追従性を図ることが可能となる。

次に、ＣＰＵ４９は、Ａ／Ｄ変換部４７を介して角速度センサ４３，４５の出力を読み込むことにより、角速度ωx ，ωy を入力する（ステップＳ４０３）。そして、入力した角速度ωx ，ωy を、前回検出した値までの累積加算値に加算することにより、今回検出した値までの累積加算値Σωx ，Σωy を演算する（ステップＳ４０４）。その後、ステップＳ４０４で演算した累積加算値Σωx ，Σωy を、上述した（６）式，（７）式に代入することにより、時分割画像における最初の撮像の終了時点からの像位置の移動量ΔＹ，ΔＸをそれぞれ算出する（ステップＳ４０５）。

次に、ＣＰＵ４９は、「ΔＸ／Ｌｘ」と、「ΔＹ／Ｌｙ」とを演算して、これらを対応するＣＰＵ４９に内蔵されているメモリ[Ｐｘ]，[Ｐｙ]にそれぞれ記憶する（ステップＳ４０６）。なお、Ｌｘ，Ｌｙは、撮像素子７の１画素のＸ方向、Ｙ方向のサイズをそれぞれ表し、「ΔＸ／Ｌｘ」および「ΔＹ／Ｌｙ」は小数以下を四捨五入した整数値を意味するものとする。したがって、Ｐｘ，Ｐｙは、時分割撮像における最初の撮像の終了時点からの像位置の移動量ΔＸ，ΔＹを、画素単位で表したものである。なお、記号[]は、括弧内のデータを記憶するメモリを示している。

その後、露光時間Ｔexpの露光が終了しているか否かを判定し（ステップＳ４０７）、露光が終了していない場合は、ステップＳ４０３から上述と同様の処理を繰り返して行い、露光が終了している場合は、この処理を終了する。以上の処理により、ＣＰＵ４９は、移動量ΔＸ，ΔＹを画素単位で算出する。したがって、本実施の形態では、ぶれ量検出部を、レンズ駆動系３９、ＡＦ処理部１９、角速度センサ４３，４５、Ａ／Ｄ変換部４７、ＣＰＵ４９を含んで構成している。

以下、本実施の形態に係る電子カメラ１の全体的な動作について、図５に示すフローチャートを参照しながら説明する。

図示しない電源スイッチがオンになると、ＣＰＵ３５は、まず、第１レリーズスイッチ３７ａがオンとなったか否かを判定する（ステップＳ５０１）。判定の結果、第１レリーズスイッチ３７ａがオフの場合は、そのまま待機状態とし、第１レリーズスイッチ３７ａがオンになると、ステップＳ５０２に進み、ぶれ限界露光時間Ｔlimitを演算する。したがって、本実施の形態では、ＣＰＵ３５を含んでぶれ限界露光時間演算部を構成している。このぶれ限界露光時間Ｔlimitは、露光開始からのぶれ量が許容のぶれ量に達すると想定される時間である。以下、この許容ぶれ量について詳細に説明する。

一般に、１／ｆ（sec）の露光時間で撮像を行うと、ぶれが目立たないとされている。ここで、ｆは撮像素子７のサイズを３５mmフィルムに換算したときの撮像レンズ焦点距離であり、単位は（mm）である。この原理を理論的に検証してみる。

上述した（６）式および（７）式から明らかなように、角速度ωxk、ωykが撮像者によらずに一定値ωxk＝ωx、ωyk＝ωyで、かつ被写体距離Ｌが撮像レンズ３の焦点距離ｆに比べて十分大きい、すなわち撮像倍率（β）が１に比べて十分小さいとすると、ΔＹおよびΔＸは、それぞれ下記の（８）式および（９）式で表される。なお、（８）式および（９）式において、ΔＴexpは時分割撮像における露光時間（以降、「時分割露光時間」という）である。

［数７］
ΔＹ≒ｆ・ωx・ΔＴexp ・・・（８）
ΔＸ≒ｆ・ωy・ΔＴexp ・・・（９）

上記（８）式および（９）式から明らかなように、ΔＴexpが１／ｆ（sec）であれば、撮像レンズ３の焦点距離によらずに、Ｙ方向およびＸ方向のぶれによる（像面の）移動量ΔＹおよびΔＸは、焦点距離ｆによらず一定値となることがわかる。これは、１／ｆ（sec）の露光時間で撮像すると、所定の観察条件でぶれ（ΔＸ、ΔＹ）が許容錯乱円に納まることを意味する。

しかし、許容できるぶれ量は、上述したように、画像をプリントする際の引き伸ばし倍率、画像の観察距離、視覚の分解能、手ぶれ周波数などに依存するので、これらの条件が異なれば、１／ｆ（sec）の露光時間で撮像を行ったとしても、ぶれ防止効果が十分とはいえないこともあり得る。また、多くの電子カメラは、画像サイズや圧縮率を選択できるようになっており、これらの設定条件に拘らず１／ｆ（sec）の露光時間で時分割撮像を行ったのでは、画像サイズや圧縮率の選択機能を十分に生かすことができないことになる。

本実施の形態では、撮像する画像の画質モードを、画質入力部３７ｃにおいて、図７に示すように、プリントサイズ等の用途に応じて、画像サイズおよび圧縮率の組み合わせで設定可能とする。すなわち、図７では、画像サイズとして、６４０×４８０、１０２４×７６８、１２８０×９６０、１６００×１２００、２５６０×１９２０、３２００×２４００、３６４８×２７３６の７種から用途に応じた一つの画像サイズを選択可能とする。なお、画像サイズは、ピクセル数で表している。また、圧縮率は、各画像サイズにおいて、圧縮率が１／１２のＢ（Bsic）、圧縮率が１／８のＮ（Normal）、圧縮率が１／４のＦ（Fine）、圧縮率が１／２．７のＳＦ（Super Fine）の４種から任意の一つの圧縮率を選択可能とする。

図７に示す画質モードにおいて、本実施の形態では、画像サイズが１２８０×９６０で、圧縮率がＮで撮像した画像を、キャビネサイズ（１２０mm×１６５mm）に引き伸ばして４０cmの距離で観察する場合に、ぶれが目立たないような露光時間を、１／ｆo（sec）（ただし、ｆｏは撮像レンズ３の焦点距離（mm）である）とする。

また、一般に、大きな画像サイズで撮像する場合は、プリントサイズを大きくして、きれいな画像を鑑賞したいためと考えられる。そこで、ここでは、一例として他の画像サイズで撮像した画像は、画像サイズに比例した大きさに引き伸ばしてプリントして、同一の距離４０cmで観察するものとする。この場合、プリントの引き伸ばし倍率に比例して、プリント上のぶれも拡大または縮小されるので、画像サイズに依らずにプリント上のぶれを一定の許容ぶれ量以下に抑えるためには、撮像時の許容ぶれ量は、画像サイズに反比例して小さくする必要がある。

そこで、本実施の形態では、画像サイズにほぼ反比例して、ぶれ限界露光時間Ｔlimitを短くする。すなわち、画質入力部３７ｃで設定された画像サイズが、１／ｆo（sec）の基準となる１２８０×９６０に対して、Ｋ１倍（ただし、Ｋ１は画像サイズを表す長辺または短辺に対する比である）の場合は、ぶれ限界露光時間Ｔlimitを、１／（Ｋ１・ｆｏ）（sec）とする。例えば、画像サイズ（６４０×４８０、１０２４×７６８、１２８０×９６０、１６００×１２００、２５６０×１９２０、３２００×２４００、３６４８×２７３６）に対して、Ｋ１の値は（０．５、０．８、１、１．２５、２、２．５、２．８５）とする。

また、圧縮率が高くなるほど画質は劣化するので、圧縮率が高くなるほど、ぶれの許容量も大きくする。例えば、圧縮率に応じた係数をＫ２とすると、ぶれ限界露光時間Ｔlimitは、１／（Ｋ１・Ｋ２・ｆｏ）（sec）とする。ただし、Ｋ２の値は、圧縮率がＮのとき１で、Ｂでは１より小さく、Ｆでは１より大きく、ＳＦではさらにＦよりも大きくする。本実施の形態では、圧縮率（ＳＦ，Ｆ，Ｎ，Ｂ）に対して、Ｋ２の値を（１．７、１．４、１、０．８）とする。

上記のＫ１、Ｋ２の値は、それぞれ個別の値として、あるいは（Ｋ１・Ｋ２）の値として、不揮発性メモリ２３に記憶しておく。なお、本実施の形態では、画像サイズおよび圧縮率の双方を、画質を決めるパラメータとして用いて、ぶれ限界露光時間Ｔlimitを演算するようにしたが、画像サイズ、圧縮率のいずれか一方のみをパラメータとして用いて、ぶれ限界露光時間Ｔlimitを演算するようにしてもよい。

図５において、ステップＳ５０２において、ＣＰＵ３５は、ぶれ限界露光時間Ｔlimit＝１／（Ｋ１・Ｋ２・ｆｏ）を演算する。ここで、Ｋ１、Ｋ２は、上述した不揮発性メモリ２３に予め記憶されている値、ｆｏは撮像レンズ３の焦点距離である。この撮像レンズ３の焦点距離ｆｏは、レンズ駆動系３９を介して撮像レンズ３を駆動するときの駆動量から逆算してもよいし、撮像レンズ３の位置を検出するエンコーダーにより検出してもよい。

続いて、ＡＥ処理部１９により測光を行って、アペックス演算により、標準的な信号レベルを得るための撮像素子７の撮像面の受光量を得るために必要なシャッタ速度（以降、「標準露光時間」という）Ｔexpを演算する（ステップＳ５０３）。次に、ＣＰＵ３５は、＜Ｔexp／Ｔlimit＞を演算する（ステップＳ５０４）。ここで、＜Ｔexp／ＴLimit＞は、小数点以下を切り上げた整数値ｍとし、Ｔexpは通常撮像における露光時間とする。＜Ｔexp／Ｔlimit＞の演算結果ｍは、内蔵メモリ２５に記憶する。なお、アペックス演算は、露光値を演算するための周知の演算であり、シャッタ速度、絞り、被写体輝度、ＩＳＯ感度のアペックス値をそれぞれ、Ｔｖ、Ａｖ、Ｂｖ、Ｓｖとするとき、下記の（１０）式の関係から各々の露光パラメータを演算することができる。また、ｍをメモリ[Ｆ]に記憶する（ステップＳ５０４）。これはｍを新たな変数Ｆとしてメモリ[ｍ]とは頃なるメモリに記憶することを意味する。この変数Ｆは後述する図６で使用する。

［数８］
Ｔｖ＋Ａｖ＝Ｂｖ＋Ｓｖ ・・・（１０）

なお、本実施の形態では、＜Ｔexp／Ｔlimit＞を、小数点以下を切り上げた整数値としたが、＜Ｔexp／Ｔlimit＞は、整数値であればよく、四捨五入でも切り捨てでも可能であり、また、予め決められた整数の中から近い整数値を選択するようにしてもよい。いずれにしても、＜Ｔexp／Ｔlimit＞の演算結果の近傍の整数値であればよい。また、標準露光時間Ｔexpは、測光に基づいて標準露光が得られる値を求めていたが、これに限らず、撮像者が手動で設定するシャッタ速度としても良いことは勿論である。

次に、ＣＰＵ３５は、標準露光時間Ｔexpを整数値ｍで除算して、時分割露光時間ΔＴexpを求め、その結果を所定のメモリに記憶する（ステップＳ５０５）。このようにして求められた時分割露光時間ΔＴexpは、ぶれ限界露光時間Ｔlimitの近傍の露光時間であり実質的にぶれを許容可能な露光時間である。続いて、アペックス演算に基づいて、絞り値を演算する（ステップＳ５０６）。なお、上記（１０）式の右辺の被写体輝度値Ｂｖは、ステップＳ５０３での測光により求めた値であり、またＩＳＯ感度値Ｓｖは、デフォルト値または撮像者が入力部３７によって入力した値である。したがって、上記（１０）式の左辺のＴｖおよびＡｖは、所定のプログラムラインに沿うように、適宜、演算される。なお、ＩＳＯ感度をＳ倍にすると、露光量は１／Ｓになるので、増幅回路１１の増幅率は、ＩＳＯ感度に応じて制御する。

続いて、ＣＰＵ３５は、第２レリーズスイッチ３７ｂがオンとなっているか否かを判定する（ステップＳ５０７）。その結果、第２レリーズスイッチ３７ｂがオフの場合は、上述のステップＳ５０２からステップＳ５０６の処理を繰り返し、第２レリーズスイッチ３７ｂがオンとなるのを待つ。この間に、第１レリーズスイッチ３７ａもオフとなると、ステップＳ５０１に戻る。

ステップＳ５０７において、第２レリーズスイッチ３７ｂがオンとなると、撮像動作を開始する。この撮像動作では、まず、絞り設定を行う（ステップＳ５０８）。ここでは、開放状態となっている絞り５を、絞り駆動系４１により、ステップＳ５０６にて求めた絞り値まで絞り込む。続いて、増幅回路１１の増幅率がｍ倍になるように設定する（ステップＳ５０９）。すなわち、ステップＳ５０４で算出されるｍが、ｍ＞２となる時分割撮像では、各撮像の露光量が、ｍ＝１の場合の標準露光時間Ｔexpにより得られる露光量に対して、１／ｍになる。このため、ＣＤＳ回路９からの画像データを増幅回路１１でｍ倍に増幅して、Ａ／Ｄ変換部１３に出力する。なお、増幅回路１１の増幅率は、上述したようにＩＳＯ感度によっても変わるが、本実施の形態では、ＩＳＯ感度による増幅率は、１として扱う。

次に、ＣＰＵ３５は、撮像素子７の露光を開始して（ステップＳ５１０）、タイマカウンタ３５ａにより露光開始からの時間が時分割露光時間ΔＴexpだけ経過したかどうかを判断する（ステップＳ５１１）。その結果、露光が終了したら、撮像素子７から読み出された画像データと、この画像データに関連するぶれ量を関連付けてフレームメモリ１５ａ又は内蔵メモリ２５に記憶し、このぶれ量に基づいて画像間のぶれを補正した後に合成する。このぶれ量及び画像データの記憶と、画像合成の処理（ステップＳ５１２）については、図６を参照して後で詳細に説明する。

次に、ＣＰＵ３５は、時分割撮像における撮像回数ｍから１を減算する（ステップＳ５１３）。次に、ＣＰＵ３５は、ｍが０か否かを判断する（ステップＳ５１４）。その結果、ｍ＝０の場合は、内蔵メモリ２５に記憶されている画像データを圧縮／伸張部２７で圧縮した後、当該時分割撮像による静止画像データとして着脱メモリ２９に記録して撮像動作を終了する。したがって、ステップＳ５０４で算出されたｍが１の場合、すなわち、ステップＳ５０２で演算された画質モードに対応するぶれ限界露光時間Ｔlimitと、ステップＳ５０３で演算された露光時間Ｔexpとが、ほぼ等しい場合は、１回の露光で撮像を終了することになる。これに対し、ステップＳ５０４で算出されたｍが、２以上の場合は、ステップＳ５１０〜ステップＳ５１４を繰り返して、時分割露光時間ΔＴexpによる次の時分割撮像を行う。

次に、図６を参照してステップＳ５１２の画像データ記憶と画像合成処理のフローを詳細に説明する。まず、Ｆがｍか否かを判断する（ステップＳ６０１）。このＦは図５のステップＳ５０４でメモリ[Ｆ]に記憶された値であり、時分割撮像における撮像回数ｍに等しい。ステップＳ６０２においてＦ＝ｍであるときは、撮像素子７から読み出した画像データを内蔵メモリ２５に記憶する（ステップＳ６０２）。なお、時分割撮像における初回の撮像直後は必ずＦ＝ｍである。次に面李[Ｆ]に０を記憶する（ステップＳ６０３）。ステップＳ６０１においてＦ＝ｍでないと判断したとき、すなわちｍが２以上のときは、次に、ＣＰＵ４９に内蔵されているメモリに記憶されたＸ方向、Ｙ方向の画素単位のぶれ量Ｐｘ、Ｐｙ（図４に示したステップＳ４０６を参照）を、撮像素子７から読み出される画像データと関連付けて内蔵メモリ２５に記憶する（ステップＳ６０４）。このぶれ量は、既述のとおり、時分割撮像における最初の撮像の終了時点からの像位置の移動量ΔＸ，ΔＹを、画素単位で表したものである。

次に、撮像素子７から読み出した画像データをフレームメモリ１５ａに記憶する（ステップＳ６０５）。次に、内蔵メモリ２５に記憶されたぶれ量に基づいて、フレームメモリ１５ａに記憶した画像データ（画像データＢとする）によって表される画像（画像Ｂとする）と、既に内蔵メモリ２５に記憶されている画像データ（画像データＡとする）によって表される画像（画像Ａとする）が一致するように位置合わせを行い、画像データＡと画像データＢの対応する画素データ同士をＣＰＵ３５により加算する（ステップＳ６０６）。次に、この加算された画像データを、画像データＡが記憶されている内蔵メモリ２５の元のアドレスに上書きする（ステップＳ６０７）。以上の処理を繰り返し、時分割撮像が終了するまで行う。すると、内蔵メモリ２５には、ぶれに関するデータに基づいて、複数コマの画像データのそれぞれによって表される画像同士が一致して重なるように、複数コマの画像データを対応付けて加算した合成画像が内蔵メモリ２５に記憶されることになる。したがって、ＣＰＵ３５、画像処理部１５、内蔵メモリ２５は画像合成部を構成する。

次に、ステップＳ６０６の画像位置あわせと画像加算の処理について詳細に説明する。
画像データＢによって表される画像のＸ方向、Ｙ方向のぶれ量をそれぞれＰｘ（Ｂ）、Ｐｙ（Ｂ）とする。既述のとおり、Ｐｘ（Ｂ），Ｐｙ（Ｂ）は、時分割撮像における最初の撮像の終了時点からの像位置の移動量ΔＸ，ΔＹを、画素単位で表したものである。したがって、Ｐｘ（Ｂ）、Ｐｙ（Ｂ）は、内蔵メモリ２５に記憶されている画像データＡによって表される画像Ａを基準にしたぶれ量であり、画像Ｂと、画像ＡとのＸ方向、Ｙ方向の相対的なぶれ量はそれぞれＰｘ（Ｂ）、Ｐｙ（Ｂ）である。

図８は、画像Ａと画像Ｂの同一部分が重なるようにしたときの、相互の位置関係を例示したものである。ＣＰＵ３５は、フレームメモリ１５ａから画像Ｂに対応する画素データＢを読み出すとともに、フレームメモリ１５ａから画像Ａに対応する画素データＡを読み出して、図８の画像Ａと画像Ｂの同一部分が重なった位置の画像データ同士を加算して、再び内蔵メモリ２５に記憶して、これを新たに画像データＢとする。この画像間の位置合わせと画像データの加算を時分割撮像が終了するまで実行する。

なお、フレームメモリ１５ａは、撮像素子７からの画像データの読み出しが画像合成処理に比べて高速に行われるため、その時間差を補うためのバッファメモリとして機能する。なお、本実施の形態においては、説明の便宜上、フレームメモリ１５aと内蔵メモリ２５を分けたが、フレームメモリ１５aは内蔵メモリ２５の一部であっても構わない。

上述したように、露光時間ΔＴexpで露光を制御して得られたｍ回の撮像の総露光時間（ｍ・ΔＴexp）は、標準露光時間Ｔexpに等しい。したがって、時分割撮像にけるｍ回の撮像によって得られた画像の相互のぶれが補正された画像を合成した画像に含まれる撮像素子のショットノイズのレベルは、標準露光時間Ｔexpで撮像して得られた画像に含まれるショットノイズのレベルと統計的に等しくなり、時分割撮像でありながら高画質を維持することが可能となる。

上述した撮像装置又は撮像方法は、以下に例示する変形例を含む。以下に、本発明に含まれる変形例を例示する。なお、各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

[変形例１]
上記した実施の形態では、撮像素子７から外部に読み出した画像データに基づいて、ぶれ補正と画像合成とを行うようにしたが、撮像素子７にぶれ補正または画像合成の少なくとも１つの機能を持たせるように構成することもできる。

[変形例２]
上記実施の形態では、角速度センサ４３，４５等を用いて得られた画像のぶれ量を、時分割撮像において得られた各画像データと関連付けて内蔵メモリ２５に記憶しておき、この内蔵メモリ２５に記憶されたぶれ量に基づいて画像間のぶれを補正したが、各角速度センサ４３，４５を用いることなく、時分割撮像における画像間のぶれを公知の動きベクトル検出などの画像処理によって求めてもよい。

[変形例３]
上記実施の形態では、撮像素子７から画像信号を読み出す毎に、既に読み出されてぶれ補正が行われて画像合成された画像データとの、ぶれ補正及び画像合成をリアルタイムに処理することにより、高速の画像合成処理を可能とするものであったが、時分割撮影におけるすべての画像データを内蔵メモリ２５に記憶したのち、複数コマの画像データによって表される画像相互のぶれが補正されるように補正処理を行ったのちに画像合成を行うようにしてもよい。

[変形例４]
上記実施に形態においては、時分割撮像における複数回の撮像の総露光時間（ｍ・ΔＴexp）が標準露光時間Ｔexpと等しくなるように撮像回数（ｍ）を制御したが、ぶれ限界露光時間Ｔlimitで、上記ｍ回以外の複数回の撮像を行って得られた複数コマの画像の、相互のぶれを補正して合成するようにしてもよい。ｍ回の撮像によって得られた画像データを合成するのは、画像データのランダムノイズを軽減するためであるが、本実施の形態で演算して求めた撮像回数ｍは必ずしも絶対的なものではないからである。また、本発明は、ぶれを軽減することを趣旨とするものであり、画像データに含まれるのランダムノイズを軽減するための構成は、必ずしも本発明とは直接関係しないものだからである。

[変形例５]
本実施の形態においては、時分割撮影における露光時間ΔＴexpは、ぶれ量を許容可能な限界値（ぶれ限界露光時間Ｔlimit）に設定したが、この標準露光時間ΔＴexpは上記ぶれ限界露光時間Ｔlimitよりも短い時間であればよい。

[変形例６]
上記実施の形態においては、画質パラメータは画質入力部３７ｃにより操作者が入力するものであったが、例えば着脱メモリ２９の残メモリ容量に応じて自動で設定されるようなものであってもよい。

以上のように、本実施の形態では、画像サイズが１２８０×９６０ピクセルで、圧縮率がＮで撮像した画像を、キャビネサイズ（１２０mm×１６５mm）に引き伸ばして４０cmの距離で観察する場合に、ぶれが目立たないような露光時間を、１／ｆo（sec）（ただし、ｆｏは撮像レンズ３の焦点距離（mm）である）と設定し、この露光時間１／ｆo（sec）を基準に、画質入力部３７ｃで設定された画像サイズおよび圧縮率に基づいて、撮像素子７のぶれ限界露光時間Ｔlimitを演算する。そして、演算したぶれ限界露光時間Ｔlimitと、ＡＥ制御によって算出した撮像素子７の標準露光時間Ｔexpとに基づいて、標準露光時間Ｔexpに応じて被写体像を連続して複数ｍ回の撮像を行うとともに、被写体像の露光開始からのぶれ量を検出し、ぶれ量が許容値以上の場合は、複数ｍ回の撮像によって得られる複数ｍコマの画像データのそれぞれによって表される複数コマの画像の同一部分が重なるように、上記複数コマの画像データを対応付けて加算してぶれが低減された合成画像データを得る。したがって、必要とされる画質に応じた精度でぶれを効率よく補正して被写体像を撮像することができる。

本発明の一実施の形態に係る電子カメラの要部の構成を示す機能ブロック図である。 図１に示した電子カメラの概略外観図である。 図２に示した電子カメラがぶれた場合の撮像面上における被写体像の移動状態を示す図である。 図２に示した電子カメラがぶれた場合の撮像面上における移動量ΔＸ，ΔＹを画素単位で算出する処理を示すフローチャートである。 図１に示した電子カメラの全体的な動作を示すフローチャートである。 図１に示した電子カメラの画像データ記憶と画像合成処理の動作を示すフローチャートである。 図１に示した電子カメラの画質モードを説明するための図である。 図１に示した画像合成部による、ぶれの補正処理を説明するための図である。

符号の説明

１ 電子カメラ
３ 撮像レンズ
５ 絞り
７ 撮像素子
９ 相関二重サンプリング（ＣＤＳ）回路
１１ 増幅回路
１３ アナログ／デジタル（Ａ／Ｄ）変換部
１５ 画像処理部
１５ａ フレームメモリ
１５ｂ 画像合成部
１７ 自動露光（ＡＥ）処理部
１９ 自動焦点（ＡＦ）処理部
２１ 表示部
２３ 不揮発性メモリ
２５ 内蔵メモリ
２７ 圧縮／伸張部
２９ 着脱メモリ
３１ 撮像素子ドライバ
３３ タイミングジェネレータ（ＴＧ）回路
３５ 第１演算処理部（ＣＰＵ）
３５ａ タイマカウンタ
３７ 入力部
３７ａ 第１レリーズスイッチ
３７ｂ 第２レリーズスイッチ
３７ｃ 画質入力部
３９ レンズ駆動系
４１ 絞り駆動系
４３，４５ 角速度センサ
４７ アナログ／デジタル（Ａ／Ｄ）変換部
４９ 第２演算処理部（ＣＰＵ）
５１ 電源部
５３ バスライン
６１ 撮像面
６５ 被写体

Claims (3)

1. 時分割撮像によって得られた複数コマの画像データのそれぞれによって表される複数コマの画像の相互のぶれが低減されように、上記複数コマの画像データを合成する撮像装置であって、
   撮像レンズによって結像される被写体像を光電変換する撮像素子と、
   上記複数コマの画像の画質に関連するパラメータを設定する画質設定部と、
   上記撮像レンズの焦点距離および上記パラメータに基づいて、上記複数コマの画像のぶれ量を許容値以下にするための露光時間を演算する露光時間演算部と、
   上記露光時間に基づいて、連続して複数コマの画像を撮像するように上記撮像素子の露光を制御する露光制御部と、
   上記複数コマの画像のそれぞれのぶれ量を検出するぶれ量検出部と、
   上記ぶれ量に基づいて、上記複数コマの画像データのそれぞれによって表される複数コマの画像の同一部分が重なるように、上記複数コマの画像データを対応付けて加算する画像合成部と、
   を有することを特徴とする撮像装置。
2. 上記画質設定部で設定する画質を決めるパラメータは、画像サイズまたは圧縮率の少なくとも１つを含むことを特徴とする請求項２に記載の撮像装置。
3. 時分割撮像によって得られた複数コマの画像データのそれぞれによって表される複数コマの画像の相互のぶれが低減されように、上記複数コマの画像データを合成する撮像方法であって、
   上記複数コマの画像の画質に関連するパラメータを設定するステップと、
   撮像レンズの焦点距離および上記パラメータに基づいて、上記複数コマの画像のぶれ量を許容値以下にするための露光時間を演算するステップと、
   上記露光時間に基づいて、連続して複数コマの画像の撮像を行うように露光を制御するステップと、
   上記複数コマの画像のそれぞれのぶれ量を検出するステップと、
   上記ぶれ量に基づいて、上記複数コマの画像データのそれぞれによって表される複数コマの画像の同一部分が重なるように、上記複数コマの画像データを対応付けて加算するステップと、
   を含むことを特徴とする撮像方法。

Images