JP4840731B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、及びプログラムに関し、特に、画振れを補正する撮像装置、撮像方法、及びプログラムに関する。

電子的な振れ補正と機械的な振れ補正とを併用して画振れを補正する画振れ防止技術としては、たとえば、下記の特許文献１に記載のもの（以下、第１従来技術という。）が知られている。この第１従来技術では、振れ検出手段として、カメラ本体の角速度を検出する角速度センサを備えており、さらに、この振れ検出手段から出力される振れ検出信号に基づいて撮影画像の振れ（画振れ又は手振れともいう。）を補正する二つの振れ補正手段を備えている。

第一の振れ補正手段は、ＣＣＤ等の撮像素子の撮像画像切り出し位置を制御することによって電子的に画振れを補正するもの（以下、この第一の振れ補正手段を「電子的振れ補正手段」ということにする。）であり、第二の振れ補正手段は、撮影レンズの光軸を調節することによって機械的又は光学的に画振れを補正するもの（以下、この第二の振れ補正手段を「機械的振れ補正手段」ということにする。）である。この第１の従来技術では、電子ズーム（画像処理によってズーム効果を得るようにしたもの。）に連動して、これら二つの振れ補正手段（電子的振れ補正手段と機械的振れ補正手段）の動作配分を変化させるとしている。

さて、上記の第１従来技術は、電子的振れ補正手段と機械的振れ補正手段で一つの「振れ検出手段」を兼用している。前記のとおり、この振れ検出手段は「カメラ本体の角速度を検出する角速度センサ（ジャイロセンサともいう。）」によって構成されており、この角速度センサは、たとえば、水晶振動子や圧電セラミック素子を用いて角速度を検出するので、便宜上、機械的なセンサといって差し支えないから、以下、この角速度センサを用いた振れ検出手段を「機械的振れ検出手段」ということにする。

振れ検出手段は、上記の「機械的振れ検出手段」だけでなく、電子的に画振れの検出を行う「電子的振れ検出手段」も知られている。たとえば、下記の特許文献２（以下、第２従来技術）には、撮像素子によって撮像された連続するフレーム間の画像比較によって電子的に振れを検出するものが記載されている。以下、これを「電子的振れ検出手段」ということにする。

このように、従来技術によれば、次のとおり、振れを“検出”するための二つの手段と、振れを“補正”するための二つの手段が知られている。
（１）振れ検出手段
・機械的振れ検出手段：ジャイロセンサ等によって振れを検出するもの。
・電子的振れ検出手段：連続する複数フレーム間の画像比較によって振れを検出するもの。
（２）振れ補正手段
・機械的振れ補正手段：撮影レンズの光軸を調節して振れを補正するもの。
・電子的振れ補正手段：撮像素子の画像切り出し位置を変更して振れを補正するもの。

特開２００２−１８２２６０号公報 特開２００６−３３４６２号公報

ところで、第１従来技術にあっては、「機械的振れ検出手段」と「機械的振れ補正手段」の組み合わせ、及び、「機械的振れ検出手段」と「電子的振れ補正手段」の組み合わせしか開示されておらず、また、第２従来技術にあっては、「機械的振れ検出手段」と「機械的振れ補正手段」の組み合わせ、及び、「電子的振れ検出手段」と「電子的振れ補正手段」の組み合わせしか開示されておらず、しかも、いずれの従来技術にあっても、光学的なズーム動作（つまり、ズームレンズによる画角変更動作）に応じて、上記の組み合わせを適応的に変化させるという思想については一切開示されていない。

ここで、二つの振れ検出手段を消費電力で比較した場合、「機械的振れ検出手段」＜「電子的振れ検出手段」である。すなわち、「機械的振れ検出手段」の場合は、もっぱらセンサでごく僅かな電力しか消費されないのに対して、「電子的振れ検出手段」の場合は、画像処理やメモリアクセス等で相当量の電力を消費するからである。したがって、省電力化の点からは、「機械的振れ検出手段」を使用すべきであるということができる。

しかし、光学ズーム使用時の振れ検出精度を考慮した場合、必ずしも「機械的振れ検出手段」の使用がふさわしくない状況があり得る。つまり、光学ズームの倍率が大きいとき（望遠側：撮影レンズの画角が狭くなったとき）に、「機械的振れ検出手段」で振れの検出を行った場合、振れの検出精度が低下するという不都合がある。これは、画角が狭いときには、ごく僅かな振れであっても、その画角に対する振れの影響が大きくなるからである。

そこで、本発明の目的は、振れ検出の精度低下を防止することにある。

本発明による撮像装置は、撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像手段と、指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正手段と、前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正手段に与える補正量を算出する第１の補正量算出手段と、前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正手段に与える補正量を算出する第２の補正量算出手段と、前記画振れ補正手段による画振れの補正を行う際に、前記第１の補正量算出手段によって算出された補正量と、前記第２の補正量算出手段によって算出された補正量とのどちらを用いるかを判定する判定手段と、低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定手段と、を備え、前記判定手段は、前記指定手段により低消費電力を優先すると指定された場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、前記指定手段により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定することを特徴とする。
本発明による撮像方法は、撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像工程と、指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正工程と、前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正工程に与える補正量を算出する第１の補正量算出工程と、前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正工程に与える補正量を算出する第２の補正量算出工程と、前記画振れ補正工程による画振れの補正を行う際に、前記第１の補正量算出工程によって算出された補正量と、前記第２の補正量算出工程によって算出された補正量とのどちらを用いるかを判定する判定工程と、低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定工程と、を含み、前記判定工程は、前記指定工程により低消費電力を優先すると指定された場合には前記第１の補正量算出工程による補正量がより多く用いられるように判定し、前記指定工程により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出工程によって算出された補正量がより多く用いられるように判定することを特徴とする。
本発明によるプログラムは、コンピュータを、撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像手段と、指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正手段と、前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正手段に与える補正量を算出する第１の補正量算出手段と、前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正手段に与える補正量を算出する第２の補正量算出手段と、前記画振れ補正手段による画振れの補正を行う際に、前記第１の補正量算出手段によって算出された補正量と、前記第２の補正量算出手段によって算出された補正量とのどちらを用いるかを判定する判定手段と、低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定手段と、として機能させるためのプログラムであって、前記判定手段は、前記指定手段により低消費電力を優先すると指定された場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、前記指定手段により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定することを特徴とする。

本発明では、機械的振れ検出手段に相当する「第１の補正量算出手段」と、電子的振れ検出手段に相当する「第２の補正量算出手段」とによって算出された二つの振れ補正量のどちらを用いて画振れ補正手段による画振れの補正を行うかを判定する場合に、画振れ補正精度よりも低消費電力を優先すると指定された場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、低消費電力よりも画振れ補正精度を優先すると指定された場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定するので、振れ検出の精度低下の防止と、当該精度低下が発生しない場合の省電力化を図ることができる。

本発明の実施形態を、画振れ防止機能を備えた撮像装置、たとえば、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、本実施形態に係るデジタルカメラ１０の構成図である。この図において、デジタルカメラ１０は、撮影レンズ部１１、レンズ駆動部１２、撮像素子１３、ＡＤＣ回路１４、ＴＧ回路１５、撮像素子駆動回路１６、バス１７、画像処理部１８、ＪＰＥＧ変換部１９、ＭＰＥＧ変換部２０、画像間動き検出部２１、振れ補正部２２、ビデオ部２３、ビデオ信号入出力端子２４、表示部２５、外部メモリＩ／Ｆ２６、外部メモリ２７、ＳＤＲＡＭ２８、フラッシュメモリ２９、ジャイロセンサ３０、増幅部３１、アナログデジタル変換部３２、キー操作入力部３３、オーディオ部３４、オーディオ信号入出力端子３５、Ｉ／Ｏポート３６、デジタルデータ入出力端子３７、制御部３８、及び、不図示の電源部などを備える。

撮影レンズ部１１は、ＡＦ（オートフォーカス）や絞り機構、ズーム機構及び光学的な画振れ補正機構を備える。ＡＦと絞り機構は周知の構成であるので、図示を省略するが、ズーム機構は、テレ端（望遠端）からワイド端（広角端）までの間の任意のズーム倍率で画角αを変更することができる撮影レンズ群１１ａを主たる要素として構成されている。また、画振れ補正機構は、必要に応じてこの撮影レンズ群１１ａの光軸１１ｂを微妙に調整して光学的に画振れを補正する画振れ補正レンズ（又は手振れ補正レンズともいう。）１１ｃを主たる要素として構成されている。これらの構成を有する撮影レンズ部１１は、制御部３８によって適宜にコントロールされるレンズ駆動部１２からの制御を受けて、ＡＦや絞り、ズーム及び画振れの各動作が制御される。

撮像素子１３は、撮影レンズ部１１を透過した被写体像を撮像信号に変換して出力する、たとえば、ＣＣＤやＣＭＯＳ等の二次元光電変換素子で構成されており、撮像素子１３の撮像動作は撮像素子駆動回路１６によって制御される。ＡＤＣ回路１４は、撮像素子１３から出力された撮像信号を相関二重サンプリングして増幅し、増幅後の撮像信号をデジタル信号に変換してＴＧ回路１５及びバス１７を介して、画像処理部１８に出力する。

バス１７には、上記のＴＧ回路１５や画像処理部１８の他に、外部メモリＩ／Ｆ２６、ＳＤＲＡＭ２８、フラッシュメモリ２９及び制御部３８などが接続されており、上記の画像処理部１８は、このバス１７を介して制御部３８のコントロールを受けながら所要の画像処理を実行する。

制御部３８は、ワンチップマイクロコンピュータ（以下、単にマイコン又はコンピュータという。）を主たる要素として構成されており、フラッシュメモリ２９に予め格納されているＯＳ（オペレーティングシステム）や各種制御プログラム等のソフトウェアリソースをＳＤＲＡＭ２８にロードし、それらのソフトウェアリソースを実行することによって、上記の画像処理部１８を含むデジタルカメラ１０の各部の動作を統括制御する。

具体的には、制御部３８は、撮像素子１３から周期的に取り出される（たとえば、毎秒数十フレームの周期で取り出される）撮像信号を、液晶パネル等で構成された表示部２５に出力することにより、ユーザに対して構図確認用のファインダ画像（スルー画像ともいう。）を提供するという処理を実行する。また、制御部３８は、ユーザによるシャッタボタン３３ａの“半押し”を検出して撮影レンズ部１１のＡＦ及び絞りを制御するという処理を実行する。また、制御部３８は、ユーザによるシャッタボタン３３ａの“全押し”を検出したときに、撮像素子１３からの撮像信号をＪＰＥＧ変換部１９（静止画記録の場合）やＭＰＥＧ変換部２０（動画記録の場合）で圧縮処理した後、その圧縮画像を外部メモリＩ／Ｆ２６を介して外部メモリ２７に記録するという処理を実行する。また、制御部３８は、ユーザによる再生ボタン３３ｂの操作時に、外部メモリＩ／Ｆ２６を介して外部メモリ２７から記録済みの画像を読み出し、ＪＰＥＧ変換部１９（静止画読み出しの場合）やＭＰＥＧ変換部２０（動画読み出しの場合）で伸張処理した後、その伸張画像を表示部２５に出力して再生表示するという処理を実行する。また、制御部３８は、必要に応じて、外部メモリＩ／Ｆ２６を介して外部メモリ２７から読み出した画像をＩ／Ｏポート３６及びデジタルデータ入出力端子３７を介して外部に出力したり、外部から取り込んだ画像を外部メモリＩ／Ｆ２６を介して外部メモリ２７に保存したりする処理を実行する。また、制御部３８は、必要に応じて、ビデオ部２３やビデオ信号入出力端子２４及びオーディオ部３４やオーディオ信号入出力端子３５を介してスルー画像又は再生画像を外部に出力したり、或いは、外部から取り込んだビデオ信号やオーディオ信号を表示部２５に出力して再生表示したりする処理を実行する。また、制御部３８は、ユーザによってズームボタン３３ｃのズーム操作（テレ側への操作又はワイド側への操作）が行われたとき、その操作に対応したズーム信号を生成し、そのズーム信号をレンズ駆動部１２に出力して、撮影レンズ部１１の画角αを変更するという処理を実行する。

加えて、制御部３８は、デジタルカメラ１０の画振れを検出するという処理を実行する。ここで、本実施形態のデジタルカメラ１０は二つの画振れ検出手段を備えている。その一つは、ジャイロセンサ３０の検出信号に基づいて行われるものであり、他の一つは、画像処理部１８の画像間動き量検出部２１で行われるものである。以下、前者を「機械的振れ検出手段」、後者を「電子的振れ検出手段」ということにする。

図２は、本実施形態における機械的振れ検出手段と電子的振れ検出手段の概念図である。まず、機械的振れ検出手段は、（ａ）に示すように、デジタルカメラ１０の本体１０ａに加えられる角速度又は角加速度をジャイロセンサ３０で検出して、振れの方向と大きさを判定するというものである。ジャイロセンサ３０は、好ましくはＸ、Ｙ及びＺ方向の３軸加速度（角速度又は角加速度）を検出するものである。画振れが発生した場合、Ｘ、Ｙ及びＺの各加速度のうち、画振れの方向に対応した加速度の値が大きく変化する。

電子的振れ検出手段は、（ｂ）に示すように、撮像素子１３によって撮像された連続する二つのフレーム３９、４０の間の画像の動き量に基づいて振れの方向と大きさを判定するというものである。たとえば、この図では、二つのフレーム３９、４０に同一の被写体４１が写っているが、時間的に後に写された右側のフレーム４０の被写体４１は、左側のフレーム３９の同じ被写体４１に対して、位置が若干ずれている（ここでは左にずれている）。この“ずれ”の方向と大きさから、画振れを判定することができる。なお、右側のフレーム４０の破線で示す被写体４１ａは、比較のための元の被写体４１である。

ここで、機械的振れ検出手段と電子的振れ検出手段を対比すると、純粋な画振れ成分のみを検出するという点で、機械的振れ検出手段の方が優れている。これは、電子的振れ検出手段は、画像の動きから振れを検出するため、純粋な画振れ成分のみならず、被写体の動き（つまり、被写体振れ）も一緒に検出してしまうからである。また、省電力の点でも機械的振れ検出手段の方が優れている。機械的振れ検出手段のジャイロセンサ３０がほとんど電力を消費しないのに対し、電子的振れ検出手段は、画像処理のために、相当量の電力（画像処理部１８の動作電力やＳＤＲＡＭ２８等のメモリアクセスで消費される電力）を消費するからである。

このように、純粋な画振れ成分のみを検出し、且つ、電力消費が少ないという利点を持つ機械的振れ検出手段ではあるが、一方で、特定の条件下、たとえば、ズーム倍率が高い場合に電子的振れ検出手段に対して振れの検出精度が劣るという欠点がある。

図３は、ズーム倍率を変化させた場合の機械的振れ検出手段の検出精度を示す図である。この図において、θ１、θ２は機械的振れ検出手段（ジャイロセンサ３０）によって検出された広角側と望遠側の振れ量（光軸１１ｂとのなす角）である。θ１＝θ２とした場合、撮像素子１３の撮像面１３ａにおける画振れ補正量Ｌ１、Ｌ２は「Ｌ１＜Ｌ２」になる。

図４は、振れ量が同じ（θ１＝θ２）場合の画像の振れ幅を示す図である。この図において、（ａ）は広角側（たとえば、１倍）の画像、（ｂ）は望遠側（たとえば、３倍）の画像である。この図に示すように、１倍の画像でＬ画素の振れ量は、３倍の画像で３×Ｌ画素の振れ量になる。したがって、機械的振れ検出手段の検出解像度を等倍でＡ画素、電子的振れ検出手段の振れ解像度をＢ画素、光学ズームの倍率をＺ倍とすれば、「Ａ×Ｚ＞Ｂ」の関係になったときに、機械的振れ検出手段の検出解像度が電子的振れ検出手段の解像度を上回り、電子的振れ検出手段の解像度の方が優位に立つことになる。

図５は、機械的振れ検出手段と電子的振れ検出手段の選択概念図である。この図において、縦軸は振れ量の検出解像度、横軸は光学ズームの倍率である。図示のとおり、電子的振れ検出手段の解像度特性線４２は、光学ズームの倍率にかかわらず一定であるが、機械的振れ検出手段の解像度特性線４３は、光学ズームの倍率に応じて線形的に変化し、あるポイント（以下、クロスポイントという。）を境にして、電子的振れ検出手段の解像度特性線４２を下回ってしまう。このクロスポイントは上記の関係（Ａ×Ｚ＞Ｂ）に相当し、このクロスポイントの左側の領域（広角側）で機械的振れ検出手段が有利となり、このクロスポイントの右側の領域（望遠側）で電子的振れ検出手段が有利となる。

したがって、光学ズームの倍率が、クロスポイントよりも右側の領域（望遠側）に入った場合に、機械的振れ検出手段から電子的振れ検出手段に切り換えるようにすれば、ジャイロセンサ３０（機械的振れ検出手段）の検出結果に基づく振れ補正量よりも細かな分解能で振れ補正を行うことができ、振れ検出と振れ補正の精度を向上することができる。一方、光学ズームの倍率が、クロスポイントよりも左側の領域（広角側）に入った場合に、電子的振れ検出手段から機械的振れ検出手段に切り換えるようにすれば、この機械的振れ検出手段の電力消費の方が少ないので、省電力化を図ることができる。

制御部３８は、これら二つの振れ検出手段（機械的振れ検出手段と電子的振れ検出手段）を選択的に使用して画振れを“検出”すると共に、以下に説明する二つの画振れ補正手段（機械的振れ補正手段と電子的振れ補正手段）のいずれか一方を使用して画振れを“補正”する。

機械的振れ補正手段は、撮影レンズ部１１に備えられた画振れ補正レンズ１１ｃを用いて光学的又は機械的に画振れを補正するというものであり、電子的振れ補正手段は、画像処理部１８の振れ補正部２２によって電子的に行われるものである。本実施形態においては、このうちのいずれの補正手段を用いても構わない。すなわち、いずれの補正手段を使用するかは、もっぱら補正精度や消費電力の観点から適宜に決定すればよく、当然ながら、使用しない方の補正手段をデジタルカメラ１０に組み込む必要はない。

図６は、本実施形態における機械的振れ補正手段と電子的振れ補正手段の概念図である。機械的振れ補正手段は、（ａ）に示すように、撮影レンズ群１１ａの光軸１１ｂを画振れ補正レンズ１１ｃによって調節することにより、画振れを補正するものである。また、電子的振れ補正手段は、（ｂ）に示すように、撮像素子１３の画像の切り出し位置をずらす（撮像面１３ａ上の波線で示す範囲１３ｂがずらされた切り出し位置である。）ことにより、画振れを補正するものである。いずれか一方の補正手段をデジタルカメラ１０に組み込めばよい。なお、本実施形態では、説明の便宜上、これら二つの補正手段をデジタルカメラ１０に組み込んでいるものとする。

すなわち、本実施形態のデジタルカメラは、二つの振れ検出手段（機械的振れ検出手段／電子的振れ検出手段）と、二つの振れ補正手段（機械的振れ補正手段／電子的振れ補正手段）とを備え、これらを選択的に組み合わせることにより、振れの“検出”と“補正”とを行うものであるが、重要な点は、二つの振れ検出手段（機械的振れ検出手段／電子的振れ検出手段）を選択的に使用することにある。

図７は、振れ検出手段と振れ補正手段の組み合わせを示す図である。上記のとおり、本実施形態のデジタルカメラ１０は、振れ検出と振れ補正の手段を二つずつ備えているから、その組み合わせは２×２＝４通りになる。各組み合わせにＭ１〜Ｍ４の番号を付すことにする。Ｍ１は機械的振れ検出手段と機械的振れ補正手段の組み合わせ、Ｍ２は電子的振れ検出手段と機械的振れ補正手段の組み合わせ、Ｍ３は機械的振れ検出手段と電子的振れ補正手段の組み合わせ、Ｍ４は電子的振れ検出手段と電子的振れ補正手段の組み合わせである。

前記のとおり、本実施形態において重要な点は、二つの振れ検出手段（機械的振れ検出手段／電子的振れ検出手段）を選択的に使用することにあるから、これらの組み合わせのうち、振れ検出手段の「機械的」（Ｍ１、Ｍ３）と「電子的」（Ｍ２、Ｍ４）のいずれを選択するかがポイントであり、振れ補正手段のいずれを組み合わせても構わない。すなわち、発明の思想上、Ｍ１とＭ３、Ｍ２とＭ４は同等であり、Ｍ１とＭ３、Ｍ２とＭ４のどちらを選択してもよい。

図８は、制御部３８で実行される本実施形態における振れ検出と振れ補正の処理フローを示す図である。このフローでは、まず、ユーザによって撮影シーン（モード）が指示されているか否かを判定する（ステップＳ１１）。撮影シーンとは、風景や人物のスナップ撮影等のように、予め決まった撮影スタイルに対してＡＦや露出及びシャッタ速度等の撮影条件をプログラムしたオート撮影モードのことをいう。

図９は、撮影シーンのリスト図である。このリストは、予めフラッシュメモリ２９に格納され、必要に応じ、ユーザによって選択されるものである。撮影シーンは、たとえば、「風景撮影」、「人物のスナップ撮影」、「サッカー試合の撮影」・・・・などである。一般的に風景撮影の場合は被写界深度を深くするために絞りを小さくする。また、人物のスナップ撮影では、背景や全景をぼかして被写体（この場合、人物）にピントを合わせるために絞りを開き気味にする。また、サッカー試合の撮影のように動きを伴う被写体を撮影する場合には、早めのシャッタ速度を選択する。

撮影シーンのリストには、図示を略すが、これらの絞りやシャッタ速度等の撮影条件がシーンごとに格納されている他、図示のとおり、被写体の動きの複雑度を表す指数（以下、被写体の動きの複雑度指数、又は、単に複雑度指数という。）がシーンごとに格納されている。たとえば、動きがほとんどない「風景撮影」の複雑度指数として“０”、多少の動きがある「人物のスナップ撮影」の複雑度指数として“１０”、相当の動きがある「サッカー試合の撮影」の複雑度指数として“８０”が格納されている。もちろん、これらの複雑度指数の値は一例に過ぎない。

ちなみに、「風景撮影」は、ユーザによって意図的に指定された場合のみならず、自動判定が指示されたときに画角内に動く被写体が存在しない場合も、この「風景撮影」とみなすようになっている。同様に、自動判定が指示されたときに、全画角のある割合（たとえば１０％）を占める少ない数（たとえば１つ）の移動体が低速（たとえば毎秒５画素の速度）で移動している場合は、「人物のスナップ撮影」とみなし、また、画角内の小領域（たとえば５％）を占める多くの（たとえば１５個程度）の移動体が速めの速度（たとえば毎秒２０画素の速度）で移動している場合は、「サッカー試合の撮影」とみなすようになっている。

ステップＳ１１の判定結果が“ＹＥＳ”の場合、すなわち、ユーザによって撮影シーン（モード）が指示されている場合は、図９の撮影シーンのリストを参照して、その撮影シーンに対応した複雑度指数を推定し（ステップＳ１２）、ステップＳ１１の判定結果が“ＮＯ”の場合、すなわち、ユーザによって撮影シーン（モード）が指示されていない場合は、次に、被写体自動判定が指示されているか否かを判定する（ステップＳ１３）。そして、被写体自動判定が指示されている場合は、撮影記録を開始する前の段階でモニタ表示用に逐次撮像して得られる画像データに基づいて被写体の状態（撮影シーン）を自動判定する。具体的には、前後の画像データの比較により画像内の各部の動きベクトルを求め、同じ動きベクトルを持つ連続領域を１つにまとめることにより、画像内を複数の領域に区分し、最も大きい領域を背景、その他の領域を動く物体とみなす。そして、動く物体に対応する各領域の面積や背景部分に対する動きを特定し、この特定された被写体の状態を、図９の撮影シーンのリストの自動判定条件と照らし合わせて、合致した撮影シーンに対応した複雑度指数を推定する（ステップＳ１５）。また、被写体自動判定が指示されていない場合は、予め定められた所定の複雑度指数に設定する（ステップＳ１４）。

このようにして、複雑度指数の推定又は設定を完了すると、次に、現在のズーム倍率（撮影レンズ部１１のズーム倍率）を取得し（ステップＳ１６）、そのズーム倍率と先の複雑度指数とを適用した場合の二つの振れ検出手段（機械的振れ検出手段／電子的振れ検出手段）のいずれ（図７のＭ１又はＭ３とＭ２又はＭ４）の検出精度が高いかを所定の判定テーブル（以下、振れ検出手段切り換え判定テーブル）を参照しながら判定する（ステップＳ１７）。所定のテーブルについては後述する。

次いで、ステップＳ１７の判定結果に従って振れ検出手段を切り換え（ステップＳ１８）、シャッタボタンの半押しまで待機し（ステップＳ１９）、シャッタボタンが半押しされると、ステップＳ１８で切り換えられた振れ検出手段（機械的振れ検出手段又は電子的振れ検出手段）を用いて振れ検出を開始する。このとき、機械的振れ検出手段が選択されている場合には、例えば「５°」のように角度が振れ検出結果として出力される。また、電子的振れ検出手段が選択されている場合には、例えば「１０ドット」のように画素数が振れ検出結果として出力される。また、この検出結果に従って、二つの振れ補正手段（機械的振れ補正手段／電子的振れ補正手段）のいずれかを用いて振れ補正を開始する。このとき、電子的振れ補正手段を用いる場合であれば、撮像画像の切り出し位置の調整値を画素数で与える必要があるため、振れ検出結果として角度が出力されている場合には、この角度を画素数に変換する。なお、この変換処理は、例えば、予めズーム倍率が１倍のときの角度と画素数の対応関係を記憶しておけば、任意のズーム倍率の場合でも演算により求めることができる。同様にして、機械的振れ補正手段を用いる場合であれば、レンズの光軸の傾きの調整値を角度で与える必要があるため、振れ検出結果として画素数が出力されている場合には、この画素数を角度に変換する。なお、この変換処理は、上記角度から画素数への変換と逆の変換を行えばよい（ステップＳ２０）。そして、シャッタボタンの全押しまで待機し（ステップＳ２１）、シャッタボタンが全押しされると、撮影を開始する（ステップＳ２３）という処理を実行する。

図１０は、振れ検出手段切り換え判定テーブルの概念図である。この図において、（ａ）はズーム倍率と二つの振れ検出手段の検出精度との対応関係を示す図であり、（ｂ）は被写体の動きの複雑度指数と二つの振れ検出手段の検出精度との対応関係を示す図である。

（ａ）の縦軸は振れ検出精度、横軸はズーム倍率であり、ステップＳ１６で取得した現在のズーム倍率を横軸に当てはめ、そのズーム倍率と、機械的振れ検出手段の検出精度特性線４４、電子的振れ検出手段の検出精度特性線４５、４６との各交点に対応する縦軸（検出精度）の値のうち最も高精度を示す振れ検出手段を、そのズーム倍率に適合する振れ検出手段であるとして判定する。ただし、検出精度特性線４５は、被写体の動きの複雑度指数“５０”に対応するもの、検出精度特性線４６は、被写体の動きの複雑度指数“０”に対応するものである。

（ｂ）の縦軸は振れ検出精度、横軸は複雑度指数であり、ステップＳ１２、ステップＳ１４又はステップＳ１５で推定又は設定した複雑度指数を横軸に当てはめ、その複雑度指数と、電子的振れ検出手段の検出精度特性線４７、機械的振れ検出手段の検出精度特性線４８、４９との各交点に対応する縦軸（検出精度）の値のうち最も高精度を示す振れ検出手段を、その複雑度指数に適合する振れ検出手段であるとして判定する。ただし、検出精度特性線４８は、ズーム倍率３倍に対応するもの、検出精度特性線４９は、ズーム倍率１倍に対応するものである。

（ａ）及び（ｂ）で示す振れ検出手段切り換え判定テーブルは、以下の考え方に従って設定されたものである。

振れ検出処理と振れ補正処理とに分けて見た場合、補正処理においては、機械的振れ補正手段よりも電子的振れ補正手段の方が消費電力が低いが、検出処理においては、逆に機械的振れ検出手段の方が消費電力が低くなる。このように、省電力性の点では、機械的振れ検出手段と電子的振れ補正手段との組み合わせ（図７のＭ３）とすべきであるが、光学ズームの倍率によっては必ずしもそうなるとは言い切れない。機械的振れ検出手段では、高倍率時に振れ検出精度が低下することがあるからである。したがって、ズーム倍率が低い場合は機械的振れ検出手段を選択（図７のＭ１又はＭ３）する一方、ズーム倍率が高くなった場合は電子的振れ検出手段を選択（図７のＭ２又はＭ４）することにより、省電力性と振れ補正精度の向上とを両立させることができる。

また、電子的振れ検出手段は、移動する被写体の存在により振れ検出精度が低下するという欠点がある。したがって、実用上は、ズーム倍率だけでなく、移動する被写体の有無に応じても、機械的振れ検出手段と電子的振れ検出手段とを切り換えるようにすべきである。図９の振れ検出手段切り換え判定テーブルは、このような考え方に従って設定されたものである。

また、機械的振れ検出手段の振れ検出精度と電子的振れ検出手段の振れ検出精度とが釣り合うときの光学ズーム倍率は一概に決まらず、機器の性能や撮影状況などに応じて変化する。このため、振れ検出手段を切り換える光学ズーム倍率の閾値の設定を、予め記憶している情報（状況に応じた検出精度の変化曲線のデータ）に基づいて動的に設定することにより、どのような状況でも振れ補正精度が大きく変化してしまうことを防止することができる。

また、低消費電力と振れ補正精度のどちらを優先するかを、ユーザが任意に指定できるようにしてもよい。この指定に応じて光学ズーム倍率を切り換える閾値を変化させることで、低消費電力と振れ補正精度の向上とを状況に応じてバランス良く設定することができる。

また、低消費電力を優先する場合、その優先度に段階を設けてもよい。
図１１は、低消費電力優先の段階テーブルを示す図である。この図に示すように、ズーム倍率に対して、消費電力の優先度が低い場合の切り換え点Ｐ１、消費電力の優先度が標準の場合の切り換え点Ｐ２、及び、消費電力の優先度が高い場合の切り換え点Ｐ３を設け、ユーザによって指定された消費電力優先度（低／標準／高）に対応した切り換え点（Ｐ１〜Ｐ３のいずれか）を選択して、電子的振れ検出手段と機械的振れ検出手段の切換を行うようにしてもよい。

なお、以上の説明では、振れ補正手段について、光学的振れ補正手段と電子的振れ補正手段の二つを備えるものとしたが、この補正手段に関しては、「機械的」又は「電子的」のいずれか一方を備えるものであってもよい。つまり、本件発明の本質は、光学ズーム倍率や被写体の動きの複雑度指数に基づいて、二つの振れ検出手段（機械的振れ検出手段／電子的振れ検出手段）を切り換えて用いることにあり、振れ検出後の“補正”については、「機械的」又は「電子的」のいずれを用いて行っても構わないからである。

本実施の形態の主要な機能は、マイクロコンピュータ（制御部３８）を含むハードウェア資産と、フラッシュメモリ２９に格納されたＯＳや各種プログラムなどのソフトウェア資産との有機的結合によって機能的に実現されるものであるが、ハードウェア資産およびＯＳは汎用のものを利用できるから、本発明にとって欠くことのできない必須の事項は、実質的に、前記の「振れ検出と振れ補正の処理フロー」（図８参照）や、前記の「振れ検出手段切り換え判定テーブル」（図１０参照）に集約されているということがいえる。したがって、本発明は、これらの処理プログラムやテーブルのすべてまたはその要部、さらには、それらを格納した、フロッピー（登録商標）ディスク、ＭＯ、ＣＤ、ハードディスク、半導体メモリなどの記録媒体（それ自体が流通経路に乗るものはもちろん、ネットワーク上にあって記録内容だけを提供するものも含む）を包含するものである。

本実施形態に係るデジタルカメラ１０の構成図である。 本実施形態における機械的振れ検出手段と電子的振れ検出手段の概念図である。 ズーム倍率を変化させた場合の機械的振れ検出手段の検出精度を示す図である。 振れ量が同じ（θ１＝θ２）場合の画像の振れ幅を示す図である。 機械的振れ検出手段と電子的振れ検出手段の選択概念図である。 本実施形態における機械的振れ補正手段と電子的振れ補正手段の概念図である。 振れ検出手段と振れ補正手段の組み合わせを示す図である。 制御部３８で実行される本実施形態における振れ検出と振れ補正の処理フローを示す図である。 撮影シーンのリスト図である。 振れ検出手段切り換え判定テーブルの概念図である。 低消費電力優先の段階テーブルを示す図である。

符号の説明

１０ デジタルカメラ（撮像装置）
１０ａ 本体（撮像装置本体）
１１ 撮影レンズ部（撮影レンズ）
１１ｃ 画振れ補正レンズ（画振れ補正手段）
１３ 撮像素子（撮像手段）
１３ａ 撮像面
２１ 画像間動き検出部（第２の補正量算出手段）
２２ 振れ補正部（画振れ補正手段）
３０ ジャイロセンサ（第１の補正量算出手段）
３８ 制御部（制御手段）
Ｓ１７ ステップ（判定手段）

Claims (12)

1. 撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像手段と、
   指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正手段と、
   前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正手段に与える補正量を算出する第１の補正量算出手段と、
   前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正手段に与える補正量を算出する第２の補正量算出手段と、
   前記画振れ補正手段による画振れの補正を行う際に、前記第１の補正量算出手段によって算出された補正量と、前記第２の補正量算出手段によって算出された補正量とのどちらを用いるかを判定する判定手段と、
   低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定手段と、
   を備え、
   前記判定手段は、前記指定手段により低消費電力を優先すると指定された場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、前記指定手段により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定することを特徴とする撮像装置。
2. 光学ズームの倍率を変化させる光学ズーム手段を更に備え、
   前記判定手段は更に、前記光学ズームの倍率が低い場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、前記光学ズームの倍率が高い場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定することを特徴とする請求項１記載の撮像装置。
3. 前記第１の補正量算出手段は、ジャイロセンサが出力する角速度または角加速度に基づいて前記撮影レンズを含む撮像装置本体の動き検出を行うことを特徴とする請求項１または２記載の撮像装置。
4. 前記第２の補正量算出手段は、前記撮像手段によって連続して撮像された複数の画像信号の比較に基づいて前記撮影レンズを通した被写体像の撮像面に対する移動検出を行うことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記画振れ補正手段は、指定された補正量に基づいて、前記撮影レンズの光軸を調整することにより画振れを補正する機械的振れ補正手段を含むことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記画振れ補正手段は、指定された補正量に基づいて、前記撮像手段から出力される画像信号の画像の切り出し位置を移動させることにより画振れを補正する電子的振れ補正手段を含むことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記判定手段は、前記第１の補正量算出手段が算出する補正量の誤差や信頼性を示す精度と、第２の補正量算出手段が算出する補正量の誤差や信頼性を示す精度とが所定の関係となる光学ズームの倍率を基準として、前記第１の補正量算出手段によって算出された補正量と、前記第２の補正量算出手段によって算出された補正量とのどちらを用いるかを判定することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 前記判定手段は、前記光学ズームの倍率が高くなるにつれて低下する前記第１の補正量算出手段による補正量の算出精度が、前記第２の補正量算出手段による補正量の算出精度よりも低下した場合に、前記第２の補正量算出手段によって算出された補正量を用いるように判定することを特徴とする請求項７記載の撮像装置。
9. 前記判定手段は、被写体の動きの複雑度が高くなるにつれて低下する前記第２の補正量算出手段による補正量の算出精度が、前記第１の補正量算出手段による補正量の算出精度よりも低下した場合に、前記第１の補正量算出手段によって算出された補正量を用いるように判定することを特徴とする請求項７または８記載の撮像装置。
10. 前記判定手段は、消費電力の低減に対する優先度に応じて前記判定の基準となる光学ズームの倍率を変化させることを特徴とする請求項７記載の撮像装置。
11. 撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像工程と、
    指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正工程と、
    前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正工程に与える補正量を算出する第１の補正量算出工程と、
    前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正工程に与える補正量を算出する第２の補正量算出工程と、
    前記画振れ補正工程による画振れの補正を行う際に、前記第１の補正量算出工程によって算出された補正量と、前記第２の補正量算出工程によって算出された補正量とのどちらを用いるかを判定する判定工程と、
    低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定工程と、
    を含み、
    前記判定工程は、前記指定工程により低消費電力を優先すると指定された場合には前記第１の補正量算出工程による補正量がより多く用いられるように判定し、前記指定工程により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出工程によって算出された補正量がより多く用いられるように判定することを特徴とする撮像方法。
12. コンピュータを、
    撮影レンズを通して撮像面に結像した被写体像を画像信号に変換する撮像手段と、
    指定された補正量に基づいて前記画像信号の画振れを補正する画振れ補正手段と、
    前記撮影レンズを含む撮像装置本体の動き検出に基づいて前記画振れ補正手段に与える補正量を算出する第１の補正量算出手段と、
    前記撮影レンズを通した被写体像の撮像面に対する移動検出に基づいて前記画振れ補正手段に与える補正量を算出する第２の補正量算出手段と、
    前記画振れ補正手段による画振れの補正を行う際に、前記第１の補正量算出手段によって算出された補正量と、前記第２の補正量算出手段によって算出された補正量とのどちらを用いるかを判定する判定手段と、
    低消費電力と画振れ補正精度のどちらを優先するかを任意に指定する指定手段と、
    として機能させるためのプログラムであって、
    前記判定手段は、前記指定手段により低消費電力を優先すると指定された場合には前記第１の補正量算出手段による補正量がより多く用いられるように判定し、前記指定手段により画振れ補正精度を優先すると指定された場合には前記第２の補正量算出手段によって算出された補正量がより多く用いられるように判定することを特徴とするプログラム。
    

Images