JP2013009039A

JP2013009039A - 撮像装置及びその制御方法

Info

Publication number: JP2013009039A
Application number: JP2011138636A
Authority: JP
Inventors: Hiroko Yamauchi; 裕子山内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-06-22
Filing date: 2011-06-22
Publication date: 2013-01-10

Abstract

【課題】より精度の高い動きベクトルの取得を実現し、ズーム駆動中でも正確にブレ量の算出を行える撮像装置等を提供する。
【解決手段】光学ズーム手段（ズーム駆動制御部１０９）によってズームレンズ１０１が駆動中の場合、電子ズーム手段（制御部１１４）は、２つの画像のうちの少なくともいずれか一方を２つの画像の光学ズーム手段による変倍率に応じて電子ズームを行って、当該２つの画像の画角を合わせ、動きベクトル検出部１１３は、電子ズーム手段によって２つの画像の画角が合った後に動きベクトルを検出する。
【選択図】図１

Description

本発明は、２つの画像から動きベクトルを検出する撮像装置及びその制御方法に関するものである。

撮像装置を用いて被写体を撮影するときに、撮像装置を三脚などに固定せずに、例えば手持ちしたり、走行中の自動車内から撮影したりすると、手の振れが装置に加わり撮像画面にブレが生じる。従来、その撮像画面のブレを補正するために、下記の特許文献１に挙げられるように、撮像装置本体の動きを検出するセンサと画像の動きを検出する手段を有し、それぞれの検出された動き量を基に、ブレを補正するようにレンズを動かす方法が提案されている。

特開平１０−１６４４２５号公報

しかしながら、上述の特許文献１に開示された従来技術では、ズーム駆動中のような画角が変化している時に動きベクトルからブレ量を算出するのは困難である。
図９は、画角変化中の動きベクトルの一例を表した模式図である。ここで、カメラ本体の揺れや、被写体の動きはないものとして説明する。

画像９０１はズーム前、画像９０２はズーム後、そして、画像９０３は画像９０１と画像９０２の動きベクトルをそれぞれ表す。画角が変化すると、画像中の特徴点の場所が全体的に変化し、かつ背景の変化が大きい。そのため、動きベクトルの向きや大きさは一定にはならず、ここからさらにカメラの揺れが加わったとしてもその向き及び大きさを算出することは非常に難しい。

本発明は、このような問題点に鑑みてなされたものであり、より精度の高い動きベクトルの取得を実現し、ズーム駆動中でも正確にブレ量の算出を行える撮像装置及びその制御方法を提供することを目的とする。

本発明の撮像装置は、変倍可能なズームレンズを有する撮像光学系と、前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、前記画像信号によって形成される２つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、前記２つの画像から動きベクトルを検出する動きベクトル検出手段とを有し、前記光学ズーム手段によって前記ズームレンズが駆動中の場合、前記電子ズーム手段は、前記２つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該２つの画像の画角を合わせ、前記動きベクトル検出手段は、前記電子ズーム手段によって前記２つの画像の画角が合った後に前記動きベクトルを検出する。
また、本発明は、上述した撮像装置の制御方法を含む。

本発明によれば、画像間の画角が変化した場合には電子ズームを用いて画像間の画角変化をなくすことにより、より精度の高い動きベクトルを取得できるため、ズーム駆動中でも正確にブレ量を算出することができる。

本実施形態に係る撮像装置の構成例を示す模式図である。図１に示すズーム駆動制御部の内部構成例を示す模式図である。実施例１におけるブレ補正処理の処理手順の一例を示すフローチャートである。実施例１を示し、ズーム駆動時に画角変化後の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。実施例１に係る撮像装置の全体動作処理の処理手順の一例を示すフローチャートである。実施例２を示し、ズーム駆動時には常に望遠側の画像の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。実施例２におけるブレ補正処理の処理手順の一例を示すフローチャートである。実施例３を示し、ズーム駆動時には画角変化後の画角に合うように画角変化前の画像を電子ズームし、動きベクトルを検出して自動露出処理をする方法の一例を示すフローチャートである。画角変化中の動きベクトルの一例を表した模式図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

ズーム駆動中の動きベクトル取得方法の説明に先立ち、本発明の実施形態に係る撮像装置の構成を説明する。
図１は、本実施形態に係る撮像装置の構成例を示す模式図である。
図１に示す撮像装置は、ズームレンズ１０１、シャッタ・絞りユニット１０２、シフトレンズ１０３、フォーカスレンズ１０４、撮像素子１０５、撮像信号処理部１０６、映像信号処理部１０７、表示部１０８、ズーム駆動制御部１０９、シャッタ・絞り駆動制御部１１０、シフトレンズ駆動制御部１１１、フォーカス駆動制御部１１２、動きベクトル検出部１１３、制御部１１４、ズームスイッチ１１５、外部入出力端子部１１６、シャッタレリーズスイッチ１１７、記憶部１１８、及び、電源部１１９を備える。

本実施形態に示す撮像装置の撮像光学系は、３群構成である。以下、撮像光学系について説明する。
ズームレンズ１０１は、変倍可能なズーム制御に関与する１群レンズである。また、シフトレンズ１０３は、ブレ補正を実行する２群レンズである。また、フォーカスレンズ１０４は、焦点調節処理を実行する３群レンズである。

ズームレンズ１０１は、光軸方向に沿って位置を変更可能に構成されており、倍率変更（変倍）を行う。ズーム駆動制御部１０９は、ズームレンズ１０１を駆動して撮像素子１０５で撮像する倍率を変更する光学ズーム手段を構成する。ズームレンズ１０１の後段に配置されているシャッタ・絞りユニット１０２は、露光量を調節する。シャッタ・絞り駆動制御部１１０は、シャッタ・絞りユニット１０２を駆動制御して、露光量の調節、即ち露出調節処理を行う露出調節手段である。

シフトレンズ１０３は、光軸に対して略垂直な平面内での位置を変更することが可能に配置されており、ブレ補正光学系を構成する。シフトレンズ駆動制御部１１１は、シフトレンズ１０３を駆動制御する。

フォーカスレンズ１０４は、ピント調整用レンズである。フォーカスレンズ１０４は、光軸方向に沿って位置を変更可能に構成されている。フォーカス駆動制御部１１２は、フォーカスレンズ１０４を駆動制御して、焦点調節処理を実行する焦点調節手段としての機能を有する。

撮像素子１０５は、１群レンズ乃至３群レンズの撮像光学系によって結像した光像（被写体像）を撮像して、撮像した光像を電気信号（画像信号）に変換して出力する。ここで、撮像素子１０５は、本発明の撮像手段であり、映像信号生成手段に相当する。撮像信号処理部１０６は、撮像素子１０５が出力した電気信号を映像信号に変換し、変換した映像信号を画像データとして出力する。映像信号処理部１０７は、撮像信号処理部１０６が出力した画像データに対して所定の処理を施して、表示部１０８に表示可能な画像信号とし、当該画像信号を出力する。上記ズームレンズ１０１乃至映像信号処理部１０７は、画像データを撮像する画像撮像手段としての機能を有する。また、撮像信号処理部１０６から得られる画像データに基づいて、動きベクトル検出部１１３は、動きベクトルを検出して取得する。

制御部１１４は、本実施形態に係る撮像装置のシステム全体を制御する。具体的には、制御部１１４は、各々の撮像光学系が備えるズーム駆動制御部１０９、シャッタ・絞り駆動制御部１１０、シフトレンズ駆動制御部１１１、フォーカス駆動制御部１１２、撮像素子１０５、撮像信号処理部１０６、映像信号処理部１０７、動きベクトル検出部１１３の処理を制御する。また、制御部１１４は、表示部１０８、ズームスイッチ１１５、外部入出力端子部１１６、シャッタレリーズスイッチ１１７、記憶部１１８、電源部１１９を制御する。制御部１１４は、不図示のＣＰＵ（Central Processing Unit）等により解釈及び実行されるプログラムに従って処理を実行する。また、例えば、制御部１１４は、画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段を構成する。また、例えば、制御部１１４は、画像信号によって形成される２つの画像の光学ズーム手段（ズーム駆動制御部１０９）による変倍率を検出する変倍率検出手段を構成する。

本実施形態に特有の動作として、制御部１１４は、後述する動きベクトル検出部１１３によって検出された動きベクトルに基づいて、ブレ量を補正すべくシフトレンズ駆動制御部１１１に指令を出す。また、制御部１１４は、表示部１０８に指示して、映像信号処理部１０７が出力した画像信号に基づく画像を表示画面上に画面表示させる。表示部１０８は、撮像光学系毎に画像信号に基づく画像を画面表示する。表示部１０８は、制御部１１４の指示に従った画面表示処理を実行する。

動きベクトル検出部１１３は、撮像信号処理部１０６が出力した画像データに基づく２つの画像から動きベクトルを検出して取得し、その情報を制御部１１４に伝える。動きベクトル検出方法として、本実施形態では、現フィールドの画像と前フィールドの画像とを所定の代表点または画素ごとに比較対照するマッチング法を採用する。具体的には、前フィールドの画像を現フィールドの画像に対して画面内で水平及び垂直にシフトさせて突き合わせ、両者が最も一致するシフト量及び方向を持って動きベクトルとする。

ズームスイッチ１１５は、ズームレンズ１０１を操作する操作手段である。ズームスイッチ１１５は、ユーザの操作入力に応じて、操作信号を入力し、入力した操作信号を制御部１１４に送信する。

外部入出力端子部１１６は、不図示の外部装置との間の通信を媒介する。具体的には、外部入出力端子部１１６には、映像信号及び音声信号が入力される。また、映像信号及び音声信号が外部入出力端子部１１６から出力される。

シャッタレリーズスイッチ１１７は、押し込み量に応じて、第１スイッチ（以下、「ＳＷ１」と記述）及び第２スイッチ（以下、「ＳＷ２」と記述）が順にオン状態となるように構成されている。具体的には、ユーザがシャッタレリーズスイッチ１１７を約半分押し込んだ場合に、ＳＷ１がオン状態となる。そして、ユーザが、更に、シャッタレリーズスイッチ１１７を最後まで深く押し込んだ場合に、ＳＷ２がオン状態となる。そして、ＳＷ１、ＳＷ２がオン状態となったことを示す信号が制御部１１４に送信される。

記憶部１１８には、撮像信号処理部１０６が出力した画像データ、映像信号処理部１０７が出力した画像信号等が記憶される。なお、記憶部１１８には、制御部１１４によって解釈されて実行される、本実施形態に係る撮像装置の制御プログラム（コンピュータプログラム）を記憶するためのメモリ装置も含まれる。

電源部１１９は、図１に示す撮像装置の各構成部に対して、電源電圧を供給する。

本実施形態の撮像装置の制御方法は、図１に示す撮像装置が備える各構成部によって実現される。また、図１に示す撮像装置の機能は、ＣＰＵとその上で実行されるコンピュータプログラムにより実現される。このコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、この記録媒体に記録して提供され、または、通信インタフェースを介してネットワークを利用した送受信により提供される。

次に、図１に示す撮像装置による、自動焦点調節（ＡＦ）処理、自動露出（ＡＥ）処理、及び、ズーム駆動制御処理について説明する。
上述したように、シャッタレリーズスイッチ１１７の押し込み量に応じて、ＳＷ１及びＳＷ２が順にオン状態となる。シャッタレリーズスイッチ１１７のＳＷ１がオン状態となったことを示す信号が制御部１１４に入力されると、制御部１１４が、フォーカス駆動制御部１１２に指示して、制御部１１４が決定した指標を対象としてＡＦ処理を実行させる。制御部１１４から指示を受けたフォーカス駆動制御部１１２は、フォーカスレンズ１０４を駆動することによって、上記指標を対象としたＡＦ処理を実行する。また、制御部１１４が、シャッタ・絞り駆動制御部１１０に指示して、制御部１１４が決定した指標を対象として、ＡＥ処理を実行させる。具体的には、シャッタ・絞り駆動制御部１１０が、シャッタ・絞りユニット１０２を駆動して、露光量を適正な値に設定する。

ＳＷ２がオン状態となり、ＳＷ２がオン状態となったことを示す信号が制御部１１４に入力されると、制御部１１４が、撮像素子１０５に指示して、撮像素子１０５が受光した光像を電気信号に変換させる。そして、撮像信号処理部１０６が、前記電気信号に基づいて画像データを出力する。そして、映像信号処理部１０７が、撮像信号処理部１０６から得られる画像データに基づいて、表示部１０８に表示する画像信号を出力する。制御部１１４は、撮像信号処理部１０６が出力した画像データ、映像信号処理部１０７が出力した画像信号を記憶部１１８に記憶する。

ユーザがズームスイッチ１１５を操作すると、その操作信号が制御部１１４に入力され、制御部１１４が、ズーム駆動制御部１０９に指示を与える。ズーム駆動制御部１０９は、制御部１１４によって指示されたズーム位置へズームレンズ１０１を移動させる。これによって、ズーム駆動制御処理が実行される。

図２は、図１に示すズーム駆動制御部１０９の内部構成例を示す模式図である。
ズームモータ２０１は、ＤＣ（直流）モータ等で構成され、ズームレンズ１０１を移動させることでズーム動作を行う。ズームモータ駆動回路２０２は、ズームモータ２０１を駆動させるアナログ回路であり、ズームモータ２０１とともにズームレンズ駆動手段を構成する。リセット位置検出部２０３は、ズームレンズ１０１のリセット位置を検出するために設けられた位置検出手段である。

また、ズーム駆動制御部１０９の内部には、ズーム速度検出及びズーム位置検出を行うためにズームモータ２０１に接続されたエンコーダ２０４が設けられ、その出力信号はズーム位置検出部２０５及びズーム速度検出部２０６に送られる。ズーム位置検出部２０５は、エンコーダ２０４から得られたパルス情報に基づいてズーム位置、つまりズームレンズ１０１の位置を求めて検出する。また、ズーム速度検出部２０６は、エンコーダ２０４から得られたパルス情報に基づいてズーム速度、つまりズームレンズ１０１の動作速度を求めて検出する。

ズーム制御部２０７は、ズーム位置検出部２０５の出力信号に応じてズーム移動量の制御を行い、ズームモータ駆動回路２０２を介して、ズームモータ２０１を回転させ、ズームレンズ１０１を駆動する。またズーム制御部２０７は、リセット位置検出部２０３の出力信号に基づいてズームレンズ１０１の駆動制御に係る基準位置を判定する。

以下、本発明の実施例１による電子ズームを利用した動きベクトルの検出方法について説明する。
図４は、実施例１を示し、ズーム駆動時に画角変化後の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。その後、ブレ補正処理が行われる。

画像４０１、画像４０２、画像４０３、及び、画像４０４は、ズーム駆動により画角が広角側から望遠側に変化していったときの画像である。画像４０１は最も広角側（Ｗｉｄｅ）、画像４０４は最も望遠側（Ｔｅｌｅ）で撮った画像とする。

画像４０１、画像４０２、画像４０３、及び、画像４０４は、動きベクトルを検出するタイミングにより、本来ならば画像４０１と画像４０２、画像４０２と画像４０３、画像４０３と画像４０４それぞれの画像間で動きベクトルを検出する。実施例１では、フレームレート毎にズームポイント（Ｗｉｄｅ、Ｍｉｄｄｌｅ１、Ｍｉｄｄｌｅ２、Ｔｅｌｅ）までズームし、それぞれの画像で動きベクトルを検出するものとする。ただし、このタイミングは、フレームレートに限るものではなく、画角変化量などによって変化させても良い。

画像４０５は、画像４０１と画像４０２との間での画角変化量と同じ倍率で、画像４０１を電子ズームした画像である。同様に、画像４０６は、画像４０２と画像４０３との間での画角変化量と同じ倍率で、画像４０２を電子ズームした画像である。また、画像４０７は、画像４０３と画像４０４との間での画角変化量と同じ倍率で、画像４０３を電子ズームした画像である。ここで、画像間の画角変化量は、ズーム速度検出部２０６から算出する。ズームレンズ１０１の動いている速度が分かれば、次のフレームでの画角が算出できるためである。

ここで、画像４０１と画像４０２から動きベクトルを検出しようとすると、前述の通り画角変化のために、正確にブレ量を算出することができない。そこで、画角変化による影響が生じないように、動きベクトル検出部１１３は、画像４０５と画像４０２とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部１１３は、画像４０２の代わりに画像４０６と画像４０３とから、画像４０３の代わりに画像４０７と画像４０４とから、それぞれ、動きベクトルを検出して取得する。

即ち、本実施例では、光学ズーム手段（ズーム駆動制御部１０９）によってズームレンズ１０１が駆動中の場合、電子ズーム手段（制御部１１４）は、２つの画像のうちの一方を当該２つの画像の変倍率に応じて電子ズームを行って当該２つの画像の画角を合わる。そして、動きベクトル検出部１１３は、当該２つの画像の画角が合った後に動きベクトルを検出する。

図５は、実施例１に係る撮像装置の全体動作処理の処理手順の一例を示すフローチャートであり、ブレ補正を行う処理を含む。当該ブレ補正の処理の一例については図３に示す。なお図中の「ＹＥＳ」は肯定的な判断結果を示し、「ＮＯ」は否定的な判断結果を示す。

まず、ステップＳ５０１において、図１に示す撮像装置の制御部１１４は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子１０５の駆動を開始する。

続いて、ステップＳ５０２において、例えば制御部１１４は、ブレ補正処理を行う。ブレ補正処理の方法については後述する。

続いて、ステップＳ５０３において、制御部１１４は、シャッタレリーズスイッチ１１７のＳＷ１がオン状態になったか否かを判断する。ステップＳ５０３の判断の結果、シャッタレリーズスイッチ１１７のＳＷ１がオン状態でない、即ち、オフ状態である場合には、ステップＳ５０２に戻り、ブレ補正処理を続ける。

一方、ステップＳ５０３の判断の結果、シャッタレリーズスイッチ１１７のＳＷ１がオン状態である場合には、ステップＳ５０４に進む。
ステップＳ５０４に進むと、例えばフォーカス駆動制御部１１２及びシャッタ・絞り駆動制御部１１０は、制御部１１４による制御に基づいて、ＡＥ処理やＡＦ処理等の撮影準備を行う。

続いて、ステップＳ５０５において、例えば制御部１１４は、再度、ブレ補正処理を行う。

続いて、ステップＳ５０６において、制御部１１４は、シャッタレリーズスイッチ１１７のＳＷ２がオン状態になったか否かを判断する。ステップＳ５０６の判断の結果、シャッタレリーズスイッチ１１７のＳＷ２がオン状態でない、即ち、オフ状態である場合には、ステップＳ５０３に戻り、ＳＷ１がＯＮ状態であるか否かを判断する。

一方、ステップＳ５０６の判断の結果、シャッタレリーズスイッチ１１７のＳＷ２がオン状態である場合には、ステップＳ５０７に進む。
ステップＳ５０７に進むと、例えば制御部１１４は、動画の撮影を制御し、動画の記録を開始する。

続いて、動画の撮影中も、ステップＳ５０８において、例えば制御部１１４は、ブレ補正処理を行う。

続いて、ステップＳ５０９において、制御部１１４は、再び、シャッタレリーズスイッチ１１７のＳＷ２が押されて、シャッタレリーズスイッチ１１７のＳＷ２がオン状態であるか否かを判断する。ステップＳ５０９の判断の結果、シャッタレリーズスイッチ１１７のＳＷ２が離されて、シャッタレリーズスイッチ１１７のＳＷ２がオン状態でない、即ち、オフ状態である場合には、ステップＳ５０８に戻り、再度、ブレ補正を行う。

一方、ステップＳ５０９の判断の結果、再び、シャッタレリーズスイッチ１１７のＳＷ２が押されて、シャッタレリーズスイッチ１１７のＳＷ２がオン状態である場合には、ステップＳ５１０に進む。
ステップＳ５１０に進むと、例えば制御部１１４は、動画の記録を止め、撮影を終了する制御を行う。その後、図５のフローチャートの処理を終了する。

次に、図３を用いて、ブレ補正処理について説明する。
図３は、実施例１におけるブレ補正処理の処理手順の一例を示すフローチャートである。図３は、望遠側の画像はそのままで広角側の画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。なお、図中の「ＹＥＳ」は肯定的な判断結果を示し、「ＮＯ」は否定的な判断結果を示す。

ブレ補正処理が開始されると、ステップＳ３０１において、制御部１１４は、映像信号処理部１０７から画像ｎを取得する。

続いて、ステップＳ３０２において、例えばズーム制御部２０７は、ズームモータ２０１（ズームレンズ１０１）が駆動中であるか否かを判断する。

ステップＳ３０２の判断の結果、ズームモータ２０１（ズームレンズ１０１）が駆動中である場合には、ステップＳ３０３に進む。
ステップＳ３０３に進むと、ズーム速度検出部２０６は、エンコーダ２０４を介したズームモータ２０１の速度の検知から、ズームレンズ１０１の速度を検出して取得する。

続いて、ステップＳ３０４において、制御部１１４は、まず、ステップＳ３０３で取得されたズームレンズ１０１の速度から、連続する２つの画像である画像ｎと次フレームの画像との画角変化量を算出する。次いで、制御部１１４は、算出した画角変化量に基づいて、画像ｎの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率（変倍率）を決定する。

続いて、ステップＳ３０５において、制御部１１４は、ステップＳ３０１で取得した画像ｎをステップＳ３０４で決定した倍率で電子ズームした画像を画像Ｎとして記憶部１１８に記憶する。なお、この時、制御部１１４は、表示部１０８に、電子ズームする前の画像を表示させる。

一方、ステップＳ３０２の判断の結果、ズームモータ２０１（ズームレンズ１０１）が駆動中でない場合には、ステップＳ３０６に進む。
ステップＳ３０６に進むと、制御部１１４は、ステップＳ３０１で取得した画像ｎをそのまま画像Ｎとして記憶部１１８に記憶する。

ステップＳ３０５の処理が終了した場合、或いは、ステップＳ３０６の処理が終了した場合には、ステップＳ３０７に進む。
ステップＳ３０７に進むと、制御部１１４は、次フレームの画像である画像ｎ＋１を取得する。

続いて、ステップＳ３０８に進むと、制御部１１４は、ステップＳ３０７で取得した画像ｎ＋１を画像Ｎ＋１として記憶部１１８に記憶する。

続いて、ステップＳ３０９において、動きベクトル検出部１１３は、記憶部１１８に記憶されている画像Ｎと画像Ｎ＋１の動きベクトルを検出する。

続いて、ステップＳ３１０において、例えば制御部１１４は、ステップＳ３０９で検出された動きベクトルに基づいて、ブレ量を算出する。

続いて、ステップＳ３１１において、制御部１１４は、ステップＳ３１０で算出されたブレ量に基づいて、シフトレンズ駆動制御部１１１に指令を出してシフトレンズ１０３を駆動させ、ブレ補正を行う。その後、図３に示すブレ補正処理を終了する。

上述した実施例１では、次フレームの画像の画角に合うように電子ズームの倍率を決定する方法について説明したが、常に望遠側の画像の画角に合うように電子ズームの倍率を決定しても良い。即ち、本実施例では、最も望遠側の画像の倍率を基準の倍率とし、撮影時の画像による倍率との比較による変倍率により、電子ズームの倍率を決定しても良い。

図６は、実施例２を示し、ズーム駆動時には常に望遠側の画像の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。ここで、図６において、図４と同じ構成には同じ符号を付けている。

画像６０１は、画像４０１と画像４０４との間での画角変化量と同じ倍率で、画像４０１を電子ズームした画像である。同様に、画像６０２は、画像４０２と画像４０４との間での画角変化量と同じ倍率で、画像４０２を電子ズームした画像である。また、画像６０３は、画像４０３と画像４０４との間での画角変化量と同じ倍率で、画像６０３を電子ズームした画像である。

ここでは、画角変化による影響が生じないように、動きベクトル検出部１１３は、画像４０１及び画像４０２の代わりに、画像６０１と画像６０２とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部１１３は、画像４０２及び画像４０３の代わりに、画像６０２と画像６０３とから、画像４０３の代わりに画像６０３と画像４０４とから、それぞれ、動きベクトルを検出して取得する。

即ち、本実施例では、光学ズーム手段（ズーム駆動制御部１０９）によってズームレンズ１０１が駆動中の場合、電子ズーム手段（制御部１１４）は、２つの画像のうちの少なくともいずれか一方を当該２つの画像の変倍率に応じて電子ズームを行って当該２つの画像の画角を合わる。そして、動きベクトル検出部１１３は、当該２つの画像の画角が合った後に動きベクトルを検出する。

次に、図７を用いて、ブレ補正処理について説明する。
図７は、実施例２におけるブレ補正処理の処理手順の一例を示すフローチャートである。図７は、常に最も望遠側の画像の画角と同じ画角になるように各画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。また、図７において、実施例１で説明した、図３のフローチャートと同じ処理ステップには同じステップ番号を付している。

続いて、ステップＳ７０１において、ズーム位置検出部２０５は、エンコーダ２０４を介したズームモータ２０１の位置の検知から、ズームレンズ１０１の位置を検出して取得する。

続いて、ステップＳ７０２において、制御部１１４は、まず、ステップＳ７０１で取得されたズームレンズ１０１のズーム位置から、ステップＳ３０１で取得された画像ｎの画角を算出する。次いで、制御部１１４は、ズームレンズ１０１が最も望遠側にある場合の画像の画角と画像ｎの画角とが合うような電子ズームの倍率（変倍率）を決定する。

続いて、ステップＳ３０５において、制御部１１４は、ステップＳ３０１で取得した画像ｎをステップＳ７０２で決定した倍率で電子ズームした画像を画像Ｎとして記憶部１１８に記憶する。なお、この時、制御部１１４は、表示部１０８に、電子ズームする前の画像を表示させる。

続いて、ステップＳ３０７において、制御部１１４は、次フレームの画像である画像ｎ＋１を取得する。

続いて、ステップＳ７０３において、ズーム位置検出部２０５は、エンコーダ２０４を介したズームモータ２０１の位置の検知から、ズームレンズ１０１の位置を検出して取得する。

続いて、ステップＳ７０４において、制御部１１４は、まず、ステップＳ７０３で取得されたズームレンズ１０１のズーム位置から、ステップＳ３０７で取得された画像ｎ＋１の画角を算出する。次いで、制御部１１４は、ズームレンズ１０１が最も望遠側にある場合の画像の画角と画像ｎ＋１の画角とが合うような電子ズームの倍率（変倍率）を決定する。

続いて、ステップＳ７０５において、制御部１１４は、ステップＳ３０７で取得した画像ｎ＋１をステップＳ７０４で決定した倍率で電子ズームした画像を画像Ｎ＋１として記憶部１１８に記憶する。なお、この時も、制御部１１４は、表示部１０８に、電子ズームする前の画像を表示させる。

続いて、ステップＳ３１１において、制御部１１４は、ステップＳ３１０で算出されたブレ量に基づいて、シフトレンズ駆動制御部１１１に指令を出してシフトレンズ１０３を駆動させ、ブレ補正を行う。その後、図７に示すブレ補正処理を終了する。

上述した実施例１では、画角変化中でも動きベクトルを取得し、その情報に基づいてブレ補正処理を行う方法について説明したが、動きベクトルの情報は、他の機能に使用しても良い。

図８を用いて、実施例３に係る自動露出処理について説明する。
図８は、実施例３を示し、ズーム駆動時には画角変化後の画角に合うように画角変化前の画像を電子ズームし、動きベクトルを検出して自動露出処理をする方法の一例を示すフローチャートである。なお、図中の「ＹＥＳ」は肯定的な判断結果を示し、「ＮＯ」は否定的な判断結果を示す。また、図８において、実施例１で説明した、図３のフローチャートと同じ処理ステップには同じステップ番号を付している。

まず、ステップＳ８０１において、制御部１１４は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子１０５の駆動を開始する。

続いて、ステップＳ３０１において、制御部１１４は、映像信号処理部１０７から画像ｎを取得する。

続いて、ステップＳ３０４において、制御部１１４は、まず、ステップＳ３０３で取得されたズームレンズ１０１の速度から、連続する２つの画像である画像ｎと次フレームの画像との画角変化量を算出する。次いで、制御部１１４は、算出した画角変化量に基づいて、画像ｎの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率を決定する。

続いて、ステップＳ８０２において、例えば制御部１１４は、ステップＳ３０９で検出された動きベクトルに基づいて、適正露光量を算出する。

続いて、ステップＳ８０３において、制御部１１４は、ステップＳ８０２で算出された適正露光量に基づいて、ブレ量を算出し、当該ブレ量に応じてシャッタ・絞り駆動制御部１１０に指令を出してシャッタ・絞りユニット１０２を駆動させ、絞り駆動等を行う。その後、図８に示す自動露出処理を終了する。

本実施例では、シャッタ・絞り駆動制御部１１０は、動きベクトルに応じて絞り量を変更して絞りを駆動する絞り駆動制御手段を構成しているが、その他の態様も適用可能である。例えば、シャッタ・絞り駆動制御部１１０は、動きベクトルに応じてシャッタ速度を変更してシャッタを駆動するシャッタ駆動制御手段を構成してもよい。

（その他の実施例）
上述した本発明の各実施例では、ズームレンズ１０１が駆動中の場合、２つの画像のうちの少なくともいずれか一方を当該２つの画像の変倍率に応じて電子ズームを行って当該２つの画像の画角を合わせ、その後、動きベクトルを検出するようにしている。
しかしながら、以下の態様も本発明に適用可能である。
まず、制御部１１４において、電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を構成する。そして、２つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合には、前記電子ズーム切り替え手段は、電子ズームの使用を行わないようにする態様も適用可能である。ここで、「２つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合」とは、例えば、変倍率が所定の値以下である場合等が考えられる。

また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。

なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ズームレンズ、１０２シャッタ・絞りユニット、１０３シフトレンズ、１０４フォーカスレンズ、１０５撮像素子、１０６撮像信号処理部、１０７映像信号処理部、１０８表示部、１０９ズーム駆動制御部、１１０シャッタ・絞り駆動制御部、１１１シフトレンズ駆動制御部、１１２フォーカス駆動制御部、１１３動きベクトル検出部、１１４制御部、１１５ズームスイッチ、１１６外部入出力端子部、１１７シャッタレリーズスイッチ、１１８記憶部、１１９電源部

Claims

変倍可能なズームレンズを有する撮像光学系と、
前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、
前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、
前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、
前記画像信号によって形成される２つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、
前記２つの画像から動きベクトルを検出する動きベクトル検出手段と
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記２つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該２つの画像の画角を合わせ、
前記動きベクトル検出手段は、前記電子ズーム手段によって前記２つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置。
前記変倍率検出手段は、前記ズームレンズの駆動する速度に基づいて前記変倍率を検出することを特徴とする請求項１に記載の撮像装置。
前記変倍率検出手段は、前記ズームレンズの位置に基づいて前記変倍率を検出することを特徴とする請求項１に記載の撮像装置。
前記電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を更に有し、
前記変倍率が前記動きベクトルの検出精度に影響を与えないものである場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を更に有し、
前記変倍率が所定の値以下である場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記動きベクトルに応じて前記撮像光学系に含まれるシフトレンズを駆動させるシフトレンズ駆動制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記動きベクトルに応じて絞り量を変更して絞りを駆動する絞り駆動制御手段、または／および、前記動きベクトルに応じてシャッタ速度を変更してシャッタを駆動するシャッタ駆動制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記電子ズーム手段による前記電子ズームの倍率は、連続した２つの画像の前記光学ズーム手段による変倍率により決定されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記電子ズーム手段による前記電子ズームの倍率は、基準の倍率と撮影時の前記光学ズーム手段による倍率との比較による変倍率により決定されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記基準の倍率は、前記撮像光学系が最も望遠側であるときの画像から決定することを特徴とする請求項９に記載の撮像装置。
変倍可能なズームレンズを有する撮像光学系と、前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、を有する撮像装置の制御方法であって、
前記画像信号によって形成される２つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出ステップと、
前記２つの画像から動きベクトルを検出する動きベクトル検出ステップと
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記２つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該２つの画像の画角を合わせ、
前記動きベクトル検出ステップは、前記電子ズーム手段によって前記２つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置の制御方法。