JP2006129085A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 電子ズームを行う際の画角の切り出しは、被写体や測距枠の位置によって行われていないため、被写体に対する画角がずれる、あるいは、測距枠を画角に対して中央に固定するか、測距枠を移動しない場合は被写体から測距枠がずれる。
【解決手段】 特徴抽出部77およびAF部78は、測距枠内の撮像画像6aに基づき焦点制御を行い、切出部75および拡大縮小部76は、撮像画像6aの一部画角を切り出すことで電子ズームを実行する。その際、切出部75は、測距枠の位置を基に、切り出す画角を決定する。
【選択図】 図2

Description

本発明は撮像装置およびその制御方法に関し、例えば、液晶モニタなどで撮影画像や再生画像などを見ることのできる、モニタ付の電子カメラやカメラ一体型ビデオレコーダなどの撮像装置に関する。

図17は電子ズームを実現する構成を説明する図である。

CCDなどの撮像部21により光電変換された映像信号は、アナログ信号処理回路22によってCDS、AGC等の信号処理が施され、A/Dコンバータ23によって画像データに変換される。メモリを有するディジタル信号処理回路24は、メモリにフィールドもしくはフレームごとに画像データを記憶する。画像拡大補間回路25は、ズーム比に応じて、メモリから画像データを読み出し、画素、ライン間の補間を行う。画像拡大補間回路25から出力される画像データは、D/Aコンバータ26によりアナログ信号に変換され、映像信号出力端子27へ出力される。このような構成により、詳細は後述するが、図7に示すような電子ズームが実現される。

しかし、図17に示す電子ズームの構成を有する従来の電子カメラは、電子ズームを行う際、画角の切り出しは被写体や測距枠の位置によらず、図7に示すように、画面の中央を中心としてに行っている（例えば、特開平6-086130号公報を参照）。言い換えれば、従来の電子カメラなどによる電子ズームを行う際の画角の切り出しは、被写体や測距枠の位置によって行われていないため、被写体に対する画角がずれる、あるいは、測距枠を画角に対して中央に固定するか、測距枠を移動しない場合は被写体から測距枠がずれる、といった問題がある。

特開平6-086130号公報

本発明は、画角に対する被写体の相対位置を保つ電子ズームを提供することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる撮像装置は、被写体像を光電変換し、前記光電変換によって得られる画像を画像処理して表示および記憶媒体に格納する撮像装置であって、測距枠内の前記画像に基づき焦点制御を行う焦点制御手段と、前記画像の一部画角を切り出すことで電子ズームを実行するズーミング手段と、前記測距枠の位置および前記電子ズームの倍率を設定する設定手段と、前記測距枠の位置を基に、前記切り出す画角を決定する決定手段とを有することを特徴とする。

本発明にかかる制御方法は、被写体像を光電変換し、前記光電変換によって得られる画像を画像処理して表示および記憶媒体に格納する撮像装置の制御方法であって、測距枠内の前記画像に基づき焦点制御を行い、前記画像の一部画角を切り出すことで電子ズームを実行するために、前記測距枠の位置および前記電子ズームの倍率を設定し、前記測距枠の位置を基に、前記切り出す画角を決定することを特徴とする。

本発明によれば、画角に対する被写体の相対位置を保つ電子ズームを提供することができ、被写体に対する画角がずれる、被写体から測距枠がずれる、といった問題を解決することができる。その結果、例えば、画角に対して黄金比の位置に被写体を捉えた構図の場合、その構図を保持したまま電子ズームを行うことができる。また、測距枠を被写体からずらすことなく電子ズームが行えることから、被写体に対する合焦状態を維持することができる。

以下、添付図面を参照して、本発明の好適な実施例を詳細に説明する。

［装置の構成］
図1は実施例の撮像装置の構成例を示すブロック図である。

CPU 1は、RAMやROMなどで構成されるメモリ2上のプログラムを実行することで、表示部3、操作部4、通信部5、撮像部6、画像処理部7、記憶媒体ドライブ8、圧縮処理部9の撮影動作に必要な所定の制御を行う。なお、メモリ2には、CPU 1が実行するプログラムおよびプログラム実行に必要なデータが保持される。

表示部3は、電子ビューファインダ(EVF)画像の表示や、撮影した画像の再生表示、各種撮影条件の設定などの操作メニュー表示に使用される液晶ディスプレイ(LCD)などの表示装置である。

操作部4は、撮影者（ユーザ）が各種撮影条件の設定や撮影動作を行うために操作するボタン、十字キー、ダイヤルなどを備える。

通信部5は、パーソナルコンピュータ(PC)、他の撮像装置、プリンタなどの通信手段を備える外部装置と接続し、撮影した画像の送受信、撮影条件などの情報の送受信、並びに、外部装置を制御するためのコマンドの送信、および、外部装置が本撮像装置を制御するためのコマンドの受信等を行う。

撮像部6は、レンズを用いた光学系、電荷結合素子(CCD)などの撮像素子によって被写体の光学像を映像信号に変換し、画像処理部7に送信する。また、撮像部6は、シャッタ機構、絞り機構を備え、撮影光量の調節を行う。

画像処理部7は、撮像部6から得られた映像信号に所定の信号処理を施すことでオートフォーカス(AF)処理、オート露出(AE)処理、オートホワイトバランス(AWB)処理などを行う。画像処理部7は、撮像部6から受信する画像データのある矩形領域を測距枠に設定し、この測距枠内の画像情報を基にAF処理を行う。また、電子ズーム時は、画角切り出し位置を設定することで、任意の矩形領域を切り出す。さらに、切り出した矩形画像には、EVF表示、レビュー表示または撮影サイズなどに合わせて拡大縮小を施す。

圧縮処理部9は、画像処理部7による画像処理後の画像データにデータ圧縮処理を施す。

記憶媒体ドライブ8は、圧縮処理部9で圧縮された画像データや撮影時の各種情報などをデータファイルとして記憶媒体に保存する。記憶媒体としては半導体などの固体メモリ、ハードディスク、光記憶媒体などが利用可能である。

［画像処理］
図2は測距、AF処理、電子ズームを実現する画像処理のデータフローを示す図である。

撮像部6より出力される撮像画像データ69は、画像処理部7の切出部75および特徴抽出部77に入力される。特徴抽出部77には、予め、操作部4からユーザが指定する測距枠情報41（画像に対する測距枠の位置、サイズを示す情報）が入力されていて、この情報を基に、特徴抽出部77は画像の特徴を抽出する。特徴抽出部77が抽出した特徴情報はオートフォーカス(AF)部78に入力され、AF部78は、特徴情報を基に、AF処理を行う。

一方、切出部75には、操作部4からユーザが指定する電子ズーム倍率40に応じて、切出情報42（画像に対する画角の切り出し位置、サイズを示す情報）を決定し、この切出情報42を基に、切出部75は画角を切り出す。切出部75が切り出した画像データは拡大縮小部76に入力され、所望の表示用サイズに拡大縮小処理された後、表示用画像データ22としてメモリ2に格納される。表示部3は、メモリ2から表示用画像データ22を読み出して表示する。

このような一連の画像処理により、撮像部6によって得られた画像は、電子ズームされた画像として表示部3に表示されるが、その際、AF処理が行われる。

［画角の切り出し］
図3は切出部75による切出情報42の決定方法を説明する図で、符号301は電子ズーム前の画角を、符号302は電子ズーム後の画角を示す。

切出部75は、電子ズームが指定されると、ズーム倍率によらず、常に、被写体の重心303の相対位置が、画角301および302に対して一定になるように切り出す画角を決定する。つまり、式(1)がなり立つように切出情報42を決定する。
W/W' = H/H' …(1)

これにより電子ズーム時に主たる被写体の重心の、画角に対する相対位置が常に保持される。

図4は画角401、測距枠402および主被写体の重心403の関係を示す図である。

特徴抽出部77は、測距枠情報41が示す測距枠402内の画像情報から画像の特徴を抽出し、AF部78は、抽出された特徴に基づき被写体との距離を検出するAF処理を行う。なお、測距枠402は、ユーザにより、画角に対して任意の位置に移動可能である。また、自動的に被写体を追従する機能を有する撮像装置の場合、その機能によって測距枠402の位置が決定される。例えば、測距枠42が一つの場合、主被写体の重心403は測距枠の中心（測距枠の幾何学的重心）とする。

図5は電子ズーム前後における画角と測距枠の関係を示す図で、符号501、504は電子ズーム前の画角および測距枠を、符号502、505は電子ズーム後の画角および測距枠を表す。電子ズーム前、測距枠504は主被写体503を捉えていたとする。

図5に示すように、本実施例の撮像装置は、主被写体503の重心の、画角に対する相対位置を保持するため、電子ズーム後の測距枠505の中心は、電子ズーム前の測距枠504の中心から移動せず、撮像部6から出力される撮像画像69は主被写体503からずれることはない。なお、ユーザは、表示部3に表示されるEVF画像を観察して、測距枠504と505のサイズが等しくなるように、電子ズーム前後の測距枠のサイズを変化させることもできる。

図6は切出部75による切出情報42の決定処理を示すフローチャートで、ユーザが操作部4により電子ズームを操作すると開始される処理である。

まず、主被写体503の重心303を求める(S1)。なお、測距枠が一つの場合は、電子ズーム前の測距枠504の中心を重心とする。

次に、電子ズーム倍率に応じた画角の切り出し位置を求め、画角を切り出す(S2)。画角の切り出し位置は、主被写体503の重心303の、画角に対する相対位置が変わらない位置とする。また、画角の切り出しサイズは、電子ズーム倍率によって決まる。

そして、測距枠505を電子ズーム後の画角上に配置する(S3)。例えば、見掛け上、画角に対して測距枠のサイズが変化しないようにする。また、測距枠の位置は、画角に対する相対位置が一定であるため見掛け上は変化しない。

以上の一連の処理により、電子ズーム時の画角と主被写体503の重心303の関係がどのようになるかを図7および図8に示す。

図7は、主被写体503の重心303が画角に対して中心にある場合を示している。この場合、電子ズームで拡大するに従い、切り出し画角は符号701、702、703のように変化する。

図8は、主被写体503の重心303が画角に対して左下寄りに位置する場合を示している。この場合、電子ズームで拡大するに従い、切り出し画角は符号801、802、803のように変化する。

図9は従来の電子ズーム前後における画角と測距枠の関係を示す図で、符号901、904は電子ズーム前の画角および測距枠を、符号902、905は電子ズーム後の画角および測距枠を表し、電子ズーム前、測距枠904は主被写体503を捉えていたとする。

図9に示すように、主被写体503の位置、測距枠の位置によらず、常に画角の中心を電子ズームの中心として電子ズーム倍率に応じた画角の切り出しを行えば、測距枠位置に存在するであろう主被写体503の、画角に対する位置が移動してしまう。そのため、ユーザが主被写体503に対して黄金比などを意識しつつ構図を決めても、電子ズームを行えば、黄金比が崩れてしまう、という問題がある。

また、ユーザの見掛け上の測距枠の位置を保持すると、被写体からずれるという問題がある。

また、被写体から測距枠をずらさないようにすると、ユーザの見掛け上の測距枠の位置が移動するという問題がある。

これに対して、実施例の撮像装置は、図5に示したように、主被写体503の重心303の、画角501、502に対する相対位置を保持することで、電子ズーム前後で測距枠504、505は移動せず、言い換えれば、撮像部6が出力する撮像画像69の主被写体503から測距枠504、505がずれることはなく、主被写体503に対する合焦状態を維持することができる。

さらに、主被写体503の重心303の、画角501、502に対する相対位置を保持することから、Yユーザが主被写体503に対して黄金比などを意識しつつ構図を決めた後、電子ズームを行った場合でも黄金比は保持され構図が崩れない。

［測距枠の移動］
次に、電子ズーム後に測距枠を移動する場合の動作を説明する。

図10は表示部3の表示1001上で測距枠の移動された様子を示す図、ユーザが測距枠を符号1002で示す位置から符号1003で示す位置に移動した場合を示している。なお、主被写体に追従して測距枠を自動的に移動する場合も同様である。このときの画角の切出位置、および、測距枠の位置を決定する二つの方法を説明する。

図11は画角の切出位置および測距枠の位置を決定する一つ目の方法（方式A-1と呼ぶ）を示す図で、符号1101は等倍時の画角を示している。

電子ズームにより画角が符号1102の状態にあるとき、測距枠1104を位置すると、測距枠の移動後の画角は符号1103で示す位置に移動する。これは、測距枠の移動に伴い、上述した式(1)を満足するように画角を移動する方式である。従って、常に、測距枠の相対位置（被写体の重心の相対位置）が、等倍の画角1101およびズーム後の画角1102または1103に対して一定になるように切り出す方式である。

図12は画角の切出位置および測距枠の位置を決定する二つ目の方法（方式A-2と呼ぶ）を示す図である。

電子ズームにより画角が符号1102の状態にあるとき、測距枠を符号1104から符号1106へ位置しても画角1202は変更しない。方式A-2は、測距枠の相対位置（被写体の重心の相対位置）は、測距枠の移動後、等倍の画角1101およびズーム後の画角1102に対して変化する方式である。

次に、電子ズーム後、測距枠を移動し、さらに電子ズーム倍率を変更した場合の動作を説明する。図11に示す方式A-1の場合は、常に、測距枠の相対位置は、画角に対して維持されるので、図3で説明した方法がそのまま適用される。他方、図12に示す方式A-2の場合は次の二つの動作がある。

図13は電子ズーム後、測距枠を移動し、さらに電子ズーム倍率を変更した場合の第一の動作（方式B-1と呼ぶ）を示す図で、電子ズームにより画角1102が画角1107に変更される場合を示している。

電子ズームに伴い、測距枠1104は測距枠1108に変更される。その際、画角1102に対する測距枠1104の位置を基準として、測距枠の相対位置を維持するように電子ズーム後の画角1107が決定される。従って、測距枠の中心は電子ズーム後も移動しない。ただし、画角1107が撮像部6が出力する撮像画像6aの範囲外になる可能性がある。この場合、撮像画像6aの端部に接するように画角を切り出す。この場合の測距枠の位置は、(1) 画角1107に対して相対位置を保つようにする、(2) 撮像画像6a上の位置を保持する、の二通りがある。

図14は電子ズーム後、測距枠を移動し、さらに電子ズーム倍率を変更した場合の第二の動作（方式B-2と呼ぶ）を示す図で、電子ズームにより画角1102が画角1109に変更される場合を示している。

電子ズームに伴い、測距枠1104は測距枠1110に変更される。その際、等倍の画角1101に対して、変更前後の測距枠の相対位置が一致するように、画角1109を決定する。

ユーザは、表示部3に表示されるメニュー画面および操作部4により、上述した方式A-1または方式A-2を選択することができ、方式A-2を選択した場合は、さらに方式B-1または方式B-2を選択することができる。

［複数の測距枠］
次に、測距枠が複数ある場合の主被写体の重心の求め方、電子ズームの方法を説明する。

図15は九つの測距枠が3×3のマトリクスに配置された例を示す図で、電子ズーム前の画角を符号1501である。九つの測距枠1502〜1510のうち測距枠1505、1508、1509の三つで合焦したとする。このとき、主被写体の重心を、各測距枠1505、1508、1509の重心を頂点とする三角形の重心1514とする。重心1514の座標(Xg, Yg)は式(2)で表される。
Xg = (Xa + Xb + Xc)/3
Yg = (Ya + Yb + Yc)/3 …(2)
ここで、(Xa, Ya) (Xb, Yb) (Xc, Yc)は各測距枠の重心座標

そして、図3に示した方式と同様に、電子ズーム後の画角を決め、電子ズーム後の九つの測距枠を、主被写体の重心1514の、画角に対する相対位置が一致するように配置する。電子ズーム後の画角に対する測距枠の位置は図15と見掛け上同等である。

主被写体の重心座標は、合焦枠が三つの場合は式(2)で表されるが、合焦枠がN個の場合は式(3)で表される。
Xg = ΣXi/N
Yg = ΣYi/N …(3)

次に、各測距枠が同じ形ではなく、各測距枠に重み付けを行う場合を説明する。図16は形状、重み付けが異なる測距枠の合焦状態と、その場合の主被写体の重心1609を示す図である。なお、図16は複数ある測距枠の内、合焦状態にある四つの測距枠1601、1602、1603、1604だけを示している。

この場合、主被写体の重心1609の座標(Xg, Yg)は式(4)で表される。
Xg = (WaXa + WbXb + WcXc + WdXd)/(Wa + Wb + Wc)
Yg = (WaYa + WbYb + WcYc + WdYd)/(Wa + Wb + Wc) …(4)
ここで、(Xa, Ya) (Xb, Yb) (Xc, Yc) (Xd, Yd)は各測距枠の重心座標
Wa、Wb、Wc、Wdは各測距枠の重み

そして、図3に示した方式と同様に、電子ズーム後の画角を決め、電子ズーム後の複数の測距枠を、主被写体の重心1609の、画角に対する相対位置が一致するように配置する。

主被写体の重心1609の座標は、合焦枠が三つの場合は式(4)で表されるが、合焦枠がN個の場合は式(5)で表される。
Xg = ΣWiXi/ΣWi
Yg = ΣWiYi/ΣWi …(5)

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

実施例の撮像装置の構成例を示すブロック図、 測距、AF処理、電子ズームを実現する画像処理のデータフローを示す図、 切出部による切出情報42の決定方法を説明する図、 画角、測距枠および主被写体の重心の関係を示す図、 電子ズーム前後における画角と測距枠の関係を示す図、 切出部による切出情報の決定処理を示すフローチャート、 電子ズーム時の画角と主被写体の重心の関係を示す図、 電子ズーム時の画角と主被写体の重心の関係を示す図、 従来の電子ズーム前後における画角と測距枠の関係を示す図、 表示部の表示上で測距枠の移動された様子を示す図、 画角の切出位置および測距枠の位置を決定する一つ目の方法（方式A-1）を示す図、 画角の切出位置および測距枠の位置を決定する二つ目の方法（方式A-2）を示す図、 電子ズーム後、測距枠を移動し、さらに電子ズーム倍率を変更した場合の第一の動作（方式B-1）を示す図、 電子ズーム後、測距枠を移動し、さらに電子ズーム倍率を変更した場合の第二の動作（方式B-2）を示す図 図15は九つの測距枠が3×3のマトリクスに配置された例を示す図、 図16は形状、重み付けが異なる測距枠の合焦状態と、その場合の主被写体の重心を示す図、 電子ズームを実現する構成を説明する図である。

Claims (13)

1. 被写体像を光電変換し、前記光電変換によって得られる画像を画像処理して表示および記憶媒体に格納する撮像装置であって、
   測距枠内の前記画像に基づき焦点制御を行う焦点制御手段と、
   前記画像の一部画角を切り出すことで電子ズームを実行するズーミング手段と、
   前記測距枠の位置および前記電子ズームの倍率を設定する設定手段と、
   前記測距枠の位置を基に、前記切り出す画角を決定する決定手段とを有することを特徴とする撮像装置。
2. 前記決定手段は、前記切り出す画角のサイズが変更される場合、前記測距枠の、画角に対する相対位置を一定にすることを特徴とする請求項1に記載された撮像装置。
3. 前記決定手段は、前記測距枠が複数ある場合、合焦した複数の測距枠の重心を前記切り出す画角を決定のための位置とすることを特徴とする請求項2に記載された撮像装置。
4. 前記決定手段は、前記複数の測距枠それぞれに重み付けして、前記重心を前記重みを加味して算出することを特徴とする請求項3に記載された撮像装置。
5. 前記決定手段は、前記測距枠が移動される場合、前記切り出す画角を変更しないことを特徴とする請求項1に記載された撮像装置。
6. 前記決定手段は、前記測距枠が移動される場合、前記測距枠の、前記電子ズームが等倍時の画角に対する相対位置が同じになるように、前記切り出す画角を変更することを特徴とする請求項1に記載された撮像装置。
7. 前記決定手段は、前記電子ズームの倍率が変更される場合、前記測距枠の、画角に対する相対位置が変化しないように、前記切り出す画角を変更することを特徴とする請求項1に記載された撮像装置。
8. 前記決定手段は、前記電子ズームの倍率が変更される場合、前記測距枠の、前記電子ズームが等倍時の画角に対する相対位置を変更しないように、前記切り出す画角を変更することを特徴とする請求項1に記載された撮像装置。
9. 前記設定手段は、前記測距枠が移動される場合の前記決定手段による、前記切り出す画角を変更しない動作、および、前記測距枠の、前記電子ズームが等倍時の画角に対する相対位置が同じになるように、前記切り出す画角を変更する動作の何れかを設定可能であることを特徴とする請求項1に記載された撮像装置。
10. 前記設定手段は、前記電子ズームの倍率が変更される場合の前記決定手段による、前記測距枠の、画角に対する相対位置が変化しないように、前記切り出す画角を変更する動作、および、前記測距枠の、前記電子ズームが等倍時の画角に対する相対位置を変更しないように、前記切り出す画角を変更する動作の何れかを設定可能であることを特徴とする請求項1に記載された撮像装置。
11. 被写体像を光電変換し、前記光電変換によって得られる画像を画像処理して表示および記憶媒体に格納する撮像装置の制御方法であって、
    測距枠内の前記画像に基づき焦点制御を行い、前記画像の一部画角を切り出すことで電子ズームを実行するために、前記測距枠の位置および前記電子ズームの倍率を設定し、
    前記測距枠の位置を基に、前記切り出す画角を決定することを特徴とする制御方法。
12. 撮像装置を制御して、請求項11に記載された制御を実現することを特徴とするプログラム。
13. 請求項12に記載されたプログラムが記録されたことを特徴とする記録媒体。

Images