JP2018037768A - 被写体検出装置、角速度算出装置、撮像装置およびレンズ装置 - Google Patents

Abstract

【課題】主被写体の判定精度または主被写体の角速度の算出精度を高めること【解決手段】被写体像の角速度を、被写体像の動きベクトル、被写体像の取得周期、撮像光学系の前側主点を基準とした被写体までの第１の距離、撮像光学系の後側主点を基準とした撮像面までの第２の距離、被写体と撮像面との間の第３の距離とに基づいて算出する。【選択図】図１

Description

本発明は、被写体検出装置、角速度算出装置および撮像装置およびレンズ装置に関する。

特許文献１は、流し撮りにおいて、主被写体の角速度とパンニング角速度の差に起因する主被写体のブレをシフトレンズにより補正する方法を提案している。背景の動きベクトルはカメラのパンニング角速度を撮像面上の移動量に換算した場合の動きベクトルと略等しくなるので、それ以外の動きベクトルが主被写体ベクトルであると判定することができる。

従来、結像光学系(撮像光学系)の主点から被写体までの被写体距離が主点から撮像面までの像距離よりも十分大きい場合には、像距離が焦点距離に等しいと近似することによって、主被写体の像面上の移動量と焦点距離から主被写体の移動角度を取得していた。また、主被写体の角速度は、動きベクトルを検知する際のフレームレートと主被写体の移動角度の積で求められる。

特開２０１５−１６１７３０号公報

しかしながら、被写体距離に比べて像距離が十分に大きくない場合は、主被写体の角速度の算出精度が低下する。また、仮に、像距離を焦点距離と近似せずに像距離の情報を使用したとしても主点を基準とした主被写体の像面上の動きベクトルやそこから求まる主被写体の角速度は、そもそも正確ではない。これは、カメラを回転中心の位置は、結像光学系の主点ではないからである。なお、「回転」は、カメラを左右に振るパンニングでもよいし、カメラを上下方向に振るチルティングでもよい。また、本出願では、チルティングを含めてパンニングと表現する場合もある。この結果、主被写体の判定精度が低下したり、主被写体の角速度の算出精度、ひいては主被写体のブレ補正の精度が低下したりする。

本発明の目的は、主被写体の判定精度または主被写体の角速度の算出精度を高めることが可能な被写体検出装置、角速度算出装置、撮像装置およびレンズ装置を提供することである。

本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子と、前記被写体像の角速度を算出する角速度算出手段と、を有し、角速度算出手段は、前記被写体像の角速度を、前記被写体像の動きベクトル、前記被写体像の取得周期、撮像光学系の前側主点を基準とした被写体までの第１の距離、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離、前記被写体と前記撮像面との間の第３の距離とに基づいて算出することを特徴とする。

本発明によれば、主被写体の判定精度または主被写体の角速度の算出精度を高めることが可能な被写体検出装置、角速度算出装置、撮像装置およびレンズ装置を提供することができる。

本発明の回転中心距離を説明するための模式図である。（実施例１） 本発明のデジタルカメラのブロック図である。（実施例１、２） 図１に示すデジタルカメラの処理を示すフローチャートである。（実施例１、２） 本発明の回転中心距離を説明するための模式図である。（実施例２） 主被写体の移動と撮像面上の主被写体の移動の関係を示す模式図である。

以下、本発明の被写体検出装置と角速度算出装置をデジタルカメラに適用した例を説明するが、本発明において撮像や撮像画像の記録に関する機能は必須でない。

図２は、本発明の実施例１及び２に共通するデジタルカメラ１００の機能構成を模式的に示すブロック図である。デジタルカメラ１００は、光学系を有するレンズ装置（交換レンズ）が撮像装置本体に交換可能に装着されるレンズ交換型だけでなく、レンズ一体型撮像装置であってもよい。本実施形態のデジタルカメラ１００はレンズ一体型撮像装置である。また、デジタルカメラ１００は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、スマートフォンなどにも適用可能である。

撮像光学系（結像光学系）１０１は、レンズ、シャッター、絞りを含み、主被写体からの光を撮像素子１０２に結像させる（主被写体の光学像を形成する）。レンズ交換型では、撮像光学系１０１を有するレンズ装置が撮像素子を有するカメラ本体（撮像装置）に着脱可能に構成される。

レンズは、フォーカスレンズ、ズームレンズ（変倍レンズ）、シフトレンズ等を含む。フォーカスレンズは、光軸方向に移動されて焦点調節を行う。ズームレンズは、光軸方向に移動されて焦点距離を変更する。シフトレンズは、光軸に直交する方向に移動されて光軸を偏心させることによって、像振れや流し撮りにおける主被写体の角速度とパンニング角速度の差に起因する主被写体のブレを補正する。なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に斜めに移動されてもよい。絞りは、撮像素子１０２に入射する光量を調節する。

撮像光学系１０１が有する可動部材（シャッター、絞り、フォーカスレンズ、シフトレンズ）の駆動は制御部１２０が制御する。なお、レンズ交換型であれば、レンズ装置のマイクロコンピュータから構成されるレンズ制御手段が、カメラ本体のカメラ制御手段の制御の下で、撮像光学系の可動部材の駆動を制御する。また、可動部材の位置を検出する不図示の位置検出センサが設けられ、その情報は制御部１２０又は不図示のレンズ制御手段に送られる。例えば、ズームレンズの位置を検出する不図示のズームエンコーダが設けられており、制御部１２０又はレンズ制御手段は、ズームエンコーダの検出信号により撮像光学系１０１の焦点距離の情報を得ることができる。

撮像素子１０２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサから構成され、２次元配置された複数の画素を有する。各画素は主被写体の光学像を光電変換する光電変換機能を有し、撮像光学系１０１が撮像面に結像した主被写体を画素ごとに（アナログ）電気信号に変換する。

振れセンサ１０５は、デジタルカメラ１００の動き（振動）に応じた検出信号を発生し、不図示のアンプを介して制御部１２０に出力する。振れセンサ１０５は、例えば、ジャイロセンサのような角速度センサであってよく、動きの方向成分（例えばｘ，ｙ，ｚ軸成分）ごとに信号を発生する。なお、レンズ交換型においては、振れセンサ１０５は、レンズ装置とカメラ本体の一方に設けられていれば足りる。

制御部（制御手段）１２０は、例えば、ＣＰＵやＭＰＵのようなプログラマブルプロセッサを１つ以上有するマイクロコンピュータとして構成され、デジタルカメラ１００の各部を制御する。なお、レンズ交換型であれば、カメラ制御手段がカメラ本体の各部を制御し、レンズ制御手段がレンズ装置の各部を制御する。

制御部１２０は、例えば、二次記憶装置１０８に記憶されたプログラムを一次記憶装置１０４に読み込んで実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御し、各種機能を実現する。制御部１２０は、被写体検出部（被写体検出手段、被写体検出装置）１２１、角速度算出部（角速度算出手段、角速度算出装置）１２２、流し撮り制御部（流し撮り制御手段、流し撮り制御装置）１２３を備える。なお、レンズ交換型においては、レンズ装置に備えられたレンズ制御手段が被写体検出手段、角速度算出手段、流し撮り制御手段の一または複数の機能を有してもよい。

被写体検出部１２１は、画像処理部１０６で検出された動きベクトルを用いて主被写体領域と背景領域とを区別して主被写体を検出する。角速度算出部１２２は、主被写体の角速度を算出する。流し撮り制御部１２３は、主被写体角速度とパンニング角速度の差分に基づく主被写体のブレを補正して主被写体が静止した画像が得られるようにシフトレンズの駆動を制御する。なお、本実施形態では、カメラの回転移動のうちパンニングのみを説明するが、チルティングにも当てはまる。像振れ補正については、例えば横方向と縦方向といった、直交する２軸に関して検出および補正が行われるが、同様の構成により行われるので、以下では１軸分のみ説明する。

一次記憶装置１０４は、例えば、ＲＡＭのような揮発性装置であり、データの一時的な記憶や、制御部１２０の動作に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理部１０６で利用されたり、記録媒体１０７に記録されたりもする。二次記憶装置１０８は、例えば、ＥＥＰＲＯＭのような不揮発性記憶装置であり、制御部１２０が実行するプログラム、ファームウェア、各種の設定情報、ＧＵＩデータなどを記憶する。

記録媒体１０７は不揮発性で、一次記憶装置１０４に記憶されている画像データなどを記録する。記録媒体１０７は、非一時的なコンピュータ可読記憶媒体として機能する。記録媒体１０７の読み書きは、制御部１２０が制御する。記録媒体１０７が、例えば、半導体メモリカードのようにデジタルカメラ１００から取り外し可能である場合、デジタルカメラ１００は、記録媒体１０７の着脱機構を有する。

表示部（表示手段）１０９は、ライブビュー表示、一次記憶装置１０４に記憶されている画像（記録媒体１０７への記録前の画像または記録媒体１０７から読み出された画像）の表示、対話的な操作のためのＧＵＩの表示を行う液晶パネル（ＬＣＤ）から構成される。表示部１０９はタッチディスプレイであってもよい。

操作部（操作手段）１１０は、ユーザがデジタルカメラ１００に各種の入力を行うための入力デバイス群である。操作部１１０には、例えば、スイッチ、ボタン（レリーズボタンなど）、レバー、タッチパネル等の物理的な操作を必要とする入力デバイスだけでなく、音声入力や視線入力を受け付ける入力デバイスが含まれていてもよい。操作部１１０は、デジタルカメラ１００の電源のオンオフ、ライブビュー表示、各種撮影モード（ライブビュー撮影モード、動画モード、静止画モード、流し撮りモード）や再生モードを設定することができる。流し撮りは、流し撮りの対象となる主被写体（動体）を追いながら通常よりも遅いシャッター速度で撮影するが、長秒撮影のため露光期間中に主被写体角速度とパンニング角速度とを合わせることが難しい。このため、主被写体角速度とパンニング角速度との差に起因する主被写体のブレをシフトレンズを用いて補正する流し撮りモードが設けられている。

また、操作部１１０は、レリーズボタンのハーフストロークでＯＮになるスイッチ（ＳＷ１）と、フルストロークでＯＮになるスイッチ（ＳＷ２）を有している。ＳＷ１のＯＮは撮影準備動作の開始指示である。撮影準備動作には、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理が含まれる。ＡＥ処理やＡＦ処理は、例えば、ライブビュー表示用の画像から得られる情報に基づいて制御部１２０が実施することができる。ＳＷ２のＯＮは記録用画像の撮影動作の開始指示である。記録用画像は表示用画像と解像度が異なる以外は同様に生成され、一次記憶装置１０４に格納される。そして、制御部１２０は、必要に応じて画像処理部１０６で符号化処理を行ったのち、記録形式に応じたデータファイルに格納し、記録媒体１０７に記録する。

画像処理部（画像処理手段）１０６は、撮像素子１０２が出力する電気信号に対してＡ／Ｄ変換や相関２重サンプリングなどの前処理や、前処理が適用された信号に対してホワイトバランス調整やデモザイク処理などのいわゆる現像処理などを行う。また、画像処理部１０６は、ＲＧＢ−ＹＣｂＣｒ変換などの信号形式の変換、記録形式に応じた符号化および復号、画像の縮小および拡大、画像の合成、色調の調整、ＡＦ評価値の生成、特定主被写体の検出および認識処理等、様々な画像処理を実行することができる。代表的な特定主被写体は人物の顔であり、特定主被写体の認識処理は表情や個人の認識であるが、これらに限定されない。

また、画像処理部１０６は、動きベクトル検出手段１０６ａを備えている。動きベクトル検出手段１０６ａは、少なくとも２枚のフレーム画像を入力し、入力した２枚のフレーム画像に設定された複数の領域のそれぞれの動きベクトルを検出する。動きベクトル検出手段１０６ａの検出信号は制御部１２０に出力される。

被写体検出部１２１は、動きベクトル検出手段１０６ａが検出した動きベクトルの情報に基づいて、動きベクトルの大きさと度数との関係を示すヒストグラムを作成する。次に、被写体検出部１２１は、ヒストグラムにおいて、所定の閾値以上の度数を有する動きベクトルの大きさの情報に基づいて、動体の動きベクトルを検出し、これによって、主被写体が存在する画面上の領域を選択する。所定の閾値は、デジタルカメラ１００の回転速度であるパンニング角速度に対応する像面上の移動量に基づいて設定される。なお、被写体検出部１２１は、他の方法を使用して被写体を検出してもよい。

また、角速度算出部１２２は、被写体検出部１２１によって検出された主被写体の動きベクトルのスカラー量（移動量）、後述する距離ｄ、及びパンニング角速度の情報に基づいて主被写体（動体）の角速度を算出する。

デジタルカメラ１００は、画像処理部１０６が行う画像処理の組み合わせパターンを予め二次記憶装置１０８に記憶しており、ユーザは使用するパターンを操作部１１０から設定することができる。画像処理部１０６の機能の少なくとも一部は、ＦＰＧＡやＡＳＩＣのようなハードウェアで実現されてもよいし、例えば、画像処理部１０６（あるいは制御部１２０）が有するプロセッサがプログラムを実行することによって実現されてもよい。

操作部１１０を用いて撮影者がデジタルカメラ１００の電源をＯＮにすると、その状態変化を制御部１２０が検出し、制御部１２０は各回路への電源供給および初期設定処理を実行する。レンズ交換型であれば、カメラ制御手段は、レンズ装置への電源供給を行い、レンズ制御手段はレンズ装置内の初期設定を実行する。レンズ制御手段とカメラ制御手段との間で所定のタイミングで通信が始まる。カメラ本体からレンズ装置へはカメラ本体の状態、撮影設定等が送信され、レンズ装置からカメラ本体へはレンズ装置の撮影条件（焦点距離、撮影距離、主点間隔等）の情報が送信される。

図３は、操作部１１０によって流し撮りモードが選択された場合の制御部１２０の動作を示すフローチャートである。「Ｓ」はステップ（工程）を表す。図３に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能であり、かかるプログラムは非一時的なコンピュータ可読記憶媒体や二次記憶装置１０８に格納されてもよい。この動作は、例えば、デジタルカメラ１００の起動後、または再生モードから撮影モードに切り替えられた場合に開始することができる。

撮影モードにおいては、ライブビュー表示を行うための動画撮影を継続的に実行する。ライブビュー表示用の動画撮影に関する露出制御（撮像素子１０２の蓄積時間制御）および撮像光学系１０１の焦点調整は、例えば、撮影で得られたフレーム画像から得られる輝度情報や評価値に基づいて制御部１２０が実行する。

図３に示すフローチャートは、フレームレート（被写体像の取得周期）単位で実行されてもよい。フレームレートは、単位時間（例えば、１秒）当たりに処理させるフレーム数（静止画像数、コマ数）であり、ｆｐｓという単位で表す。また、振れセンサ１０５から取得するパンニング角速度データは、割り込み処理で取り込まれる。

図５は、実空間の主被写体Ｏｂの移動と撮像面ＩＰ上の主被写体（主被写体像）ＯＩの移動の関係を示す模式図である。結像光学系を代表する薄肉レンズの主点Ｈから移動前の主被写体Ｏｂの光軸上の位置Ｐ１までの第１の距離（被写体距離）をｓ、主点（Ｈ＝）Ｈ’から撮像面ＩＰの光軸上の位置Ｐ’１までの第２の距離（像距離）をｓ’とする。すると、焦点距離ｆは、次式のように表すことができる。（１）式は、ガウスの結像式と呼ばれている。

一方、撮像面ＩＰ上の主被写体ＯＩの動きベクトルを表す移動量をｖとすると、主被写体Ｏｂの移動角度θ（度）は、次式のように表すことができる。

ここで、被写体距離ｓが像距離ｓ’に比べて十分に大きいとき、像距離ｓ’は焦点距離ｆと等しくなるとみなすことができ、（２）式は、次式のように表すことができる。

（３）式を用いると、焦点距離ｆ（ｍｍ）と主被写体ＯＩの動きベクトル（像面上の主被写体ＯＩの移動量ｖ）から主被写体Ｏｂの移動角度θが求められる。また、主被写体Ｏｂの角速度ω（度／秒）は、次式に示すように、被写体像の取得周期の逆数を示す動きベクトルを検知する際のフレームレートρ（１／秒）と主被写体Ｏｂの移動角度θの積で求められる。

（３）式と（４）式から（５）式と（６）式が得られる。

従来、（５）式は、主被写体を背景から区別する目的にも適用されていた。（５）式のωに振れセンサ１０５から取得したパンニング角速度ω_ｐを設定することによって背景の像面上の移動量をｖ_ｐとして取得し、これを閾値として使用することによって主被写体を検出していた。

また、従来、（６）式は、主被写体の角速度ω_ｓを計算する目的でも使用されていた。即ち、撮像装置をパンニングすると、像面上の主被写体の角速度ωは、次式で示すように、実空間における主被写体Ｏｂの角速度ω_ｓからパンニング角速度ω_ｐを減算したものとなる。

ω＝ω_ｓ−ω_ｐ （７）
（７）式から、主被写体Ｏｂの角速度ω_ｓは以下のように算出される。

ω_ｓ＝ω＋ω_ｐ （８）
即ち、（６）式で算出される像面上の主被写体の角速度ωに振れセンサ１０５から取得したパンニング角速度ω_ｐを加えることによって主被写体Ｏｂの角速度ω_ｓを算出していた。また、従来の流し撮り制御部は、その後の流し撮りにおいて、振れセンサ１０５から取得したパンニング角速度が、主被写体Ｏｂの角速度ω_ｓに一致しない場合にその差分情報に基づいてシフトレンズを駆動していた。

しかしながら、像距離ｓ’に比べて被写体距離ｓが十分に大きくない場合は、像面上の主被写体ＯＩの角速度ωの算出精度が低下する。この問題は、像距離ｓ’を焦点距離ｆで近似しなくても発生する。なぜなら、図５では、回転中心がレンズの主点となっているが、実際の回転中心位置はレンズの主点からずれているからである。撮影者がデジタルカメラ１００を眼前でパンニングしたときは撮像面ＩＰが回転中心となり、腕を伸ばす等してパンニングしたときは撮像面ＩＰから被写体と反対側にずれた位置が回転中心となる。この回転中心の位置のずれに起因して、（５）式を利用した被写体検出精度や、主被写体Ｏｂの角速度ω_ｓの算出精度、ひいては主被写体ＯＩのブレ補正の精度が低下するおそれがあった。

そこで、本実施例では、（５）式及び（６）式を修正することによって、これらの課題を解決している。

Ｓ１００において、制御部１２０は、Ｓ１０３で主被写体の角速度を算出する際に必要な情報を取得する。制御部１２０は、後述する（１３）式に基づいて距離ｄの情報を取得する。

図１は、実施例１による、光軸上の撮像面ＩＰの位置Ｐ’１に回転中心がある場合の距離ｄを説明するための模式図である。図１は、主被写体Ｏｂの移動と、主被写体Ｏｂからの光が厚肉レンズを通って撮像面ＩＰ上に結像した主被写体（主被写体像）ＯＩの移動と、の関係を示している。

移動前の主被写体Ｏｂは光軸Ｏ上の位置Ｐ１にあり、主被写体Ｏｂは光軸Ｏに垂直な方向に距離（移動量）Ｘだけ離れた位置Ｐ２に移動するものとする。また、像面上の移動前の主被写体ＯＩは光軸上の位置Ｐ’１にあり、移動後は光軸Ｏに垂直な方向に距離（移動量）Ｘ’だけ離れた位置Ｐ’２に移動するものとする。前側主点Ｈと位置Ｐ１との被写体距離（前側主点Ｈを基準とした被写体までの第１の距離）ｓと主被写体Ｏｂの移動角度θを用いて、主被写体Ｏｂの移動量Ｘを次のように表すことができる。

ここで、後側主点Ｈ’と撮像面ＩＰの光軸上の位置Ｐ’１との像距離（後側主点を基準とした撮像面までの第２の距離）をｓ’とする。このとき、撮像面ＩＰ上の主被写体ＯＩの移動量Ｘ’は、三角形ＨＰＸと三角形Ｈ’Ｐ’Ｘ’が相似であることから、主被写体Ｏｂの移動角度θを用いて次式のように表すことができる。

ここで、デジタルカメラ１００の回転角度（光軸と、回転中心と移動後の主被写体Ｏｂを結ぶ細破線とがなす角度）をφ、撮像面ＩＰから移動後の主被写体Ｏｂまでの光軸上の第３の距離（位置Ｐ’１と位置Ｐ１の間の距離）である撮影距離をＬとする。すると、主被写体Ｏｂの移動量Ｘは次式のように表すことができる。

ここで、撮像面ＩＰ上の主被写体ＯＩの位置Ｐ’２から光軸Ｏに対して、光軸Ｏとなす角度がφとなるように直線（太破線）を引き、この直線が光軸Ｏと交わる、回転中心に対応する点Ｒと撮像面ＩＰとの光軸上の距離ｄを定義する。すなわち、距離ｄは、デジタルカメラ１００の回転角度と一致する角度分の移動量が連続して撮像された画像間の主被写体の動きから求めた移動量と一致するような撮像面からの光軸上の距離である。回転中心位置Ｐ’１に対応する点Ｒと撮像面ＩＰ上の主被写体ＯＩの移動前後の位置Ｐ’１、Ｐ’２が形成する三角形（ＲＰ’１Ｐ’２）と、回転中心位置Ｐ’１と実空間の移動前後の被写体Ｏｂの位置Ｐ１、Ｐ２が形成する三角形（Ｐ’１Ｐ１Ｐ２）は相似形となる。移動後の主被写体Ｏｂの位置Ｐ２に対応する撮像面ＩＰ上の主被写体ＯＩの位置Ｐ’２から、光軸Ｏに対して回転中心位置Ｐ’１から見た移動後の主被写体Ｏｂの位置Ｐ２の角度φをなす直線を引く。そして、この直線が光軸Ｏと交わる点Ｒと撮像面ＩＰとの光軸上の距離が距離ｄとなる。距離ｄと角度φを用いて、撮像面ＩＰ上の主被写体ＯＩの移動量Ｘ’を次のように表すことができる。

（９）式を（１１）式に代入してＸを消去し、距離ｓ、Ｌと角度θ、φの関係式を得る。同様に（１０）式を（１２）式に代入してＸ’を消去し、距離ｓ’、ｄと角度θ、φの関係式を得る。これら二つの関係式から角度を消去すると、次式を得ることができる。

本実施例では、制御部１２０は、（１３）式に示す距離ｄを（５）式におけるｆの代わりに使用し、更に、（５）式のωをパンニング角速度ω_ｐとし、ｖを撮像面上の移動量ｖ_ｐとすると（１４）式が得られる。また、（１３）式に示す距離ｄを（６）式におけるｆの代わりに使用すると（１５）式が得られる。

（１）式は厚肉レンズでも成立し、ｓとｓ’と主点間隔の和が撮影距離Ｌとなる。本発明では、このように、撮影距離（第３の距離）Ｌを使用している点に１つの特徴がある（もちろん、Ｌの代わりにｓ、ｓ’及び主点間隔の和を用いてもよい）。即ち、撮像光学系がとり得る各焦点距離で、撮影距離Ｌにある主被写体Ｏｂが撮像面上に結像するとき、距離ｓ及びｓ’は一意に決定される。このため、距離ｄは（１３）式を用いて予め計算することが可能である。二次記憶装置１０８（交換レンズ型カメラであればレンズ装置の不図示の記憶手段）は、撮像光学系１０１の焦点距離ｆと撮影距離Ｌ（に基づいて一意に決定されるｓ’及びｓ）から（１３）式に基づいて決定される距離ｄの情報を記憶している。このようにして、主被写体Ｏｂの角速度ω（度／秒）が求められる。

制御部１２０がＳ１００で取得する距離ｄの情報は、一次記憶装置１０４に書き込まれる。なお、レンズ交換式カメラでは、レンズ装置が交換された場合に二次記憶装置１０８の距離ｄを更新するように構成してもよい。

次に、制御部１２０はＳ１００で振れセンサ１０５からパンニング角速度ω_ｐの情報を取得する。レンズ装置が振れセンサ１０５を内蔵している場合は距離ｄと同時にパンニング角速度を取得してもよい。

次に、Ｓ１０１において、制御部１２０は、撮像素子１０２から画像を取得して一次記憶装置１０４へ保存する。保存された画像は画像処理部１０６へと送られて、画像処理が施される。もしくは、撮像素子１０２から画像処理部１０６へと転送し、画像処理を施した後の画像を一次記憶装置１０４に保存してもよい。

次に、Ｓ１０２において、制御部１２０は主被写体ＯＩの動きベクトルを取得する。主被写体ＯＩの動きベクトルは連続して撮像された２枚の画像間の動き量として画像処理部１０６で計算される。主被写体ＯＩの動きベクトルは、Ｓ１０２で撮像素子１０２から読み出された画像から計算してもよいし、画像処理が施された後の画像から計算してもよい。制御部１２０は、ベクトル検出用に特別な画像処理を施すように画像処理部１０６を制御してもよい。検出に用いられた画像は一次記憶装置１０４に保存され、次の画像が取得された時に比較用の画像として用いられる。

次に、Ｓ１０３において、制御部１２０は、像面上の主被写体ＯＩの角速度ωを算出する。まず、被写体検出部１２１は、Ｓ１０２で取得された被写体の動きベクトルから主被写体の動きベクトルを検出する。（１４）式のｖ_ｐをヒストグラムの閾値に用いる。背景のように移動していない被写体の動きベクトルは、移動量ｖ_ｐと略同じ撮像面ＩＰ上の移動量を持つのでこれを除けばよい。即ち、Ｓ１０２で取得した動きベクトルのうち、背景の移動量と一致していないとみなせる動きベクトルを主被写体の動きベクトルとして判定する。（５）式の代わりに（１４）式を使用することによって、主被写体の判定精度を高めることができる。次に、角速度算出部１２２は、検出された主被写体ＯＩの角速度ωを（１５）式を用いて算出し、（８）式に基づいて主被写体ＯＩの角速度ωをパンニング角速度ω_ｐに加算することによって主被写体Ｏｂの角速度ω_ｓを算出する。（６）式の代わりに（１７）式を使用することによって、主被写体の角速度の算出精度を高めることができる。

次に、Ｓ１０４において、制御部１２０は、操作部１１０を介してＳＷ２がＯＮかどうか判定する。ＳＷ２がＯＮでなければ、制御部１２０は、Ｓ１００に処理を戻して、ライブビュー表示を行うための動画撮影を継続する。ＳＷ２がＯＮであれば、制御部１２０は、Ｓ１０５に処理を進めて、静止画撮影処理を実行する。

もし、表示部１０９がタッチパネルを備えている場合、タッチパネルへの接触をＳＷ２のＯＮと判定してもよい。また、制御部１２０は、Ｓ１０３で算出された主被写体ＯＩの角速度ωが所定の角速度になったときにＳＷ２がＯＮであると判定してもよい。また、制御部１２０は、算出された主被写体ＯＩの角速度ωを一次記憶装置１０４へ保存し、その変化量が所定値であるときにＳＷ２がＯＮであると判定してもよい。さらに、制御部１２０は、Ｓ１０２で検出された主被写体ＯＩの動きベクトルが０になったときにＳＷ２がＯＮであると判定してもよいし、これらの判定を組み合わせてもよい。

次に、Ｓ１０５において、制御部１２０は露光を開始する。撮像光学系１０１がシャッターを有する場合、シャッターを一旦閉じて、撮像素子１０２の有する全画素に蓄積した電荷を捨てる。その後、シャッターを開けて露光を開始する。シャッターを有しない場合、もしくは電子シャッターを使用する場合、撮像素子１０２の電荷を順次捨てる。

次に、Ｓ１０６において、流し撮り制御部１２３は、振れセンサ１０５から取得したパンニング角速度ω_ｐとＳ１０３で算出した主被写体Ｏｂの角速度ω_ｓとの差分に応じて、撮像光学系１０１のシフトレンズを駆動して主被写体像のブレを補正する。上述したように、レンズ交換型において、撮像光学系１０１が振れセンサ１０５を内蔵している場合、カメラ制御手段が主被写体Ｏｂの角速度ω_ｓをレンズ制御手段に送信し、レンズ制御手段が流し撮り制御を行ってもよい。

次に、Ｓ１０７において、制御部１２０は露光が終了したかどうかを判定する。所定の露光時間が経過してない場合、制御部１２０は処理をＳ１０６に戻してブレ補正を継続する。露光が終了した場合、制御部１２０は撮像光学系１０１のシャッターを閉じて、撮像素子１０２から画像を読み出し、一次保存装置１０４に保存する。次に、画像処理部１０６で様々な画像処理を施し、画像圧縮を行った後、ＪＰＥＧファイルとして記憶媒体１０７に保存する。この時、画像処理部１０６によって処理された画像は表示部１０９に送られて表示されてもよい。その後、制御部１２０はＳ１００へと処理を戻す。

このように、本実施例によれば、焦点距離（若しくは像距離）の代わりに回転中心位置に対応する点Ｒと撮像面ＩＰとの間の距離ｄを用いることによって、主被写体の判定精度及び主被写体の角速度の算出精度を高めることができる。

次に、本発明の実施例２について説明する。実施例２は、実施例１と同様に、図２に示すデジタルカメラ１００に適用され、図３に示す流し撮り制御を行うが、回転中心が撮像面にはないために、（１３）式を修正している。

実施例１は、デジタルカメラ１００の回転中心が撮像面である場合を説明している。デジタルカメラ１００が表示部１０９として電子ビューファインダーを備えている場合に、例えば、ユーザが電子ビューファインダーを見ながら流し撮り撮影を行う場合、デジタルカメラ１００の回転中心は撮像面にあるとみなすことができる。しかしながら、液晶パネルのような表示部１０９を見ながら流し撮りを行う場合、回転中心は撮像面ではなくなり、結果として角速度の計算に誤差が生じてしまう。実施例２は、撮像面以外が回転中心である場合の距離ｄを算出方法について説明する。

図４は、実施例２による、撮像面以外の光軸上の位置Ｑに回転中心がある場合の距離ｄの算出方法について説明するための模式図である。撮像面ＩＰから回転中心の位置Ｑまでの光軸上の距離をαとする。距離αは、ユーザが背面の液晶画面を見ながら流し撮りをする場合の、デジタルカメラ１００（の撮像面ＩＰ）から回転中心までの一般的な距離（上腕の長さなど）を設定しておく。もしくは、デジタルカメラ１００から回転中心までの距離を設定する画面を表示部１０９に表示し、操作部１１０でユーザが自由に設定できるようにしてもよい。デジタルカメラ１００が背面に不図示の距離センサを有する場合は、距離センサによって撮像面ＩＰからユーザまでの距離を距離センサ（検出手段）によって取得してもよい。電子ビューファインダーが接眼センサを有する場合や、操作部１１０に電子ビューファインダーと液晶画面の切り替えスイッチを有する場合に、ユーザが電子ビューファインダーを使用している間はαを０に設定してもよい。

本実施例では、制御部１２０は、（１３）式の代わりに、次式を使用する。

撮影距離Ｌの代わりに回転中心位置Ｑから主被写体Ｏｂの光軸上の位置Ｐ１までの距離Ｌ’を用いて距離ｄを計算し、これを（１４）式と（１５）式に適用する。但し、距離Ｌ’は式（１７）で与えられる。制御部１２０はＳ１００で、撮像光学系１０１から距離ｓとｓ’、被写体距離Ｌの情報を取得する。なお、制御部１２０は、ｓ’／ｓの情報を取得してもよい。この結果、制御部１２０は、（８）式のＬの代わりにＬ’を用いて予め距離ｄを計算することができる。

このように、撮像面ＩＰから回転中心に対応する点Ｒまでの距離を用いて距離ｄを算出することによって、デジタルカメラ１００の回転中心が撮像面上ではない場合でも、主被写体Ｏｂの角速度ω_ｓを正確に算出することができる。即ち、本実施例でも、焦点距離（若しくは像距離）の代わりに回転中心位置に対応する点Ｒと撮像面ＩＰとの間の距離ｄを用いることによって、主被写体の判定精度及び主被写体の角速度の算出精度を高めることができる。

デジタルカメラ１００が、被写体を表示する電子ビューファインダーと、電子ビューファインダーとは別に被写体を表示する表示部１０９を有する場合を考える。電子ビューファインダーが使用されながら被写体像が形成される場合には、角速度算出部１２２は、αをゼロに設定し、表示部１０９が使用されながら被写体像が形成される場合には、αをゼロ以外の値に設定してもよい。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、被写体像のブレを補正する補正手段は、撮像素子を光軸に直交する方向に駆動することによって実現してもよい。本実施形態の撮像装置は、被写体像のブレを補正する補正手段と、角速度算出部１２２によって算出された被写体の角速度とパンニング角速度の差に基づいて、補正手段の駆動を制御する制御部１２０を有する。レンズ交換型においては、カメラ制御手段は、角速度算出部１２２によって算出された被写体の角速度とパンニング角速度の差に基づいて、被写体像のブレを補正するシフトレンズの駆動を制御する信号を生成してレンズ制御手段に送信してもよい。

また、本発明の角速度算出装置は、撮像面に形成される被写体像の角速度を算出する第１の算出部と、第１の算出部によって算出された被写体像の角速度にパンニング角速度を加算することによって被写体の角速度を算出する第２の算出部と、を有してもよい。第１の算出部は、被写体像の角速度を、（１６）式、（１７）式、（１５）式によって与えられるωとして算出してもよい。

本発明の被写体検出装置は、撮像面に形成された画像の動きベクトルが表す移動量の情報と、撮像面を有する撮像装置のパンニング角速度の情報と、に基づいて、被写体を検出する。移動量から（１６）式、（１７）式、（１４）式で与えられるｖ_ｐの移動量を除くことによって被写体を検出してもよい。

以上、本発明の実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００…デジタルカメラ（撮像装置）、１０１…撮像光学系（補正手段）、１２０…制御部（制御手段）、１２１…被写体検出部、１２２…角速度算出部（角速度算出手段）、１２３…流し撮り制御部

Claims (11)

1. 被写体像を光電変換する撮像素子と、
   前記被写体像の角速度を算出する角速度算出手段と、
   を有し、
   前記角速度算出手段は、前記被写体像の角速度を、前記被写体像の動きベクトル、前記被写体像の取得周期、撮像光学系の前側主点を基準とした被写体までの第１の距離、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離、前記被写体と前記撮像面との間の第３の距離とに基づいて算出することを特徴とする撮像装置。
2. 前記被写体像の動きベクトルが表す移動量をｖ、前記被写体像の取得周期の逆数をρ、前記第１の距離をｓ、前記第２の距離をｓ’、前記第３の距離をＬ、パンニングの回転中心と前記撮像素子の撮像面との光軸上の距離をαとすると、前記角速度算出手段は、前記被写体像の角速度を、
   
   によって与えられるωとして算出することを特徴とする請求項１に記載の撮像装置。
3. 前記回転中心と前記撮像面との光軸上の距離を検出する検出手段を更に有することを特徴とする請求項２に記載の撮像装置。
4. 前記角速度算出手段は、前記被写体像の角速度と振れ検出手段により検出されたパンニング角速度とに基づいて、前記被写体の角速度を算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記被写体像のブレを補正する補正手段と、
   前記角速度算出手段によって算出された前記被写体の角速度とパンニング角速度の差に基づいて、前記補正手段の駆動を制御する制御手段と、
   を更に有することを特徴とする請求項４に記載の撮像装置。
6. 前記角速度算出手段によって算出された前記被写体の角速度とパンニング角速度の差に基づいて、被写体像のブレを補正するシフトレンズの駆動を制御する信号を生成する制御手段を更に有することを特徴とする請求項４に記載の撮像装置。
7. 前記被写体を表示する電子ビューファインダーと、
   前記電子ビューファインダーとは別に前記被写体を表示する表示手段と、
   を更に有し、
   前記電子ビューファインダーが使用されながら前記被写体像が形成される場合には、前記角速度算出手段は、前記回転中心と前記撮像面との光軸上の距離をゼロに設定し、
   前記表示手段が使用されながら前記被写体像が形成される場合には、前記角速度算出手段は、前記回転中心と前記撮像面との光軸上の距離をゼロ以外の値に設定することを特徴とする請求項２又は３に記載の撮像装置。
8. 撮像面に形成される被写体像の角速度を算出する第１の算出部と、
   該第１の算出部によって算出された前記被写体像の角速度にパンニング角速度を加算することによって被写体の角速度を算出する第２の算出部と、
   を有し、
   前記第１の算出部は、前記被写体像の角速度を、前記被写体像の動きベクトル、前記被写体像の取得周期、撮像光学系の前側主点を基準とした被写体までの第１の距離、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離、前記被写体と前記撮像面との間の第３の距離とに基づいて算出することを特徴とする角速度算出装置。
9. 撮像面に形成された画像の動きベクトルが表す移動量の情報と、前記撮像面を有する撮像装置のパンニング角速度の情報と、に基づいて、被写体を検出する被写体検出装置であって、
   前記パンニング角速度をω_ｐ、前記画像のフレームレート、撮像光学系の前側主点を基準とした被写体までの第１の距離をｓ、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離をｓ’、前記被写体と前記撮像面との間の第３の距離をＬ、前記撮像装置の回転中心と前記撮像面との光軸上の距離をαとすると、前記移動量から、
   
   によって与えられるｖ_ｐの移動量を除くことによって前記被写体を検出することを特徴とする被写体検出装置。
10. 撮像面に形成された画像の動きベクトルを検出する動きベクトル検出手段と、
    該動きベクトル検出手段によって生成された前記動きベクトルが表す移動量の情報と、前記撮像面を有する撮像装置のパンニング角速度の情報と、に基づいて、被写体を検出する被写体検出手段と、
    を有し、
    前記パンニング角速度をω_ｐ、前記画像のフレームレートをρ、撮像光学系の前側主点を基準とした被写体までの第１の距離をｓ、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離をｓ’、前記被写体と前記撮像面との間の第３の距離をＬ、前記撮像装置の回転中心と前記撮像面との光軸上の距離をαとすると、前記被写体検出手段は、前記移動量から、
    
    によって与えられるｖ_ｐの移動量を除くことによって前記被写体を検出することを特徴とする被写体検出装置。
11. 撮像装置に交換可能に装着されるレンズ装置であって、
    前記撮像装置の撮像面に形成される被写体像の角速度に基づいて被写体の角速度を算出する角速度算出手段と、
    光軸に直交する方向に移動されて像振れを補正するシフトレンズと、
    前記角速度算出手段によって算出された前記被写体像の角速度に基づいて、前記シフトレンズの駆動を制御する制御手段と、
    を有し、
    前記角速度算出手段は、前記被写体像の角速度を、前記被写体像の動きベクトル、前記被写体像の取得周期、撮像光学系の前側主点を基準とした被写体までの第１の距離、前記撮像光学系の後側主点を基準とした撮像面までの第２の距離、前記被写体と前記撮像面との間の第３の距離とに基づいて算出することを特徴とするレンズ装置。