JP2011082901A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ライブビュー表示時のフレームレートが変更された場合において、被写体の動きの検出処理時間を短縮することができると共に、被写体の動きを正確に検出することができるデジタルカメラを提供する。
【解決手段】このデジタルカメラは、連続する２つのフレーム画像を用いて、被写体の動きを検出する動き検出手段（Ｓ２０４）と、該動き検出手段による被写体の動き検出のための検出範囲をユーザ操作により指示されたライブビュー表示時のフレームレートの値に応じて切り換える制御手段（Ｓ２０１〜Ｓ２０３）とを備える。
【選択図】図２

Description

本発明は、画像信号から被写体の動きを検出するデジタルカメラ等の画像処理装置、画像処理方法及びプログラムに関する。

電子ビューファインダ（ＥＶＦ）を備えたデジタルカメラなどの画像処理装置では、ＥＶＦ使用時は、ファインダに表示するための画像を略一定の周期で繰り返し撮影している。そして、撮影者は、一定周期で撮影した画像をファインダで見ることで、構図を設定したり合焦状態を確認したりする。

また、この一定周期で撮像した連続する２つのフレーム画像から、被写体の動きや被写体のブレを検出する技術が知られている。具体的には、図４に示すように、連続する２つのフレーム画像を用い、一方の画像の中央位置及び該中央位置に対して上下左右と各斜めの８方向の位置について画像間の相関をとることで、その方向と移動量を求める（特許文献１）。

また、撮像素子で撮像した画像を取り込む周期（以下「フレームレート」という。）を切り替え可能とし、切り替えたフレームレートに応じて画像を記録可能な残り時間を変更する技術が提案されている（特許文献２）。

特開平６−８３９６３号公報 特開２００６−３５２２２７号公報

ところで、ＥＶＦを備えたデジタルカメラでは、ライブビュー表示時のフレームレートやレンズの焦点距離等の撮影条件を変更すると、変更量に比例して連続するフレーム画像間での被写体の移動量も変わる。

しかし、上記特許文献１では、ライブビュー表示時のフレームレートやレンズの焦点距離等に関わらず、被写体の動きを検出する範囲及び被写体の動き検出をするために使用する画像の大きさは一定である。

このため、ライブビュー表示時のフレームレートやレンズの焦点距離等の撮影条件が変更された場合において、被写体の移動量が少ないのに広い検出範囲で動き量を検出しようとすると、被写体の動き検出する処理に時間がかかってしまう。また、前記撮影条件の変更により、被写体の移動量が検出範囲を超える場合には、必要な検出範囲が確保できないため、被写体の動きを正確に検出できない可能性がある。

そこで、本発明は、ライブビュー表示時のフレームレートやレンズ焦点距離等の撮影条件が変更された場合において、被写体の動きの検出処理時間を短縮することができると共に、被写体の動きを正確に検出することができる仕組みを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、ユーザ操作により指示された変更量に応じて連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件を設定する設定手段と、前記連続する２つのフレーム画像を用いて、被写体の動きを検出する動き検出手段と、該動き検出手段による被写体の動き検出のための検出範囲を前記設定手段により設定された撮影条件に応じて切り換える制御手段と、を備えることを特徴とする。

本発明によれば、ライブビュー表示時のフレームレートやレンズの焦点距離等の撮影条件が変更された場合において、被写体の動きの検出処理時間を短縮することができると共に、被写体の動きを正確に検出することができる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラを説明するためのブロック図である。 デジタルカメラにおける被写体の追尾処理の一例について説明するためのフローチャート図である。 本発明の画像処理装置の第２の実施形態であるデジタルカメラにおいて、被写体の追尾処理の一例について説明するためのフローチャート図である。 被写体の動き検出処理を説明するための説明図である。

以下、本発明の実施形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラを説明するためのブロック図である。

図１に示すように、本実施形態のデジタルカメラ１００は、レンズ３１０に入射した光線が一眼レフ方式によって絞り３１２、防振制御レンズ３１４、ミラー１３０、シャッタ１２を介して撮像素子１４に導かれて、該撮像素子１４に光学像として結像する。撮像素子１４は、被写体の光学像を電気信号に変換し、シャッタ１２は、撮像素子１４への露光量を制御する。

Ａ／Ｄ変換部１６は、撮像素子１４から出力されるアナログ信号をディジタル信号に変換する。タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御され、撮像素子１４、Ａ／Ｄ変換部１６、システム制御部５０にクロック信号や制御信号を供給する。

画像処理部２０は、Ａ／Ｄ変換部１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０では、連続する２つの画像を使ってフレーム画像間の相関のズレ量とその方向を求める。更に、画像処理部２０は、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づきシステム制御部５０がシャッタ制御部４０、測距部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理を行う。更に、画像処理部では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

なお、本実施形態では、測距部４２及び測光部４６を専用に備える構成としたため、光学ファインダ１０４の使用時は、測距部４２及び測光部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ（フラッシュ調光）処理の各処理を行う。そして、ＥＶＦ使用時は、画像処理部２０によるＡＦ処理、ＡＥ処理、ＥＦ処理を行わないように自動で切り替える。

メモリ制御部２２は、Ａ／Ｄ変換部１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換部１６からの出力データが画像処理部２０、メモリ制御部２２を介して、或いは直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示部２９は、ＬＣＤ等により構成され、ＥＶＦの場合は、不図示の外部表示装置や画像表示部２９を用いて撮像した画像データを逐次表示し、ＥＶＦ機能を実現する。メモリ３０は、撮影した静止画像や動画像を格納する。メモリ３０は、システム制御部５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

シャッタ制御部４０は、測光部４６からの測光情報に基づいて、絞り３１２を制御する絞り制御部３４０と連携しながら、シャッタ１２を制御する。測距部４２は、ＡＦ処理を行う。レンズ３１０に入射した光線を一眼レフ方式によって絞り３１２、防振制御レンズ３１４、ミラー１３０及び不図示の測距用サブミラーを介して測距部４２に入射させることにより、光学像として結像された画像の合焦状態を測定することが出来る。

測光部４６は、ＡＥ処理を行う。レンズ３１０に入射した光線を一眼レフ方式によって絞り３１２、防振制御レンズ３１４、ミラー１３０及び１３２そして不図示の測光用レンズを介して測光部４６に入射させることにより、光学像として結像された画像の露出状態を測定することが出来る。

なお、ＥＶＦでは、撮像素子１４により撮像した画像データを画像処理部２０で演算した結果に基づき、システム制御部５０がシャッタ制御部４０、絞り制御部３４０、測距制御部３４２に対して制御を行う、ビデオＴＴＬ方式を用いて露出制御及びＡＦ制御を行う。このとき、測距部４２による測定結果と撮像素子１４で撮像した画像データを画像処理部２０により演算した結果とを用いてＡＦ制御を行っても構わない。また、測光部４６による測定結果と撮像素子１４で撮像した画像データを画像処理部２０により演算した結果とを用いて露出制御を行っても構わない。

システム制御部５０は、デジタルカメラ全体の制御を司る。表示部５４は、液晶表示装置やスピーカ等を有し、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。

シャッタスイッチ（ＳＷ１）６２は、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始をシステム制御部５０に指示する。

シャッタスイッチ（ＳＷ２）６４で、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換部１６、メモリ制御部２２を介してメモリ３０に書き込む露光処理を行う。また、シャッタスイッチ（ＳＷ２）６４のＯＮにより、画像処理部２０やメモリ制御部２２での現像処理、メモリ３０から読み出した画像データに対する圧縮・伸長回路３２での圧縮処理、記録媒体２００への画像データの記録処理の動作開始を指示する。

操作部７０は、各種ボタンやタッチパネル等からなり、ユーザ操作により受け付けた指示をシステム制御部５０に出力する。本実施形態では、この操作部７０でのユーザ操作により、撮像素子１４で撮像した画像を取り込む周期、すなわち、フレームレートの値を設定することができる。

光学ファインダ１０４には、レンズ３１０に入射した光線が一眼レフ方式によって絞り３１２、防振制御レンズ３１４、ミラー１３０，１３２を介して導かれ、光学ファインダ１０４に導かれた光線は、光学像として結像表示される。これにより、画像表示部２９による電子ファインダ機能を使用することなく、光学ファインダ１０４のみを用いて撮影を行うことが可能になる。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などの機能が設置されている。

Ｉ／Ｆ１２０，３２０は、デジタルカメラ１００とレンズユニット３００とを接続するためのインターフェースである。コネクタ１２２，３２２は、デジタルカメラ１００とレンズユニット３００とを電気的に接続する。コネクタ１２２，３２２は、デジタルカメラ１００とレンズユニット３００との間で制御信号、状態信号、データ信号等をやり取りすると共に、各種電圧の電流を供給する機能も備える。なお、コネクタ１２２，３２２は、電気通信のみならず、光通信、音声通信等の機能を備える構成としても良い。

ミラー１３０，１３２、レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３２は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。

記録媒体２００は、メモリカードやハードディスク等で構成され、半導体メモリや磁気ディスク等の記録部２０２、及びデジタルカメラ１００側のＩ／Ｆ９０にコネクタ９２，２０６を介して接続されるＩ／Ｆ２０４を備える。レンズマウント１０６，３０６は、デジタルカメラ１００とレンズユニット３００とを機械的に結合する。レンズマウント３０６内には、レンズユニット３００をデジタルカメラ１００と電気的に接続する各種機能が含まれている。

絞り制御部３４０は、測光部４６からの測光情報又は撮像素子１４で撮像した画像データを画像処理部２０により演算した結果に基づいて、シャッタ１２を制御するシャッタ制御部４０と連携しながら、絞り３１２を制御する。測距制御部３４２は、レンズ３１０のフォーカシングを制御し、防振制御部３４４は、防振制御レンズ３１４を制御する。

レンズ制御部３５０は、レンズユニット３００全体の制御を司る。レンズ制御部３５０は、動作用の定数、変数、プログラム等を記憶するメモリや、レンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリを備える。また、レンズ制御部３５０は、カメラの手ブレ補正量から防振制御レンズ３１４の制御値を演算する機能を備える。

次に、図２を参照して、本実施形態のデジタルカメラ１００における被写体の追尾処理の一例について説明する。図２での処理は、ＲＯＭ等に記憶された制御プログラムがＲＡＭにロードされて、システム制御部５０のＣＰＵ等により実行される。

図２では、画像表示部２９をＥＶＦとして用いるためのライブビュー表示をしている場合に、定期的に被写体を確認して、主被写体が設定されると、その主被写体の追尾を開始する。主被写体の設定方法としては、例えば、ユーザが操作部７０を操作することで、画像表示部２９に画像と重複して表示された追尾枠を移動させて追尾対象の被写体位置に合わせ、その追尾枠内の被写体を主被写体として設定する方法がある。あるいは、画像表示部２９の中央部に追尾枠を表示し、ユーザが追尾対象の被写体が追尾枠に重なるようカメラの画角を調整し、この状態でシャッタスイッチ（ＳＷ１）６２を操作することによって、追尾枠内の被写体を主被写体として設定する方法がある。

上記追尾の開始後、ステップＳ２０１では、システム制御部５０は、ライブビュー表示のフレームレートを確認する。そして、システム制御部５０は、ライブビュー表示のフレームレートが６０ｆｐｓの場合は、ステップＳ２０２に進み、ライブビュー表示のフレームレートが３０ｆｐｓの場合は、ステップＳ２０３に進む。

ステップＳ２０２では、システム制御部５０は、画像処理部２０が被写体の動きを検出する検出範囲１を設定し、ステップＳ２０４に進む。ここでの検出範囲１は、例えば、追尾枠に対して、垂直、水平方向ともに３倍の幅となる領域が設定される。なお、この幅は、主被写体を追尾するために必要な処理時間が、フレーム画像の更新周期内に収まるように設定されることが望ましい。

ステップＳ２０３では、システム制御部５０は、ステップＳ２０２で設定した検出範囲１よりも広い検出範囲２を設定し、ステップＳ２０４に進む。ここでの検知範囲２は、例えば、追尾枠に対して、垂直、水平方向ともに５倍の幅となる領域が設定される。

これは、フレームレートの値（３０ｆｐｓ）がステップＳ２０２のフレームレートの値（６０ｆｐｓ）の１／２であるため、主被写体の追尾処理するために確保できる時間が２倍になったためである。なお、本実施形態では、フレームレートの数値が６０ｆｐｓと３０ｆｐｓのみの場合を例示したが、この数値に特に限定されず、フレームレートの数値が大きいほど、被写体の動き検出の範囲を狭く設定するようにすればよい。

ステップＳ２０４では、システム制御部５０は、画像処理部２０により、図４で説明したように、連続する２つのフレーム画像を用いて、画像の移動方向とその移動量を求める動き検出処理を行い、ステップＳ２０５に進む。

ここでの動き検出処理では、例えば、主被写体として設定された領域の輝度信号と色差信号を記憶し、この輝度信号と色差信号との差分の総和が最も小さくなる領域を、後のフレーム画像に設定された検知範囲から検出し、この領域に主被写体が位置すると判断する。なお、異なるフレーム画像間で同一の被写体を検出する方法や、その移動量を求める方法は公知であるため、その説明は省略する。

ステップＳ２０５では、システム制御部５０は、画像処理部２０により、主被写体の位置の補正を行い、ステップＳ２０６に進む。

ステップＳ２０６では、システム制御部５０は、シャッタスイッチ（ＳＷ１）６２等の追尾を継続するスイッチが操作されているかを判断し、追尾を継続する場合は、ステップＳ２０４に戻り、追尾を継続しない場合は、追尾処理を終了する。

以上説明したように、本実施形態では、ユーザ操作により指示された変更量に比例して連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件であるフレームレートの値が大きいほど、被写体の動き検出の範囲を狭く設定するようにしている。これにより、フレームレートの値が変更された場合に、被写体の動きの検出処理時間を短縮することができ、また、必要な検出範囲が設定されるので、被写体の動きを正確に検出することができる。

（第２の実施形態）
次に、図３を参照して、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。

図３は、本実施形態のデジタルカメラにおける被写体の追尾処理の一例について説明するためのフローチャート図である。図３での処理は、ＲＯＭ等に記憶された制御プログラムがＲＡＭにロードされて、システム制御部５０のＣＰＵ等により実行される。

図３では、上記第１の実施形態と同様に、画像表示部２９をＥＶＦとして用いるためのライブビュー表示をしている場合に、定期的に被写体を確認して、主被写体が設定されると、その主被写体の追尾を開始する。主被写体の設定方法は、上記第１の実施形態と同様であるので、その説明を省略する。

上記追尾の開始後、ステップＳ３０１では、システム制御部５０は、ライブビュー表示中のレンズ３１０の焦点距離を確認する。そして、システム制御部５０は、レンズ３１０の焦点距離が１００ｍｍ未満の場合は、ステップＳ３０２に進み、レンズ３１０の焦点距離が１００ｍｍ以上の場合は、ステップＳ３０３に進む。

ステップＳ３０２では、システム制御部５０は、画像処理部２０が被写体の動きを検出する検出範囲１を設定し、ステップＳ３０４に進む。ここでの検出範囲１は、例えば、追尾枠に対して、垂直、水平方向ともに３倍の幅となる領域が設定される。

ステップＳ３０３では、システム制御部５０は、ステップＳ３０２で設定した検出範囲１よりも広い検出範囲２を設定し、ステップＳ３０４に進む。ここでの検知範囲２は、例えば、追尾枠に対して、垂直、水平方向ともに５倍の幅となる領域が設定される。

これは、ステップＳ３０３では、レンズ３１０の焦点距離が長い（１００ｍｍ以上）ため、レンズ３１０の焦点距離が短い（１００ｍｍ未満）の場合（ステップＳ３０２）と比較して、カメラの向きが変化することに対する画角の移動量が大幅に増加するためである。すなわち、カメラの動き量が同じであっても、画角内の被写体の移動量は、レンズ３１０の焦点距離が長いほど大きくなる。なお、本実施形態では、レンズ３１０の焦点距離を１００ｍｍとして、レンズ３１０の焦点距離の大小による処理の切り替え点を１つとしているが、レンズ３１０の焦点距離の値や切り換え点の数は特に限定されない。レンズ３１０の焦点距離が長いほど、被写体の動き検出の範囲を広く設定するようにすればよい。また、防振制御レンズ３１４の制御値等に応じて、処理の切り換え点を変えてもよい。

ステップＳ３０４では、システム制御部５０は、画像処理部２０により、上記第１の実施形態と同様に、連続する２つのフレーム画像を用いて、画像の移動方向とその量を求める動き検出処理を行い、ステップＳ３０５に進む。

ステップＳ３０５では、システム制御部５０は、画像処理部２０により、主被写体の位置の補正を行い、ステップＳ３０６に進む。

ステップＳ３０６では、システム制御部５０は、シャッタスイッチ（ＳＷ１）６２等の追尾を継続するスイッチが操作されているかを判断し、追尾を継続する場合は、ステップＳ２０４に戻り、追尾を継続しない場合は、追尾処理を終了する。

以上説明したように、本実施形態では、ユーザ操作により指示された変更量に比例して連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件であるレンズ３１０の焦点距離が長いほど、被写体の動き検出の範囲を広く設定している。これにより、レンズ３１０の焦点距離が変更された場合に、被写体の動きの検出処理時間を短縮することができ、また、必要な検出範囲が設定されるので、被写体の動きを正確に検出することができる。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

例えば、上記各実施形態では、主被写体と相関の高い領域を検出する追尾処理を例示したが、これに限定されない。

例えば、画像処理部２０が、画像データから人物の顔の形状らしき領域を検出する顔検出機能を備え、検出された複数の顔の中から、その位置や大きさに応じて主被写体とみなせる顔を１つ選択するものとする。画像処理部２０は、一度主被写体とみなせる顔を選択すると、その顔を中心として設定された顔検出領域から、次のフレーム画像で同一とみなせる顔を検出する。この画像処理部２０により設定する顔検出領域を、上記各実施形態と同様に、フレームレートやレンズ３１０の焦点距離等の撮影条件に応じて変更してもよい。

また、上記各実施形態では、主被写体の相関の高い領域を検出することで追尾処理を行ったが、背景と思われる被写体を対象に上記同様の方法で被写体の移動量を求めることで、カメラの手振れ量の検出に用いることも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１４ 撮像素子
２０ 画像処理部
５０ システム制御部
１００ デジタルカメラ
３１０ レンズ

Claims (5)

1. ユーザ操作により指示された変更量に応じて連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件を設定する設定手段と、
   前記連続する２つのフレーム画像を用いて、被写体の動きを検出する動き検出手段と、 該動き検出手段による被写体の動き検出のための検出範囲を前記設定手段により設定された撮影条件に応じて切り換える制御手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記撮影条件が、撮像素子のフレームレートであり、
   前記制御手段は、前記フレームレートの値が大きいほど、前記動き検出手段による被写体の動き検出のための検出範囲を狭く設定するように制御する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件が、レンズの焦点距離であり、
   前記制御手段、前記焦点距離が長いほど、前記動き検出手段による被写体の動き検出のための検出範囲を広く設定するように制御する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. ユーザ操作により指示された変更量に応じて連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件を設定する設定ステップと、
   前記連続する２つのフレーム画像を用いて、被写体の動きを検出する動き検出ステップと、
   該動き検出ステップでの被写体の動き検出のための検出範囲を前記設定ステップで設定された撮影条件に応じて切り換える制御ステップと、を備える
   ことを特徴とする画像処理方法。
5. ユーザ操作により指示された変更量に応じて連続する２つのフレーム画像間での被写体の移動量が変更される撮影条件を設定する設定ステップと、
   前記連続する２つのフレーム画像を用いて、被写体の動きを検出する動き検出ステップと、
   該動き検出ステップでの被写体の動き検出のための検出範囲を前記設定ステップで設定された撮影条件に応じて切り換える制御ステップと、コンピュータに実行させる、
   ことを特徴とするプログラム。