JP7159371B2 - 制御装置、その制御方法、およびプログラム - Google Patents

Description

本発明は、被写体の距離情報を活用した制御装置に関する。

近年、撮影レンズの焦点位置を自動調節する焦点調節機能を備えたカメラが普及している。その焦点調節を行う手段として、撮像素子を用いた撮像面位相差ＡＦ方式やコントラストＡＦ方式など様々なＡＦ方式が実用化されている。さらに、様々なＡＦ方式において、主被写体の領域を特定して合焦させる技術がある。特許文献１では、複数のＡＦ枠から隣接した所定深度内の塊を検出して、その中から主枠選択する制御を行っている。また、特許文献２では、所定深度内の塊を検出する手段に加え、色情報を加味することによって、主被写体領域の特定精度を向上させている。

特開２０１０－１９１０７３号公報 特開２０１５－０４１９０１号公報

しかしながら、特許文献１、２においては、撮像する画像上において主被写体位置およびその付近に距離が異なる物体が混在している状況では、距離が異なる物体からの入射光の影響を受けて、所望の焦点調節結果が得られない場合があった。

そこで、本発明の目的の１つは、撮像する画像上において主被写体に対して距離が異なる物体が混在しているシーンの特定を好適に行うことである。また、本発明の別の目的は、主被写体に対して距離が異なる物体が混在している場合でも好適な焦点検出動作を実現することである。

本発明の技術的特徴として、焦点検出用信号を出力することが可能な撮像手段から出力された前記焦点検出用信号に基づいて、デフォーカス量を検出する焦点検出工程と、前記撮像手段から出力された画像データに基づいて、特定の被写体の検出を行う被写体検出工程と、前記デフォーカス量の特徴に基づいて、前記特定の被写体に対する障害物を検出する第１の障害物検出工程と、前記特定の被写体に対する空間周波数よりも高い空間周波数の障害物を検出する第２の障害物検出処理とを実行する処理工程と、を有することを特徴とする。

本発明によれば、主被写体に対して距離が異なる物体が混在しているシーンの特定を好適にできる。また、主被写体に対して距離が異なる物体が混在している場合でも好適な焦点検出動作を実現することができる。

本発明の実施形態を適用した撮像装置の構成を示すブロック図である。 本発明の実施形態を適用した撮像装置の動作を説明するフローチャートである。 本発明の実施形態を適用したＡＦ枠設定を説明するフローチャートである。 本発明の実施形態を適用した人物の顔に対する検出領域のイメージである。 本発明の実施形態を適用した人物の顔に対するＡＦ枠設定の設定イメージである。 本発明の実施形態を適用した人物の瞳、顔、体に対する検出領域のイメージである。 本発明の実施形態を適用した人物の瞳、顔、体に対するＡＦ枠設定の設定イメージである。 本発明の実施形態を適用した動物の瞳、顔、体に対する検出領域のイメージである。 本発明の実施形態を適用した動物の瞳、顔、体に対するＡＦ枠設定の設定イメージである。 本発明の実施形態を適用したＡＦ動作を説明するフローチャートである。 本発明の実施形態を適用した焦点検出処理を説明するフローチャートである。 本発明の実施形態を適用した検出デフォーカス量算出を説明するフローチャートである。 本発明の実施形態を適用した第１の障害物回避処理を説明するフローチャートである。 本発明の実施形態を適用したヒストグラムのイメージある。 本発明の実施形態を適用した第２の障害物回避処理を説明するフローチャートである。 本発明の実施形態を適用した第２の障害物判定処理を説明するフローチャートである。 本発明の実施形態を適用した被写体の前に第２の障害物がある様子を示す概略図である。 （ａ）は本発明の実施形態を適用した顔とネットの第１帯域の周波数応答のイメージであり、（ｂ）は本発明の実施形態を適用した顔とネットの第２帯域の周波数応答のイメージである。 本発明の実施形態を適用した通常の検出デフォーカス量算出を説明するフローチャートである。 本発明の実施形態を適用した通常の主枠選択を説明するフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

●撮像装置の構成
図１は、本発明の実施形態に係るレンズ交換式カメラ（以下、単にカメラと呼ぶ）の構成を示すブロック図である。本発明の実施形態に係るカメラは、本発明を適用した制御装置を搭載した撮像装置の例であり、被写体像を撮像する撮像素子からの出力信号を用いた撮像面位相差検出方式による焦点調節を行う。カメラは、レンズ装置（交換レンズ）１００と、カメラ本体２００とにより構成される。レンズ装置１００が電気接点ユニット１０６を有するマウント部を介してカメラ本体２００に装着されると、レンズ装置１００の動作を統括制御するレンズコントローラ１０５とカメラ全体の動作を統括制御するシステム制御部２０９とが相互に通信可能となる。

まず、レンズ装置１００の構成について説明する。レンズ装置１００は、ズーム機構を含む撮影レンズ１０１、光量を制御する絞り及びシャッター１０２、後述する撮像素子上に焦点をあわせるためのフォーカスレンズ１０３、フォーカスレンズを駆動するモータ１０４、レンズコントローラ１０５を備える。

次に、カメラ本体２００の構成について説明する。カメラ本体２００は、レンズ装置１００の撮影光学系を通過した光束から撮像信号を取得できるように構成される。カメラ本体２００は、被写体からの反射光を電気信号に光電変換する撮像素子２０１、撮像素子２０１の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部２０２、画像処理部２０３、ＡＦ信号処理部２０４を備える。また、カメラ本体２００は、フォーマット変換部２０５、高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）２０６、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部２０７を備える。また、カメラ本体２００は、タイミングジェネレータ２０８、撮影シーケンスなどシステムを制御するシステム制御部２０９、カメラ本体と交換レンズとの通信を行うレンズ通信部２１０、被写体検出部２１１、画像表示用メモリ２１２を備える。なお、画像表示用メモリ２１２はＶＲＡＭと記す。

また、カメラ本体２００は、画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、ＡＦ枠を示す指標を表示する画像表示部２１３を備える。また、カメラを外部から操作するための操作部２１４、マクロモード、スポーツモードなどの撮影モードを選択するための撮影モードスイッチ２１５、システムに電源を投入するためのメインスイッチ２１６を備える。

また、ＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）２１７、ＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）２１８を備える。内蔵メモリ２０６のＤＲＡＭは一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。操作部２１４は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影モードと再生モードの動作モード切換えスイッチなどである。

撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成される。本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ，Ｂとこれら一対のフォトダイオードＡ，Ｂに対して設けられた１つのマイクロレンズとより構成されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ，Ｂ上に一対の光学像を形成し、該一対のフォトダイオードＡ，Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ信号およびＢ信号）を出力する。言い換えると、撮像素子２０１は、撮影光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出用信号を出力することが可能な複数の画素を有する。また、一対のフォトダイオードＡ，Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）である画像データを得ることができる。

複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれ合成することで、撮像面位相差検出方式によるＡＦ（以下、撮像面位相差ＡＦという）に用いられるＡＦ用信号（言い換えれば、焦点検出用信号）としての一対の像信号が得られる。ＡＦ信号処理部２０４は、該一対の像信号に対する相関演算を行って、これら一対の像信号のずれ量である位相差（以下、像ずれ量という）を算出し、さらに該像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向と信頼度）を算出する。また、ＡＦ信号処理部２０４は前記デフォーカス量を指定可能な所定領域で複数演算するものとする。

なお、撮像素子２０１は、瞳分割機能を有しており、撮像素子２０１の出力から生成された一対の焦点検出用信号を用いて位相差検出方式でのＡＦ（撮像面位相差ＡＦ）を行うことが可能であれば、上記構成に限定されない。例えば、撮像した像に対応する画像信号を出力する撮像用画素と、瞳分割された一対の光束を受光する一対の焦点検出用画素とを有する構成としてもよい。

●撮像装置の動作
以下、実施形態の撮像装置の動作について図２を用いて説明する。図２は、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理の流れを示している。コンピュータとしてのシステム制御部２０９は、コンピュータプログラムとしての制御プログラムに従って本処理を実行する。まず、Ｓ２０１では、ＳＷ１（２１７）の状態を調べ、ＯＮであればＳ２０２へ進む。Ｓ２０２では、ＡＦ信号処理部２０４に対してシステム制御部２０９にて後述するＡＦ枠設定を行ってＳ２０３へと進む。Ｓ２０３では、後述するＡＦ動作を行いＳ２０４へ進む。Ｓ２０４では、ＳＷ１（２１７）の状態を調べ、ＯＮであればＳ２０５へ進み、そうでなければＳ２０１へ戻る。Ｓ２０５では、ＳＷ２（２１８）の状態を調べＯＮであればＳ２０６へ進み、そうでなければＳ２０４へ戻る。Ｓ２０６では、撮影動作を行ったあと、Ｓ２０１へ戻る。

●ＡＦ枠設定
図３は、図２のＳ２０２におけるＡＦ枠設定を説明するフローチャートである。まず、Ｓ３０１では被写体検出部２１１から被写体検出情報を取得する。本実施形態の被写体は人物や犬、野鳥などの動物、さらにその被写体内における主要領域を検出するものとする。ここで、主要領域とは人物や動物における瞳、顔、体である。これらの検出方法は公知の機械学習による学習手法や画像処理手段による認識処理などを用いる。

例えば、機械学習の種類としては、以下がある。
（１）サポートベクターマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）
（２）畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（３）再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）

また、認識処理の他の例としては、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、パターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法なども周知である。さらに、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。

Ｓ３０２では被写体検出部２１１の検出結果にて主要領域が複数検出できたかを判定する。複数判定できていればＳ３０３へ進み、そうでなければＳ３０４へ進む。

ここで検出主要領域が単一の場合と複数の場合における検出イメージを、図４、５を用いて説明する。図４ａは顔ａのみ検出されている状態であり、図５ａは瞳Ａ、顔Ｂ、体Ｃが検出されている状態である。被写体検出部２１１からは人物や動物などの被写体の種別と、それぞれ検出された主要領域における中心座標と水平サイズ、垂直サイズが取得できることとする。

Ｓ３０３では最小検出主要領域、つまり図５ａにおける瞳Ａの水平、垂直サイズの小さいほうの値をＭｉｎＡへ入力してＭｉｎＡを一つのＡＦ枠サイズとする。Ｓ３０５ではそれぞれの検出主要領域の水平座標と水平サイズから全主要領域を包含する図５ｂにおける水平サイズＨを求め、前記ＨをＡＦ枠サイズＭｉｎＡで除算することにより水平ＡＦ枠数を決定する。Ｓ３０７ではそれぞれの検出主要領域の垂直座標と垂直サイズから全主要領域を包含する図５ｂにおける垂直サイズＶを求め、前記ＶをＡＦ枠サイズＭｉｎＡで除算することにより垂直ＡＦ枠数を決定し、ＡＦ枠設定を終了する。動物の場合も制御フローは人物の場合と同様であり検出領域、ＡＦ枠設定のイメージはそれぞれ図６ａ、図６ｂとなる。本実施形態は最小サイズを使用した正方領域のＡＦ枠サイズとしたが水平と垂直でＡＦ枠サイズを異ならせてもよいし、システム制御部２０９で演算可能なＡＦ枠数までを設定してもよい。

Ｓ３０４では検出された顔に対して所定サイズＸのＡＦ枠を設定する。前記Ｘは顔から推定される瞳サイズを設定してもよいし、低照度環境時を考慮してＳ／Ｎが確保でき、十分な合焦性能がでるような枠サイズを設定してもよい。本実施形態では推定瞳サイズでＸを設定するものとする。Ｓ３０６では前記ＡＦ枠サイズで顔ａの領域を包含し、顔が動いた場合にも対応できるようなＡＦ枠数Ｙを設定する。

●ＡＦ動作
図７はＳ２０３のＡＦ動作を説明するフローチャート図である。まず、Ｓ４０１では、焦点検出処理を行い、デフォーカス量（デフォーカス方向を含む）と信頼度を検出してＳ４０２へ進む。焦点検出処理については後述する。Ｓ４０２では、システム制御部２０９にてＳ４０１で得られた信頼度を用いて後述する検出デフォーカス量算出を行い、Ｓ４０３へ進む。Ｓ４０３では、Ｓ４０２で検出した結果の信頼度が予め設定されている信頼度閾値２よりも高いかどうかを調べ、そうであればＳ４０４へ進み、そうでなければＳ４１３へ進む。ここで信頼度閾値２は、信頼度が信頼度閾値２未満であればデフォーカス量の精度は保証できないが被写体のピント位置方向は保証できるという閾値に設定しておく。Ｓ４０４では、Ｓ４０２で検出したデフォーカス量が予め設定されているＤｅｆ量閾値２よりも小さいかどうかを調べ、そうであればＳ４０５へ進み、そうでなければＳ４１２へ進む。ここでＤｅｆ量閾値２は、デフォーカス量がＤｅｆ量閾値２以下であれば、その後デフォーカス量だけレンズ駆動を所定回数（例えば３回）以内で焦点深度内にフォーカスレンズを制御することができるような値（例えば焦点深度の５倍の量）で設定する。Ｓ４０５では、フォーカスレンズ１０３が停止状態であるかどうかを調べ、そうであればＳ４０６へ進み、そうでなければＳ４１０へ進む。Ｓ４０６では、Ｓ４０２で検出した結果の信頼度が予め設定されている信頼度閾値１よりも高いかどうかを調べ、そうであればＳ４０７へ進み、そうでなければＳ４１０へ進む。ここで信頼度閾値１は、信頼度が信頼度閾値１以上であれば、デフォーカス量の精度ばらつきが所定範囲内（例えば焦点深度内）となるように設定する。Ｓ４０７では、Ｓ４０１で検出したデフォーカス量が予め設定されているＤｅｆ量閾値１よりも小さいかどうかを調べ、そうであればＳ４０８へ進み、そうでなければＳ４０９へ進む。ここでＤｅｆ量閾値１は、検出したデフォーカス量がＤｅｆ量閾値１以下であれば、焦点深度内にフォーカスレンズ制御されているという値となるように設定する。Ｓ４０８では合焦状態であると判断して本フローを終了する。Ｓ４０９では、Ｓ４０１で検出したデフォーカス量だけフォーカスレンズ１０３を駆動させたあとＳ４０１へ進む。Ｓ４０５～Ｓ４０９の一連を行うことにより、Ｓ４０１で検出した信頼度が信頼度閾値１よりも高い場合にレンズを停止した状態で合焦判定できる。

Ｓ４１０ではＳ４０１で検出したデフォーカス量に対して所定割合だけフォーカスレンズ１０３を駆動してＳ４１１へ進む。Ｓ４１１ではフォーカスレンズ１０３の停止を指示してＳ４０１へ進む。Ｓ４１２ではデフォーカス量がＤｅｆ量閾値２以下ではないため、Ｓ４０１で検出したデフォーカス量に対して所定割合だけフォーカスレンズ１０３を駆動させたあとＳ４０１へ進む。ここで所定割合は、デフォーカス量に対してレンズ駆動量が少なくなるように設定する（例えば８割）。また、設定するレンズ速度は、例えば１フレームの時間でちょうどレンズ駆動できる速度よりも遅くなるように設定する。これにより、検出したデフォーカス量が正しくない場合に被写体ピント位置を越えてしまうことを防ぐことができ、さらにレンズを停止することなく駆動させながら次のレンズ駆動をさせることができる（オーバーラップ制御）。

Ｓ４１３では、非合焦条件を満たしたかどうかを調べ、そうであればＳ４１４へ進み、そうでなければＳ４１５へ進む。ここで非合焦条件とは合焦すべき被写体がいないと判断する所定条件である。例えばフォーカスレンズ１０３の可動範囲全てにおいてレンズ駆動が完了した場合、つまりフォーカスレンズ１０３が遠側、近側の両方のレンズ端を検出して初期位置に戻った場合という条件を設定する。Ｓ４１４では非合焦状態であると判断して本フローを終了する。Ｓ４１５では、フォーカスレンズ１０３が遠側または近側のレンズ端に到達したかどうかを調べ、そうであればＳ４１６へ進み、そうでなければＳ４１７へ進む。Ｓ４１６ではフォーカスレンズ１０３の駆動方向を反転してＳ４０１へ進む。Ｓ４１７では、フォーカスレンズ１０３を所定方向に駆動させてＳ４０１へ進む。フォーカスレンズ速度は、例えばデフォーカス量が検出できるようになった時点でピント位置を通り過ぎることのないようなレンズ速度の範囲で最も速い速度で設定する。

●焦点検出処理
Ｓ４０１の焦点検出処理について図８を用いて説明する。まず、Ｓ５０１では、撮像素子２０１から出力された画像データ内の任意の範囲の焦点検出領域を設定してＳ５０２へ進む。ここで設定される焦点検出領域は、前記Ｓ２０２で設定されたＡＦ枠にそれぞれ対応した領域である。Ｓ５０２では、Ｓ５０１で設定した焦点検出領域に対応する撮像素子２０１からの焦点検出用の一対の像信号（Ａ像、Ｂ像）を取得してＳ５０３へ進む。Ｓ５０３では、Ｓ５０２で取得した一対の信号を垂直方向に行加算平均処理を行ったあとＳ５０４へ進む。この処理によって像信号のノイズの影響を軽減することができる。Ｓ５０４ではＳ５０３で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理を行ったあとＳ５０５へ進む。ここでは複数周波数帯域（高域、中域、低域）の信号成分を取り出しそれぞれについて次のＳ５０５以降の処理を行うこととする。Ｓ５０５では、Ｓ５０４でフィルタ処理した信号から相関量を算出してＳ５０６へ進む。Ｓ５０６では、Ｓ５０５より算出した相関量から相関変化量を算出してＳ５０７へ進む。Ｓ５０７では、Ｓ５０６より算出した相関変化量から像ずれ量を算出してＳ５０８へ進む。Ｓ５０８では、Ｓ５０７で算出した像ずれ量がどれだけ信頼できるのかを表す信頼度を算出してＳ５０９へ進む。Ｓ５０９では像ずれ量をデフォーカス量（デフォーカス方向を含む）に変換して焦点検出処理を終了する。これにより、Ｓ４０１にてデフォーカス量（デフォーカス方向を含む）と信頼度が得られる。

●検出デフォーカス量算出
Ｓ４０２の検出デフォーカス量算出について図９を用いて説明する。まず、Ｓ６０１では第１の障害物回避処理を行う条件であるかどうかを判定する。第１の障害物回避処理を行う条件とは、たとえば被写体検出部２１１によって検出された被写体の種別が動物であったときなどである。これは、動物はオリ（ゲージ）越しなど比較的空間周波数の低い障害物とともに撮影されることが多いことに基づいている。第１の障害物回避処理を行う条件であればＳ６０２へ進み、そうでなければＳ６０３へ進む。Ｓ６０３へ進むことで第１の障害物回避処理を省略することになる。Ｓ６０２では被写体検出部２１１の検出結果とＳ５０９の処理にて算出されたデフォーカス量を用いて後述する第１の障害物回避処理を行い、Ｓ６０６へ進む。Ｓ６０６ではＳ６０２で第１の障害物ありと判定されたかどうかを確認し、第１の障害物ありと判定されていた場合は検出デフォーカス量算出を終了し、第１の障害物ありと判定されていなかったあるいは第１の障害物判定不可であった場合はＳ６０３へ進む。Ｓ６０１で第１の障害物回避処理を行う条件と判定され、Ｓ６０２の処理を実行して、Ｓ６０６で第１の障害物ありと判定された場合には、第２の障害物回避処理を省略することになる。

Ｓ６０３では第２の障害物回避処理を行う条件であるかどうかを判定する。第２の障害物回避処理を行う条件とは、たとえば被写体検出部２１１によって検出された被写体の種別が人物であったときなどである。これは、人物はネット越しなど比較的空間周波数の高い障害物とともに撮影されることが多いことに基づいている。（たとえば、野球場のネット、バレーボールのネットといったスポーツ観戦におけるネット越しの撮影。）第２の障害物回避処理を行う条件であればＳ６０４へ進み、そうでなければ被写体の種別が動物でも人物でもない第３の被写体の種別であると判断し、第１および第２の障害物検出処理を省略した形でＳ６０５へ進む。Ｓ６０４では被写体検出部２１１の検出結果とＳ５０９の処理にて算出されたデフォーカス量を用いて後述する第２の障害物回避処理を行い、Ｓ６０７へ進む。Ｓ６０７ではＳ６０４で第２の障害物ありと判定されたかどうかを確認し、第２の障害物ありと判定されていた場合は検出デフォーカス量算出を終了し、第２の障害物ありと判定されていなかったあるいは第２の障害物判定不可であった場合はＳ６０５へ進む。

Ｓ６０５では被写体検出部２１１の検出結果とＳ５０９の処理にて算出されたデフォーカス量を用いて後述する通常の検出デフォーカス量算出を行い、検出デフォーカス量算出を終了する。

●第１の障害物回避処理
図１０はＳ６０２の第１の障害物回避処理を説明するフローチャート図である。本実施形態では画像解析手段であるヒストグラムを用いるが一般技術であるためヒストグラムの詳細については割愛する。

まず、Ｓ７０１ではＳ５０９の処理で複数周波数帯域の信号について焦点検出が行われた場合、そのうち最も高帯域の信号によって焦点検出されたデフォーカス量を使用するよう設定しＳ７０２へ進む。Ｓ７０２では被写体検出部２１１にて被写体の顔が検出されているかを判定する。顔が検出されていればＳ７０３へ進み、検出されていなければＳ７０４へ進む。Ｓ７０３では被写体検出部２１１にて被写体の体が検出されているかを判定する。体が検出されていればＳ７０５へ進み、検出されていなければＳ７０６へ進む。Ｓ７０５では全主要領域を包含しているＡＦ枠に対してＳ７０１の処理にて設定されたデフォーカス量を所定深度毎にカウントしてヒストグラムを作成する。本実施形態ではデフォーカス量そのものをヒストグラム化しているが、移動する被写体を考慮して各ＡＦ枠毎に算出されたデフォーカス量をもとに被写体位置に対応する予測値（被写体距離）を求めてこの予測値をヒストグラム化しても良い。また、Ｓ７０６では顔枠の所定倍の領域内に設定されたＡＦ枠毎に算出されたデフォーカス量を所定深度毎にカウントしてヒストグラムを作成する。

Ｓ７０８では、Ｓ７０５もしくはＳ７０６にて作成したヒストグラムのピーク値（ヒストピークのＡＦ枠数）が所定以上となっているかを判定する。本実施形態では全ＡＦ枠数で前記ヒストグラムのピーク値を正規化して割合へ変換して使用する。前記ピーク値が所定割合以上であればＳ７１１へ進み、所定割合未満であればＳ７０９へ進む。Ｓ７０９では第１の障害物判定不可と判断し、第１の障害物回避処理を終了する。Ｓ７１１ではＳ７０８で求めたヒストグラムのピーク値を取るビンがヒストグラムの最至近であるかどうかを判定し、そうであればＳ７１０へ進み、そうでなければＳ７１２へ進む。ここで、ヒストグラムは離散的に存在する数値を、一定の幅で区切ってグループとして、棒グラフ状に表示することで数値の分布を可視化するデータ解析手段であり、ビンとは、一定の幅で区切られたグループ（棒グラフでいうと棒１本）のことである。作成されたヒストグラムのうち最至近の棒がビークであるかどうか判定して、ピークが最至近なら被写体が最至近にいるので障害物なし、そうでなければ手前に何か見えていることになるので障害物ありと判断する。

Ｓ７１２では主被写体に対して手前側に存在する第１の障害物が存在すると判定し、Ｓ７１３へ進む。Ｓ７１０では主被写体に対して手前側に存在する第１の障害物が存在しないと判定し、第１の障害物回避処理を終了する。Ｓ７１３では設定したＡＦ枠の中から主枠を選択するために、あるＡＦ枠に注目して行うＳ７１４からＳ７１７の一連の処理を、設定したすべてのＡＦ枠に対して行うループ処理を行う。また、主枠の初期値は主枠が選択されていないことが判断できる情報（全枠数＋１など）をすでに設定しておくものとし、図は省略する。Ｓ７１４では注目しているＡＦ枠がヒストグラムピークとしてカウントされているＡＦ枠かどうかを判定する。そうであればＳ７１５へ進み、そうでなければＳ７１３のループ処理を繰り返す。Ｓ７１５では瞳検出されているかを判定する。瞳検出されていればＳ７１７へ進み、そうでなければＳ７１６へ進む。Ｓ７１６では現在選択された主枠よりも注目しているＡＦ枠のほうが顔検出中心に座標が近ければＳ７１８で注目しているＡＦ枠を主枠に設定する。Ｓ７１７では現在の主枠よりも注目しているＡＦ枠のほうが瞳検出中心に座標が近ければＳ７１８で注目しているＡＦ枠を主枠に設定する。

Ｓ７０４では被写体検出部２１１にて体が検出されているかどうかを判定する。検出されていればＳ７１９へ進み、検出されていなければＳ７３０へ進む。Ｓ７１９では全身検出エリアでヒストグラムを作成してヒストグラムピークを求める。Ｓ７２０では前記Ｓ７１９で作成したヒストグラムのピーク値が所定割合以上となっているかを判定する。所定割合以上であればＳ７２７へ進み、所定割合未満であればＳ７３０へと進む。Ｓ７２７ではＳ７２０で求めたヒストグラムのピーク値を取るビンが最至近であるかどうかを判定し、そうであればＳ７２９へ進み、そうでなければＳ７２８へ進む。Ｓ７２８では主被写体に対して手前側に存在する第１の障害物が存在すると判定し、Ｓ７２１へ進む。Ｓ７２１ではＳ７１３と同様に設定したＡＦ枠の中から主枠を選択するためにあるＡＦ枠に注目して行うＳ７２２からＳ７２４の一連の処理を、設定したすべてのＡＦ枠に対して行うループ処理を行う。Ｓ７２２では注目しているＡＦ枠がヒストグラムピークとしてカウントされているＡＦ枠かどうかを判定する。そうであればＳ７２３へ進み、そうでなければＳ７２１のループ処理を繰り返す。Ｓ７２３では現在選択された主枠よりも注目しているＡＦ枠のほうが全身検出中心に座標が近ければＳ７２４で注目しているＡＦ枠を主枠に設定する。

Ｓ７２９では主被写体に対して手前側に存在する第１の障害物が存在しないと判定し、第１の障害物回避処理を終了する。Ｓ７３０では第１の障害物判定不可と判断し、第１の障害物回避処理を終了する。

Ｓ７２５では前述したフローにより主枠が選択されたかどうかを初期値であるかどうかで判定する。主枠が初期値であればＳ７２６へ進み、そうでなければ第１の障害物回避処理を終了する。Ｓ７２６では後述する通常の主枠選択を行い、第１の障害物回避処理を終了する。

なお、被写体領域内のエリアにおいてデフォーカス量の差が所定量以上ない場合は、Ｓ７２６に進み、画面内の所定領域で主枠選択するなどの手段で主枠選択を行うようにしてもよい。また、主枠選択においては、被写体が静止体か動体かに応じて異ならせてもよい。より具体的には、被写体が静止体の場合に、上述のような合焦するエリアの数の情報に基づいて合焦すべきエリアを決定し、被写体が動体の場合には、過去の焦点検出情報に基づいて合焦すべきエリアを決定する。また、主枠選択においては、静止体を撮影するモードか動体を撮影するモードかに応じて異ならせるようにしてもよい。より具体的には、静止体を撮影するモードの場合に、上述のような合焦するエリアの数の情報に基づいて合焦すべきエリアを決定し、動体を撮影するモードの場合には、過去の焦点検出情報に基づいて合焦すべきエリアを決定する。

●第２の障害物回避処理
第２の障害物回避処理で用いる焦点検出結果について、あらかじめ説明する。

第２の障害物回避処理では、まず、図７のＳ４０１の焦点検出処理の図８のＳ５０４のフィルタ処理で、第１帯域、第２帯域、第３帯域の信号帯域を抽出する。そして、各信号帯域に対して焦点検出処理を行った第１焦点検出結果、第２焦点検出結果、第３焦点検出結果を用いて処理を行う。

第１帯域は、通常の焦点検出に用いる帯域で、高域に設定されている。また、第２帯域は、後述するＳ２００３の第２の障害物判定や、デフォーカス量の大きい被写体に対して用いる帯域で、低域に設定されている。また、第３帯域は、Ｓ２００３の第２の障害物判定で障害物ありと判定された場合に用いる帯域である。第３帯域は、焦点検出精度が担保される信号帯域の範囲内で、障害物の影響を受けないように可能な限り低域に設定され、第１帯域よりも低く、第２帯域よりも高い帯域とされている。

以下、本実施形態における第２の障害物回避処理のフローについて説明する。

図１２に、第２の障害物回避処理のフローチャートを示す。なお、図１２の動作は、システム制御部２０９によって実行される。

図１２のステップＳ２００１において、システム制御部２０９（焦点検出の精度判定手段）は、第３焦点検出結果のピント補正値が所定値以下であるかどうかの判定を行う。所定値以下の場合には、Ｓ２００２へ処理をすすめる。所定値より大きい場合には、Ｓ２００４へ処理をすすめ、検出デフォーカス量を本処理では選択せず、第２の障害物判定不可として第２の障害物回避処理を終了する。

ピント補正値は、レンズの球面収差に起因する、信号の帯域毎の最良像面位置差を補正するものであり、撮像信号の帯域と焦点検出信号の帯域に差がある場合、焦点検出信号で検出したピント位置を補正するものである。一般的に、撮像帯域と焦点検出帯域の最良像面位置の差の設計値を補正値として記憶し、補正を行うが、レンズの個体ばらつきがある場合、球面収差がばらつき、ばらつき分は補正誤差となる。補正誤差は、補正値が大きいほど大きくなるため、上記補正値が大きくなる条件で、焦点検出することは望ましくない。

そのため、本ステップによって、障害物ありと判定された場合に選択する第３焦点検出結果のピント補正値が小さい条件でのみ、障害物判定を行い、ピント補正値が大きい場合には、障害物判定不可として、通常の焦点検出動作を行うようにしている。

次に、ステップＳ２００２において、システム制御部２０９（焦点検出の精度判定手段）は、Ｓ４０１の焦点検出処理のＳ５０２で取得した焦点検出信号（Ａ像、Ｂ像）のシェーディング（ＳＨＤ）差が所定値以下であるかどうかの判定を行う。所定値以下の場合には、Ｓ２００３へ処理をすすめる。所定値より大きい場合には、Ｓ２００４へ処理をすすめ、第２の障害物判定不可として、検出デフォーカス量を本処理では選択せず、第２の障害物回避処理を終了する。ＳＨＤ差は、Ａ像、Ｂ像のレベルおよび傾きの差である。

ＳＨＤ差が大きい場合、Ａ像、Ｂ像の形状に差が生じ、形状差に起因した焦点検出誤差が発生する。特に、低域の処理でフィルタ処理をする場合、レベル、傾きの成分が多く残るため、ＳＨＤ差の影響を受けやすい。障害物ありと判定された場合に選択する第３帯域は、障害物の影響を受けないように低域に設定されているため、ＳＨＤ差の影響を受けやすい。

そのため、本ステップによって、ＳＨＤ差が小さく第３焦点検出結果の精度が低下しない条件でのみ、障害物判定を行い、ＳＨＤ差が大きい場合には、障害物判定不可として、通常の焦点検出動作を行うようにしている。

次に、ステップＳ２００３において、システム制御部２０９（障害物判定手段）は、第２の障害物判定を行う。第２の障害物判定の詳細は後述する。

次に、ステップＳ２００５では、Ｓ２００３で判定した結果に従って、障害物ありと判定された場合には、Ｓ２００６へ処理を進め、障害物ありではない判定された場合には、検出デフォーカス量を本処理では選択せず、第２の障害物回避処理を終了する。ステップＳ２００６では検出デフォーカス量として第３焦点検出結果を選択し、Ｓ２００７へ処理を進める。Ｓ２００７では後述する通常の主枠選択を行い、処理を終了する。

●第２の障害物判定処理
以下、本実施形態における第２の障害物判定処理のフローについて説明する。

図１３に、第２の障害物判定処理のフローチャートを示す。なお、図１３の動作は、システム制御部２０９（障害物判定手段）によって実行される。

図１３のステップＳ２１０１において、システム制御部２０９は、図３のＳ３０１で取得した被写体領域の中心位置を代表位置として取得する。図１４は、被写体の前に障害物がある様子を示す概略図であり、人物の顔の手前側（至近側）に障害物であるネットがある様子を表している。図１４のように、検出された被写体領域に対して焦点検出領域が設定され、その中心位置を代表位置としている。本実施例では、被写体領域の中心位置を代表位置として取得したが、その限りではなく、被写体領域内の第２焦点検出結果をクラス分類し、最頻クラスに属する領域の内、中心に最も近い位置を代表位置としてもよい。

次に、ステップＳ２１０２において、システム制御部２０９は、ステップＳ２１０１で取得した代表位置における第１焦点検出結果と第２焦点検出結果の差を算出する。図１４のように、１つのＡＦ枠内に、顔とネットの両方が存在している場合、両方の信号が混ざっているため、焦点検出に用いる信号帯域によって、焦点検出結果が異なり、顔ではなく、ネット位置や、顔とネットの間の位置を検出してしまうことがある。

図１５は、顔、ネットの各周波数帯域における応答を示している。図１５（ａ）は、顔、ネットの第１帯域の周波数応答、図１５（ｂ）は、顔、ネットの第２帯域の周波数応答をそれぞれ示している。図１５（ａ）のように、高域である第１帯域では、顔よりもネットの応答が高くなっており、図１５（ｂ）のように、低域である第２帯域では、顔の方がネットよりも応答が高い。このため、第１帯域では、ネットの応答の方が高いので、第１焦点検出結果は、ネットの焦点位置を検出し、第２帯域では、顔の応答の方が高いので、第２焦点検出結果は、顔の焦点位置を検出する。

このように、帯域によって、焦点検出結果に差がある場合には、ＡＦ枠内に被写体と障害物が混在しているといえる。特に、高域の焦点検出結果が、低域の焦点検出結果よりも至近側である場合には、顔などの被写体の前に、高域な被写体であるネットなどの障害物が重なっている可能性が高いといえる。この関係を利用して、ステップＳ２１０３～ステップＳ２１０５で、障害物の判定を行う。

ステップＳ２１０３において、システム制御部２０９は、ステップＳ２１０２で算出した差が、第１焦点検出結果の方が第２焦点検出結果よりも、至近側であることを示している場合には、障害物ありの可能性が高いとして、ステップＳ２１０４へ処理を進める。無限側であることを示している場合には、ステップＳ２１０８へ処理を進め、障害物ありではないと判定し、第２の障害物判定を終了する。ここでは、ネットなどの高域な障害物の焦点位置を検出しやすい第１焦点検出結果が、低域の第２焦点検出結果より、至近側にある場合には、顔などの被写体の前にネットなどの障害物が重なっている可能性が高いと判定している。

次に、ステップＳ２１０４において、システム制御部２０９は、ステップＳ２１０２で算出した差が、閾値１より大きい場合には、障害物ありの可能性が高いとして、ステップＳ２１０５へ処理を進める。閾値１以下の場合には、ステップＳ２１０８へ処理を進め、障害物ありではないと判定し、第２の障害物判定を終了する。ここでは、焦点検出結果のばらつきも考慮するために、閾値１を焦点検出結果のばらつき得る範囲として設定し、差が閾値１以上であれば、検出結果のばらつきではなく、障害物が被写体に重なっている可能性が高いと判定している。

次にステップＳ１２０５において、システム制御部２０９は、焦点検出領域内の第１焦点検出結果が代表位置の第２焦点検出結果より至近側である割合Ｘを算出する。

次にステップＳ１２０６において、システム制御部２０９は、ステップＳ１２０５で算出した割合Ｘが閾値２より大きい場合には、ステップＳ２１０７へ処理を進め、障害物ありと判定し、第２の障害物判定を終了する。割合Ｘが閾値２以下の場合には、ステップＳ２１０８へ処理を進め、障害物ありではないと判定し、第２の障害物判定を終了する。ここでは、低域の第２焦点検出結果より至近側を検出している高域の第１焦点検出結果が十分広い範囲に広がっているかどうかで判定している。ネットのような高域な障害物は、顔などの被写体よりも広い範囲に広がっている可能性が高い。そのため、焦点検出領域内の広い範囲で、高域の第１焦点検出結果が至近側を示していれば、ネットのような障害物が、顔などの被写体の前に広がっている可能性が高いと判定している。

本実施例では、被写体領域を、被写体検出手段が検出した顔領域としたが、その限りではなく、他の検出被写体に対する領域としてもよい。また、検出種別をあらかじめ、周波数の高いグループと、周波数の低いグループに分けしておき、被写体の周波数が低いグループの被写体に対してのみ、第２障害物回避処理を実施するとしてもよい。

また、本実施例では、焦点検出領域を被写体領域に対して設定したが、被写体領域を基準に、被写体領域より広い領域に設定し、被写体領域の外側の領域に対しては、第１帯域での焦点検出結果のみ算出するとしてもよい。

●通常の検出デフォーカス量算出
Ｓ６０５の通常の検出デフォーカス量算出について図１６を用いて説明する。まず、Ｓ１００１ではＳ５０９の処理で複数周波数帯域の信号について焦点検出が行われた場合、そのうち最も高帯域の信号によって焦点検出されたデフォーカス量を使用するよう設定しＳ１００２へ進む。Ｓ１００２では後述する通常の主枠選択を行い通常の検出デフォーカス量算出を終了する。

●通常の主枠選択
Ｓ７２６、Ｓ２００７、Ｓ１００２の通常の主枠選択について図１７を用いて説明する。まずＳ１１０１では被写体検出部２１１にて被写体の顔が検出されているかを判定する。顔が検出されていればＳ１１０２へ進み、検出されていなければＳ１１０７へ進む。Ｓ１１０７では被写体検出部２１１にて被写体の体が検出されているかを判定する。体が検出されていればＳ１１０８へ進み、検出されていなければＳ１１０９へ進む。

Ｓ１１０２では瞳検出されておりかつ瞳中心のＡＦ枠がデフォーカス量を算出した際のフォーカスレンズ位置から所定深度以内であるかどうかを判定する。一般的に被写体検出情報はピントの合った状態の方が、精度が良く、所定深度以上のデフォーカス量であった場合は被写体検出情報が誤検出の可能性がある為、前述したような所定条件を用いている。瞳検出かつ瞳中心枠が所定深度内の場合には、Ｓ１１０４に進んで瞳中心のＡＦ枠を主枠設定し、それ以外の場合にはＳ１１０３に進む。

Ｓ１１０３では設定したＡＦ枠の中から主枠を選択するためにあるＡＦ枠に注目して行うＳ１１０５の処理を、設定したすべてのＡＦ枠に対して行うループ処理を行う。また、主枠の初期値は主枠が選択されていないことが判断できる情報（全枠数＋１など）をすでに設定しておくものとし、図は省略する。Ｓ１１０５では選択している主枠よりも注目しているＡＦ枠のほうが至近かつ所定深度内のデフォーカス量かどうかを判定し、条件を満たせば注目しているＡＦ枠を主枠に設定する（Ｓ１１０６）。

Ｓ１１０９では前述したフローにより主枠が選択されたかどうかを初期値であるかどうかで判定する。主枠が初期値であればＳ１１１０へ進み、そうでなければ主枠選択処理を終了する。Ｓ１１１０では検出情報を用いず、画面内の所定領域で主枠選択するなどの手段が考えられるが本案件の主要技術ではない為、詳細は割愛する。

なお、被写体領域内のエリアにおいてデフォーカス量の差が所定量以上ない場合は、Ｓ１１１０に進み、画面内の所定領域で主枠選択するなどの手段で主枠選択を行うようにしてもよい。また、主枠選択においては、静止体を撮影するモードか動体を撮影するモードかに応じて異ならせるようにしてもよい。より具体的には、静止体を撮影するモードの場合に、上述のような検出エリアの情報に基づいて主枠を決定し、動体を撮影するモードの場合には、過去の焦点検出情報に基づいて主枠を決定する。

本実施形態を適用することで主被写体に対して距離が異なる物体が混在しているシーンの特定を好適にできる。また、主被写体に対して距離が異なる物体が混在している場合でも好適な焦点検出動作を実現することができる。例えば動物園などでオリ越しに野鳥などが飼育されている環境下でオリに合焦してしまうような現象を低減できる。前記環境下のヒストグラムのイメージを図１１に示す。また、例えばスポーツシーンなどをネット越しで撮影する際にネットに合焦してしまうような現象を低減できる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ レンズ装置
１０３ フォーカスレンズ
１０５ レンズコントローラ
２００ カメラ本体
２０１ 撮像素子
２０４ ＡＦ信号処理部
２０９ システム制御部
２１０ レンズ通信部
２１１ 被写体検出部

Claims (16)

1. 焦点検出用信号を出力することが可能な撮像手段から出力された前記焦点検出用信号に基づいて、デフォーカス量を検出する焦点検出手段と、
   前記撮像手段から出力された画像データに基づいて、特定の被写体の検出を行う被写体検出手段と、
   前記デフォーカス量の特徴に基づいて、前記特定の被写体に対する障害物を検出する第１の障害物検出処理と、前記特定の被写体に対する空間周波数よりも高い空間周波数の障害物を検出する第２の障害物検出処理とを実行する処理手段と、
   を有することを特徴とする制御装置。
2. 前記特定の被写体には複数の種別が含まれ、前記被写体検出手段は、被写体の種別も検出することを特徴とする請求項１に記載の制御装置。
3. 前記処理手段は、前記被写体の種別が第１の被写体の種別である場合、前記第１の障害物検出処理を省略することを特徴とする請求項２に記載の制御装置。
4. 前記処理手段は、前記被写体の種別が第２の被写体の種別である場合、前記第２の障害物検出処理を省略することを特徴とする請求項２に記載の制御装置。
5. 前記処理手段は、前記被写体の種別が第３の被写体の種別である場合、前記第１および前記第２の障害物検出処理を省略することを特徴とする請求項２に記載の制御装置。
6. 前記第１の被写体の種別は、人物であることを特徴とする請求項３に記載の制御装置。
7. 前記第２の被写体の種別は、動物であることを特徴とする請求項４に記載の制御装置。
8. 前記第３の被写体の種別は、人物、動物のいずれでもないことを特徴とする請求項５に記載の制御装置。
9. 前記特定の被写体の領域に対応させて複数のエリアに分割された焦点検出領域を設定する設定手段をさらに有し、
   前記第１の障害物検出処理は、複数の焦点検出領域に対応するデフォーカス量または被写体距離のヒストグラムに基づいて、障害物があるか否かを検出することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 異なる帯域の信号を抽出する抽出手段をさらに有し、
    前記抽出手段は、第１帯域の第１信号と、前記第１帯域より低い第２帯域の第２信号とを抽出し、
    前記焦点検出手段は、前記特定の被写体を基準に設定された焦点検出領域において、前記第１信号での第１焦点検出結果、前記第２信号での第２焦点検出結果を出力し、
    前記第２の障害物検出処理では、前記第１焦点検出結果が、前記第２焦点検出結果より至近側の場合に、障害物ありと検出することを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記第２の障害物検出処理では、前記特定の被写体を基準に設定された焦点検出領域における前記第１焦点検出結果と、前記第２焦点検出結果との差が、閾値よりも大きい場合に、障害物ありと検出することを特徴とする請求項１０に記載の制御装置。
12. 前記第２の障害物検出処理では、前記特定の被写体の領域に対応させて複数のエリアに分割され設定された焦点検出領域における前記第１焦点検出結果が、前記複数のエリアに分割され設定された焦点検出領域の代表位置における前記第２焦点検出結果より至近側である割合に基づいて、障害物を検出することを特徴とする請求項１０または１１に記載の制御装置。
13. 前記焦点検出手段による焦点検出結果に基づいて、撮影光学系の焦点調節を実行する焦点調節手段をさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
14. 請求項１乃至１３のいずれか１項に記載の制御装置と、
    撮影光学系の異なる瞳領域を通過した光束を光電変換して焦点検出用信号を出力することが可能な撮像手段とを備えたことを特徴とする撮像装置。
15. 焦点検出用信号を出力することが可能な撮像手段から出力された前記焦点検出用信号に基づいて、デフォーカス量を検出する焦点検出工程と、
    前記撮像手段から出力された画像データに基づいて、特定の被写体の検出を行う被写体検出工程と、
    前記デフォーカス量の特徴に基づいて、前記特定の被写体に対する障害物を検出する第１の障害物検出処理と、前記特定の被写体に対する空間周波数よりも高い空間周波数の障害物を検出する第２の障害物検出処理とを実行する処理工程と、
    を有することを特徴とする制御方法。
16. 制御装置が有するコンピュータを、請求項１乃至１３のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。

Images