JP5289105B2 - 画像処理装置およびその制御方法、ならびに、撮像装置 - Google Patents

Description

本発明は、画像処理装置およびその制御方法、ならびに撮像装置に関し、特には、撮像した画像に画像処理を施す画像処理装置および画像処理方法、ならびに、撮像装置に関する。

従来より、複数の測距エリアを持つカメラにおいて、撮影した画像からデフォーカス量分布を検出し、このデフォーカス量分布に基づいて画像処理を施すようにした撮像装置が知られている。このような撮像装置では、複数の測距エリアのそれぞれでデフォーカス量を検出し、検出されたデフォーカス量のヒストグラムに基づいてデフォーカス量を複数のデフォーカス量グループに類別する。そして、分類されたそれぞれのグレープのデフォーカス量に応じた画像処理を、撮影した画像に対して施している。

例えば特許文献１には、デフォーカス量のヒストグラムに基づいて、出現頻度の低いデフォーカス量を境界として複数のデフォーカス量グループに類別するようにした撮像装置が記載されている。

特開２００８−１５７５４号公報

しかしながら、従来の技術では、デフォーカス量のヒストグラムに基づいて分類されたデフォーカス量グループの中から、撮影者が意図した被写体である主被写体のみが属するデフォーカス量グループを必ずしも抽出できるとは限らないという問題点があった。

これは、デフォーカス量グループは、幅を持ったデフォーカス範囲の内か外かでデフォーカス量をグループに分類して形成するため、主被写体が属するグループ内に他の被写体も含まれる可能性が高いからである。主被写体とその他の被写体のデフォーカス量が不明な段階で、両者を分離するデフォーカス範囲を設定することは、一般に困難である。

このように、従来技術による、デフォーカス量をヒストグラムに基づいて複数のデフォーカス量グループに類別する方法では、主被写体のみに画像処理を施そうとしても、同一デフォーカス量グループに属する他の被写体にまで画像処理を施すことになる。そのため、従来では、主被写体に対して他の被写体よりも相対的に効果が高い画像処理を選択的に施すことが困難であるという問題点があった。

したがって、本発明の目的は、被写体毎のデフォーカス量を求めることが可能な画像処理装置およびその制御方法、ならびに、撮像装置を提供することにある。

上述の目的は、被写体像を光電変換して画像信号を生成し出力する撮像素子であって、撮像光学系の射出瞳の異なる領域を通った光束をそれぞれ独立に受光して得られた像信号を出力可能な撮像素子と、撮像素子から出力された像信号の位相差に基づいて被写体のデフォーカス量を検出する焦点検出手段と、撮像素子から出力された画像信号に対して被写体検知処理を行い、検知された被写体の領域に対応する撮像素子上の領域を特定する被写体検知手段とを有し、焦点検出手段は、被写体検知手段で特定された被写体の領域に対応する撮像素子上の領域から出力された像信号の位相差に基づいて、検知された被写体のデフォーカス量を検出することを特徴とする画像処理装置によって達成される。

本発明によれば、被写体毎のデフォーカス量を求めることができるため、例えば撮影者が意図した被写体の領域に対して選択的に画像処理を施すことができる。

本発明を適用可能な撮像装置の一例の構成を示すブロック図である。 撮像用画素に係る、撮像素子を含む撮像光学系について概略的に説明するための図である。 焦点検出用画素に係る、撮像素子を含む撮像光学系について概略的に説明するための図である。 撮像素子上の撮像用画素と焦点検出用画素の一例の配置を示す図である。 本発明の実施形態に適用可能な一例の撮像処理を示すフローチャートである。 本実施形態による画像処理を示す一例のフローチャートを示す。 本実施形態による画像処理を説明するための図である。 本実施形態による画像処理を説明するための図である。 画像処理制御パラメータｆの設定方法を説明するための図である。

以下、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明を適用可能な撮像装置１００の一例の構成を示す。撮像素子１０７は、ＣＣＤやＣＭＯＳセンサからなり、撮影レンズ１０１を通過した被写体光学像を結像させ、結像された被写体光学像の光量に応じて電荷に変換して得られた撮像信号を出力する。また、撮像素子１０７は、画像信号を出力する撮像用画素とは別に、後述する被写体像信号を出力する焦点検出用画素を備えている。撮像素子１０７から出力される撮像信号は、これら画像信号と被写体像信号とを含む。

半透過部を有する主ミラー１０２は、撮影時には撮影光束外へ退避し、焦点検出時に撮影光路内に斜設される。図１では、主ミラー１０２は、撮影光束中に挿入された状態（ミラーダウン）が示されている。また、主ミラー１０２は、撮影光路内に斜設された状態で、撮影レンズ１０１を通過した光束の一部をピント板１０３、ペンタプリズム１０４および接眼レンズ１０５から構成されるファインダ光学系に導く。

サブミラー１０６は、主ミラー１０２の動作に同期して主ミラー１０２に対して折り畳み、展開可能とされている。主ミラー１０２の半透過部を通過した光束の一部は、サブミラー１０６によって下方へ反射され、位相差方式の焦点検出部１０８に入射し、撮影レンズ１０１の合焦状態が検出される。

一方、コントラスト方式のＡＦ測距は、常時、主ミラー１０２を撮影光束外へ退避させる。そして、この動作に同期してサブミラー１０６を主ミラー１０２に対して折り畳んだ状態（ミラーアップ）で、撮影レンズ１０１を通過した被写体光学像を撮像素子１０７に結像させ、撮影レンズ１０１の合焦状態が検出される。

システムコントローラ１１２は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、ＣＰＵは、ＲＯＭに予め格納されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この撮像装置１００の各部の動作を適宜、制御する。

レンズ駆動部１１３は、システムコントローラ１１２に接続され、撮影レンズ１０１と通信を行う通信部と、焦点調節を行うために撮影レンズ１０１を駆動するレンズ駆動機構と、レンズ駆動機構を制御する駆動回路とを備える。ミラー駆動部１１４は、システムコントローラ１１２に接続され、主ミラー１０２を撮影光束外へ駆動する。撮像素子駆動部１１５は、システムコントローラ１１２に接続され、撮像素子１０７を駆動する。

アナログ信号処理部１０９は、撮像素子１０７から出力された撮像信号に対してゲイン調整、ノイズ除去などの信号処理を施し、画像信号として出力する。Ａ／Ｄ変換器１１０は、アナログ信号処理部１０９から出力されたアナログ信号による画像信号を、デジタル信号による画像信号（以下、画像データ）に変換する。

デジタル信号処理部１１１は、システムコントローラ１１２に接続され、Ａ／Ｄ変換器１１０から出力された画像データに対して、シェーディング補正やガンマ補正などの画像処理を施す。デジタル信号処理部１１１は、さらに、撮像素子１０７の焦点検出用画素から出力される被写体像信号に基づく画像データにより撮影レンズ１０１の合焦状態を検出する検出部を備えている。

バッファメモリ１１６は、デジタル信号処理部１１１に接続され、撮像素子１０７で撮像された複数フレーム分の画像データを記憶することができる。例えば、Ａ／Ｄ変換器１１０でＡ／Ｄ変換された画像データは、一旦このバッファメモリ１１６に記憶される。デジタル信号処理部１１１は、バッファメモリ１１６に記憶された画像データを読み込んで上述した各処理を行い、処理後の画像データは再びバッファメモリ１１６に記憶される。

記録手段としての記録再生信号処理部１１７は、デジタル信号処理部１１１に接続され、外部記憶媒体１１８に対する画像データの記録および再生を制御する。デジタル信号処理部１１１で各種処理が施された画像データは、一旦バッファメモリ１１６に記憶された後に記録再生信号処理部１１７に供給され、外部記憶媒体１１８に記憶される。記録媒体としての外部記憶媒体１１８は、例えば脱着可能な不揮発性メモリを用いることができる。

記録再生信号処理部１１７は、画像データに対して圧縮符号化を施すことができると共に、圧縮符号化された圧縮画像データの伸長処理を行うことができる。圧縮符号化方式としては、例えばＪＰＥＧ方式を適用することができる。例えば記録再生信号処理部１１７は、画像データに対して圧縮符号化を施して外部記憶媒体１１８に記憶する。また、記録再生信号処理部１１７は、外部記憶媒体１１８から読み出した圧縮画像データを伸長する。

表示部１２０は、ＬＣＤなどの表示デバイスと、当該表示デバイスを駆動する駆動回路を有し、撮像された画像や、記憶媒体１１８に記憶されている画像データを再生表示する。表示部１２０に画像を表示する場合には、バッファメモリ１１６に記憶された画像データを読み出し、Ｄ／Ａ変換器１１９により画像データであるデジタル画像信号をアナログ画像信号に変換する。そして、そのアナログ画像信号を用いて表示部１２０に画像を表示する。

撮像素子１０７で撮像された画像は、２種類の形態で表示部１２０に表示される。第１の形態は、レリーズ操作が行われないときの表示形態であり、撮像素子１０７で繰り返し撮像される画像を逐次更新表示する、スルー画と呼ばれる表示形態である。第２の形態は、カメラのレリーズ操作後に、撮像素子１０７で撮像された画像を所定時間表示するフリーズ画と呼ばれる表示形態である。

被写体検知部１２１は、デジタル信号処理部１１１に接続され、デジタル信号処理部１１１で各種処理が施された画像データに被写体が存在するか否かを検知する。被写体検知処理は、例えば色彩情報、彩度情報、コントラスト情報および輪郭情報のうち少なくとも１つを画像データから検出し、検出された情報に基づき被写体の領域を検知する。

なお、顔検知により人物の顔を検知し、検知された顔に基づき被写体検知を行ってもよい。例えば、顔検知により検知された顔の輪郭を取得し、この輪郭に対して連続的と見なせる輪郭をさらに検知し、被写体全体の輪郭とすることが考えられる。これに限らず、顔検知により検知された顔までの距離を計測し、計測された距離に対して所定範囲内で合焦した領域を被写体領域とすることも考えられる。

顔検知については、既に多くの手法が提案されて、実用化もされている。例えば、特開平８−６３５９７号公報では、人の顔の形状に相当する顔候補領域を決定し、この顔候補領域の特徴量から顔領域を決定するような手法が提案されている。また、画像から人の顔の輪郭を抽出することにより顔候補領域を検出する手法や、顔の様々な形状をした複数のテンプレートとの相関値を計算し、この相関値に基づいて顔候補領域とする手法が提案されている。

操作部１２２は、システムコントローラ１１２に接続され、撮像装置１００に対するユーザ操作を受け付ける。操作部１２２は、例えばカメラの電源をオン／オフするための電源スイッチ、レリーズボタン、人物撮影モードなどの撮影モードを選択するための設定ボタンなど、撮像装置１００を操作するための種々の操作子が設けられる。ユーザによりこれらの操作子が操作されると、その操作に応じた信号がシステムコントローラ１１２に入力される。なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第１ストローク操作（半押し操作）によりＯＮする第１のスイッチ（ＳＷ）と、レリーズボタンの第２ストローク操作（全押し操作）によりＯＮする第２のＳＷとが接続されている。

次に、図２および図３を用いて、撮像用画素と焦点検出用画素を備えた撮像素子１０７の一例の構造について説明する。

図２は、撮像用画素に係る、撮像素子１０７を含む撮像光学系について概略的に説明する。図２（ａ）に示す２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。

図２（ｂ）は、図２（ａ）におけるＡ−Ａ断面図を示す。フォトダイオードＰＤは、ＣＭＯＳイメージセンサの光電変換素子であって、それぞれ画素を構成する。コンタクトレイヤＣＬは、ＣＭＯＳイメージセンサ内において各種信号を伝達する信号線を形成する配線層である。各画素に対して、赤色のカラーフィルタＣＦ_Ｒ、緑色のカラーフィルタＣＦ_Ｇおよび青色のカラーフィルタＣＦ_Ｂが、図２（ａ）の如くベイヤ配列で配置される。各画素の最前面に対して、オンチップマイクロレンズＭＬが配置される。

被写体からの光が光学撮影レンズＴＬ(Taking Lens)を介してオンチップマイクロレンズＭＬに入射されて集光される。集光された光は、例えばカラーフィルタＣＦ_Ｒにより赤色の波長成分を抽出されてフォトダイオードＰＤに入射される。フォトダイオードＰＤは、入射された光を光電変換により電荷に変換する。

ここで、撮像用画素のオンチップマイクロレンズＭＬとフォトダイオードＰＤは、光学撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成される。換言すると、光学撮影レンズＴＬの射出瞳ＥＰ(Exit Pupil)とフォトダイオードＰＤは、オンチップマイクロレンズＭＬにより共役関係にあり、且つ、フォトダイオードＰＤの有効面積は、大面積に設計される。

なお、カラーフィルタＣＦ_Ｒ、ＣＦ_ＧおよびＣＦ_Ｂに対応する画素（以下、それぞれＲ画素、Ｇ画素およびＢ画素と呼ぶ）は、同一の構造となっている。したがって、撮像用のＲ、ＧおよびＢの各画素に対応した射出瞳ＥＰは大径となり、被写体からの光をフォトダイオードＰＤに効率よく取り込むことができ、撮像素子から出力される撮像信号のＳ／Ｎを向上させている。

このベイヤ配列の間に、瞳分割位相差方式による焦点検出を行うための焦点検出用画素を配置する。より具体的には、ベイヤ配列を構成する２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素とを焦点検出用画素に置き換える。

記録や表示のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は、輝度情報に敏感であるため、このＧ画素が欠けると画質劣化が認知されやすい。一方、Ｒ画素またはＢ画素は、主に色情報（色差情報）を取得する。ここで、人間の画像認識特性は、輝度情報に比べて色情報には鈍感である。そのため、色情報を取得するＲ画素やＢ画素は、多少の欠損が生じても画質劣化が認知され難い。

図３を用いて、焦点検出用画素に係る、撮像素子１０７を含む撮像光学系について概略的に説明する。図３（ａ）は、焦点検出用画素を含む２行×２列の画素の一例の平面図を示す。また、図３（ｂ）は、撮像光学系の、図３（ａ）におけるＡ−Ａ面による一例の断面図を示す。図３（ｂ）において、オンチップマイクロレンズＭＬおよびフォトダイオードＰＤは、上述の図２（ｂ）に示した構造と同一である。

図３（ａ）において、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢが焦点検出を行うための画素である。以下、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢをまとめて焦点検出用画素と呼ぶ。また、図３（ａ）中、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢにおける塗り潰し部分は、配線層ＣＬの開口部である。すなわち、焦点検出用画素に照射された光は、この配線層ＣＬの開口部を通って、フォトダイオードＰＤに入射される。なお、焦点検出用画素による信号は、画像生成には用いないため、画素Ｓ_ＨＡおよび画素Ｓ_ＨＢに対し、透明膜によるフィルタＣＦ_Ｗが配置される。

図３の例では、画素Ｓ_ＨＡに対応する開口部ＯＰ_ＨＡ、ならびに、画素Ｓ_ＨＢに対応する開口部ＯＰ_ＨＢは、オンチップマイクロレンズＭＬの中心線に対して一方向に偏倚して設けられる。これにより、撮像素子による瞳分割が行われる。

具体的には、画素Ｓ_ＨＡに対応する開口部ＯＰ_ＨＡは、図３上で右側に偏倚しているため、光学撮影レンズＴＬの左側の射出瞳ＥＰ_ＨＡを通過した光束を受光する。同様に、画素Ｓ_ＨＢに対応する開口部ＯＰ_ＨＢは、図３上で左側に偏倚しているため、光学撮影レンズＴＬの右側の射出瞳ＥＰ_ＨＢを通過した光束を受光する。

画素Ｓ_ＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Ａとする。また、画素Ｓ_ＨＢも同様にして水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Ｂとする。像Ａと像Ｂとの相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

図４は、撮像素子１０７上の撮像用画素と焦点検出用画素の一例の配置を示す。例えば、１０行×１０列＝１００画素の正方形領域を１つのブロックＢＬＫと定義する。画像信号による画面内をこのブロックＢＬＫ単位に分割する。このブロックＢＬＫを焦点検出領域として、焦点検出領域毎に焦点検出用画素を設ける。

左上のブロックＢＬＫｈ（１，１）において、左下隅のＲ画素およびＢ画素を、水平方向に瞳分割を行なう１組の焦点検出用画素Ｓ_ＨＡおよびＳ_ＨＢでそれぞれ置き換える。ブロックＢＬＫｈ（１，１）の右隣りのブロックＢＬＫｖ（１，２）では、左下隅のＲ画素およびＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素Ｓ_ＶＣおよびＳ_ＶＤでそれぞれ置き換える。なお、焦点検出用画素Ｓ_ＶＣおよびＳ_ＶＤは、焦点検出用画素Ｓ_ＨＡおよびＳ_ＨＢとそれぞれ同様の構造を有する。ブロックＢＬＫｈ（１，１）の下に隣接したブロックＢＬＫｖ（２，１）の画素配列は、ブロックＢＬＫｖ（１，２）と同一とする。また、ブロックＢＬＫｖ（２，１）の右隣りのブロックＢＬＫｈ（２，２）の画素配列は、ブロックＢＬＫｈ（１，１）と同一とする。

この配置規則を一般化すると、ブロックＢＬＫ（ｉ，ｊ）において、（ｉ＋ｊ）が偶数であれば水平瞳分割用の焦点検出用画素Ｓ_ＨＡおよびＳ_ＨＢを配置しする。一方、（ｉ＋ｊ）が奇数であれば垂直瞳分割用の焦点検出用画素Ｓ_ＶＣおよびＳ_ＶＤを配置する。このように、焦点検出用画素が撮像信号による画面全体にわたり配置される。

なお、ブロックＢＬＫｈ（ｉ，ｊ）は、水平瞳分割用の焦点検出用画素Ｓ_ＨＡおよびＳ_ＨＢが配置されるブロックＢＬＫを示す。また、ブロックＢＬＫｖ（ｉ，ｊ）は、垂直瞳分割用の焦点検出用画素Ｓ_ＶＣおよびＳ_ＶＤが配置されるブロックＢＬＫを示すものとする。

ここで、上記の撮像素子１０７の焦点検出用画素から取得した被写体像であるＡ像とＢ像から焦点ずれ量を検出する信号処理方法について説明する。焦点検出用画素を構成する画素数を画素数Ｌとし、画素番号ｉ(ｉ＝０，…，Ｌ)としたときのＡ像の信号を信号Ａ(ｉ)、Ｂ像の信号を信号Ｂ(ｉ)とする。このとき、下記の式（１）または式（２）を、ｋ_１≦ｋ≦ｋ_２について演算する。

なお、値Ｍは(Ｍ＝Ｌ−|ｋ|)で表される演算画素数であり、値ｋは、相対変移量と呼ばれ、値ｋ_１および値ｋ_２は、一般的には、−Ｌ/２、Ｌ/２にとらえることが多い。また、ｍａｘ{ａ，ｂ}なる演算子は、値ａおよび値ｂから大なるものを抽出することを表し、ｍｉｎ{ａ，ｂ}なる演算子、値ａおよび値ｂから小なるものを抽出することを表す。したがって、上述の式（１）および式（２）におけるＸ_１(ｋ)、Ｘ_２(ｋ)、Ｙ_１(ｋ)およびＹ_２(ｋ)は広義の相関量と考えることができる。

さらに、上述の式（１）および式（２）を詳細に見ると、値Ｘ_１(ｋ)および値Ｙ_１(ｋ)は、実際には、値(ｋ−１)の変位における相関量を、値Ｘ_２(ｋ)および値Ｙ_２(ｋ)は、値(ｋ＋１)の変位における相関量をそれぞれ表している。故に、相関量Ｘ_１(ｋ)およびＸ_２(ｋ)の差である評価量Ｘ(ｋ)は、相対変位量ｋにおける被写体像信号Ａ(ｉ)およびＢ(ｉ)の相関量の変化量を意味する。

相関量Ｘ_１(ｋ)およびＸ_２(ｋ)は、上述の定義より、Ａ像およびＢ像の相関が最も高いときに最小となる。よって、その変化量である評価量Ｘ(ｋ)は、相関が最も高いときに値が０で、かつ傾きは負となるはずである。ところが、評価量Ｘ(ｋ)は、離散データであるから、実際には下記の式（３）のようになる。
Ｘ(ｋｐ)≧０，Ｘ(ｋｐ＋１)＜０ …（３）

さらに、値｛Ｘ(ｋｐ)−Ｘ(ｋｐ＋１)｝が最大になる相対変位の区間〔ｋｐ，ｋｐ＋１〕に相関量のピークが存在すると考えて、下記の式（４）による補間演算を行い、画素単位以下の焦点ズレ量ＰＲを検出することができる。
ＰＲ＝ｋｐ＋Ｘ(ｋｐ)/｛Ｘ(ｋｐ)−Ｘ(ｋｐ＋１)｝ …（４）

一方、相関量Ｙ_１(ｋ)およびＹ２(ｋ)は、上述の定義より、Ａ像およびＢ像の相関が最も高いときに、相関量Ｘ_１(ｋ)およびＸ_２(ｋ)とは逆に最大となる。よって、その変化量である評価量Ｙ(ｋ)は、Ａ像およびＢ像の相関が最も高いときに値が０で、かつ傾きは正となるはずである。評価量Ｙ(ｋ)も上述の評価量Ｘ(ｋ)と同様に離散データであるから、実際には、下記の式（５）のようになる。
Ｙ(ｋｐ)≦０，Ｙ(ｋｐ＋１)＞０ …（５）

さらに、値｛Ｙ(ｋｐ)−Ｙ(ｋｐ＋１)｝が最大のときに、下記の式（６）による補間演算を行い、画素単位以下の焦点ずれ量ＰＲを検出することできる。
ＰＲ＝ｋｐ＋|Ｙ(ｋｐ)/｛Ｙ(ｋｐ)−Ｙ(ｋｐ＋１)｝| …（６）

上述の式(４)、あるいは、式（６）で求めた焦点ずれ量ＰＲより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを、下記の式（７）で求めることができる。なお、値は、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。
ＤＥＦ＝Ｋ×ＰＲ …（７）

＜実施形態＞
次に、本発明の実施形態について、図５のフローチャートを用いて説明する。図５は、本発明の実施形態に適用可能な一例の撮像処理を示すフローチャートである。本実施形態による撮像処理は、撮像画像から被写体の領域を検知し、被写体の領域毎にデフォーカス量ＤＥＦを検出する。こうしてデフォーカス量検知を行いことで、被写体に注目したデフォーカス量ＤＥＦの分布を得る。この得られたデフォーカス量分布に基づき、撮影者が意図した被写体の領域（被写体領域）のみに画像処理を施す。なお、以下では、画像処理として、画像の輪郭などを暈かすボケ付加処理を例に挙げて説明する。

最初のステップＳ１０１では、システムコントローラ１１２は、操作部１２２に設けられたレリーズスイッチにおける第１のＳＷが操作されるのを待機する。第１のＳＷが操作されたら、処理はステップＳ１０２に移行される。

ステップＳ１０２では、被写体に対して焦点を合わせるよう撮影レンズ１０１の駆動制御を行うＡＦ処理を実行する。ＡＦの測距方式については、焦点検出部１０８を用いる位相差方式であってもよい。また、撮影レンズ１０１によって結像される被写体像を撮像素子１０７で撮像し、フォーカスエリア内の撮像信号を用いて合焦位置を決定するコントラスト方式であってもよい。さらに、撮像素子１０７に配置された焦点検出用画素を用いる位相差方式であってもよい。

ステップＳ１０２のＡＦ処理により被写体に焦点が合わせられると、処理がステップＳ１０３に移行される。ステップＳ１０３では、システムコントローラ１１２は、操作部１２２に設けられたレリーズスイッチにおける第２のＳＷが操作されるのを待機する。第２のＳＷが操作されたら、処理はステップＳ１０４に移行される。

ステップＳ１０４では、システムコントローラ１１２は、ミラー駆動部１１４を制御して主ミラー１０２を撮影光束外へ駆動させ、撮像素子駆動部１１５を制御して撮像素子１０７を駆動させる。被写体光学像が撮像レンズを通過して撮像素子１０７に結像され、撮像素子１０７から撮像信号が出力される。この撮像信号は、撮像用画素による画像信号と、焦点検出用画素による被写体像信号とを含む。撮像素子１０７から出力された撮像信号がアナログ信号処理部１０９およびＡ／Ｄ変換器１１０を介して画像データとされ、デジタル信号処理部１１１に供給される。デジタル信号処理部１１１は、この画像データから、撮像素子１０７の撮像用画素による画像データと、焦点検出用画素による画像データとをそれぞれ取得し、一旦バッファメモリ１１６に記憶させる。

次のステップＳ１０５では、デジタル信号処理部１１１により、ステップＳ１０４で取得した撮像用画素による画像データと、焦点検出用画素による画像データとに基づき、撮像用画素による画像データに対して画像処理が施される。詳細は後述するが、本実施形態では、この画像処理は、ボケ付加処理であるものとする。

ステップＳ１０５の処理が終了すると、処理はステップＳ１０６に移行される。ステップＳ１０６では、ステップＳ１０５で画像処理を施した画像データを、例えば外部記憶媒体１１８に記憶させる。

次に、図６〜図８を用いて、上述のステップＳ１０５による画像処理について説明する。図６は、本実施形態による画像処理を示す一例のフローチャートを示す。また、図７は、撮像により得られた画像の例を示し、図８は、図７の画像における測距エリアの一例を示す。なお、図７および図８において、桝目は、図４を用いて説明した、１対の焦点検出用画素が配置されるブロックＢＬＫ（ｉ，ｊ）を示す。

先ず、ステップＳ２０１で、デジタル信号処理部１１１は、バッファメモリ１１６に記憶した画像データから、撮像用画素の位置の画像データを読み出すと共に、焦点検出用画素の位置の画像データを読み出す。なお、以下では、撮像用画素の位置の画像データを撮像画像データと呼び、焦点検出用画素の位置の画像データを被写体像画像データと呼ぶ。これら撮像画像データおよび被写体像画像データは、被写体検知部１２１に供給される。

次のステップＳ２０２で、被写体検知手段としての被写体検知部１２１により、例えば撮像画像データから検出される色彩情報、彩度情報、コントラスト情報および輪郭情報などに基づき被写体の領域が検知される。図７の例では、被写体検知部１２１は、撮像画像データから被写体ａ〜ｄを検知し、検知された被写体の撮像画像データにおける領域を特定する。ここで、被写体ａ、ｃおよびｄが人物であり、被写体ｂがボールであるものとする。また、被写体ａが、主たる被写体とされる主被写体であるものとする。

次のステップＳ２０３で、デジタル信号処理部１１１によりステップＳ２０２で被写体を検知できたかどうかが判断される。若し、被写体を検知できなかったと判断されたら、図６のフローチャートによる一連の処理が終了され、処理が図５のフローチャートのステップＳ１０６に移行される。

一方、ステップＳ２０３において被写体を検知できたと判断されたら、処理はステップＳ２０４に移行される。ステップＳ２０４では、デフォーカス量検出手段としてのデジタル信号処理部１１１により、ステップＳ２０２で検知した被写体の領域のそれぞれについて、当該領域に対応する撮像素子１０７のブロックＢＬＫ毎に、デフォーカス量が検出される。そして、代表値算出手段としてのデジタル信号処理部１１１により、当該被写体の領域のデフォーカス量を代表する代表値である代表デフォーカス量が算出される。

図７および図８の例では、図７に例示される、例えば被写体ａの領域を含むブロックＢＬＫは、図８に例示される測距エリアＡを形成する。同様に、図７の被写体ｂ〜ｄの領域を含むブロックＢＬＫは、それぞれ図８に例示される測距エリアＣ〜Ｄを形成する。

なお、検知した１の被写体の領域内で異なる複数のデフォーカス量が検出された場合に、当該１の被写体の領域に対して１のデフォーカス量（代表デフォーカス量）を対応付ける。例えば、１の被写体の領域から検出された複数のデフォーカス量の平均値を代表デフォーカス量として、当該１の被写体の領域に対応付ける。

これに限らず、１の被写体の領域に含まれる複数のブロックＢＬＫによる複数のデフォーカス量のうち、最も手前側で検出されたデフォーカス量を、代表デフォーカス量として選択することもできる。また、１の被写体の領域に含まれる複数のブロックＢＬＫによるデフォーカス量のうち、像画像のＳ／Ｎが最も高いデフォーカス量を、代表デフォーカス量として用いてもよい。

図７に示す撮影した画像例において、被写体の領域ａ〜ｄに対応する図８に示す測距エリアＡ〜Ｄで、それぞれ代表デフォーカス量を検出する。これにより、撮像された画像データによる画面内におけるデフォーカス量の分布を、被写体単位で検出することができる。

ステップＳ２０４で測距エリアそれぞれの代表デフォーカス量が検出されると、処理はステップＳ２０５に移行される。ステップＳ２０５では、画像処理手段としてのデジタル信号処理部１１１により、被写体検知部１２１で検知した被写体の領域毎に、当該領域に対応する代表デフォーカス量と、所定に設定される画像処理制御パラメータに基づき画像処理が施される。すなわち、デジタル信号処理部１１１では、被写体領域に対して代表デフォーカス量に応じた強度で、被写体毎に共通した画像処理が適用される。また、この画像処理の際に、画像処理制御パラメータが処理強度に加味される。画像処理が完了すると、図６のフローチャートによる一連の処理が終了され、処理が図５のフローチャートのステップＳ１０６に移行される。

上述したステップＳ２０５における画像処理について、より詳細に説明する。本実施形態では、画像処理の例として、画像に対してボケを付加するボケ付加処理を説明する。また、以下の説明において、被写体検知部１２１で検知された被写体の領域を部分画像Ｐｎとして表す。ただし、添字ｎは、被写体の領域を表す変数であり、図７の例では、被写体ａ〜ｄに対して、部分画像Ｐｎが部分画像Ｐａ、Ｐｂ、ＰｃおよびＰｄとなる。

部分画像Ｐｎ（ｘ，ｙ）のそれぞれに対して、下記の式（８）に示されるように、正規分布関数Ｎ（ｉ，ｊ）を畳み込み演算（フィルタリング演算）し、処理済み部分画像Ｏｎ（ｘ，ｙ）をそれぞれ生成する。すなわち被写体領域毎にこの畳み込み演算が行われる。なお、式（８）において、演算子「＊」は、２次元の畳み込み演算を表す。
Ｏｎ（ｘ，ｙ）＝Ｐｎ（ｘ，ｙ）＊Ｎ（ｉ，ｊ） …（８）

正規分布関数Ｎ（ｉ，ｊ）は、次式（９）で表される。
Ｎ（ｉ，ｊ）＝１/sqrt(２πσ²)×exp(−(ｉ²＋ｊ²)/(２σ²)) …（９）
ただし、式（９）において、変数σは、標準偏差を表し、σ＝０のとき、正規分布関数Ｎ（ｉ，ｊ）の値が１をとるものとする。

いま、標準偏差σを、次式（１０）のように定義する。
σ＝|ｄｎ|/ｆ …（１０）
ただし、式（１０）において、値ｆは、画像処理制御パラメータであり、値ｄｎは、各部分画像Ｐｎの代表デフォーカス量である。

ここで、画像処理制御パラメータｆの設定方法を図９を用いて説明する。図９は、図７に示す撮影画像例における各被写体ａ〜ｄによる各部分画像Ｐａ、Ｐｂ、ＰｃおよびＰｄのデフォーカス量ｄｎの例を示す。また、図９に対して、画像処理制御パラメータｆを概念的に示す。なお、図９では、図７に示す撮影した画像例における部分画像Ｐａ、Ｐｂ、ＰｃおよびＰｄ（被写体ａ〜ｄ）に対応したデフォーカス量を、それぞれデフォーカス量ｄａ、ｄｂ、ｄｃおよびｄｄで表している。また、装着された撮影レンズ１０１の絞り開放時の被写界深度の例を、被写界深度３０１で示す。

図９によれば、部分画像Ｐａが合焦状態にあり、デフォーカス量ｄａは０である。部分画像Ｐｂは、至近側にデフォーカス量ｄｂでデフォーカスしている。また、部分画像ＰｃおよびＰｄは、それぞれ無限遠側にデフォーカス量ｄｃおよびｄｄでデフォーカスしている。さらに、部分画像Ｐａ、ＰｂおよびＰｃが被写界深度３０１内にあることが示されている。

画像処理制御パラメータｆは、例えば装着されたレンズのＦ値を用いてＦδという値が用いられる。ただし、δは許容錯乱円である。これに限らず、画像処理制御パラメータｆは、操作部１２２の操作により手動で設定してもよい。このように設定した画像処理パラメータｆにより、合焦した測距点のデフォーカス量を中心として±ｆ／２の範囲内は主被写体、この範囲外は他の被写体と分類する。

上述した式（１０）により、標準偏差σの値は、デフォーカス量ｄｎと画像処理制御パラメータｆに応じて変化する。そのため、それぞれの部分画像Ｐｎに加えられる画像処理の量も、デフォーカス量ｄｎおよび画像処理制御パラメータｆに伴い変化する。デフォーカス量ｄｎが０のときは標準偏差σ＝０となり、正規分布関数Ｎ（ｉ，ｊ）の値が１となる。したがって、式（８）の畳み込み演算において部分画像Ｐｎ（ｘ，ｙ）＝処理済み部分画像Ｏｎ（ｘ，ｙ）となり、部分画像Ｐｎ（ｘ，ｙ）は変化しない。

一方、デフォーカス量ｄｎの絶対値が大きくなるほど、画像処理の強度が大きくなり、画像処理後の、デフォーカス量が０以外の部分画像Ｐｎのボケ強度が大きくなる。また、デフォーカス量ｄｎの絶対値が０でない場合、画像処理制御パラメータｆの値が小さくなるほど、正規分布関数Ｎ（ｉ，ｊ）に従い画像処理の強度が大きくなり、画像処理後の部分画像Ｐｎのボケ強度は大きくなる。

換言すれば、画像処理制御パラメータｆは、デジタル信号処理部１１１における画像処理による被写界深度を表すパラメータであるといえる。画像処理制御パラメータｆは、合焦状態にある主被写体ａ以外の被写体にボケ付加処理を施そうとしたとき、主被写体ａのみが、画像処理制御パラメータｆに示される被写界深度内に入るように設定される。したがって、装着された撮影レンズ１０１の開放時の被写界深度３０１内に入っている主被写体ａ以外の被写体である被写体ｂおよびｃに対してボケ付加処理を施すことができ、主被写体ａを他の被写体ｂ〜ｄに比べて相対的に際立たせることができる。

画像処理制御パラメータｆの設定によっては、装着した撮影レンズの口径より大口径の撮影レンズで撮影したボケ効果を、後処理により得ることができる。また、高輝度な被写体を撮影するときに、シャッター速度の高速側の限界を超えるために絞り開口を絞って露光量を調節する場合でも、絞り開口を大きくして撮影した場合のボケ効果を後処理により得ることができる。

また、部分画像Ｐｎに対して畳み込み演算する関数は、式（９）に示した正規分布関数に限定されず、他の分布関数によっても付加するボケ量の制御を行うことができる。また、部分画像Ｐｎに施す画像処理は、ボケ付加処理に限定されない。例えば、デフォーカス量ｄｎに応じたシャープネス処理を部分画像Ｐｎに施してもよい。また例えば、コントラストや明度、彩度を、デフォーカス量ｄｎに応じて部分画像Ｐｎ毎に変化させることも考えられる。

以上説明したように、本発明によれば、予め撮影した画像データから複数の被写体の領域を検知し、それぞれの被写体の領域毎にデフォーカス量を検出することで被写体に注目したデフォーカス量分布を得る。これにより、撮影者が意図した被写体の領域のみに画像処理を施すことができる。

Claims (9)

1. 被写体像を光電変換して画像信号を生成し出力する撮像素子であって、撮像光学系の射出瞳の異なる領域を通った光束をそれぞれ独立に受光して得られた像信号を出力可能な撮像素子と、
   前記撮像素子から出力された前記像信号の位相差に基づいて被写体のデフォーカス量を検出する焦点検出手段と、
   前記撮像素子から出力された前記画像信号に対して被写体検知処理を行い、検知された被写体の領域に対応する前記撮像素子上の領域を特定する被写体検知手段とを有し、
   前記焦点検出手段は、前記被写体検知手段で特定された前記被写体の領域に対応する前記撮像素子上の領域から出力された前記像信号の位相差に基づいて、前記検知された被写体のデフォーカス量を検出することを特徴とする画像処理装置。
2. 前記画像信号に対して所定の画像処理を適用する画像処理手段をさらに有し、
   前記画像処理手段は、前記被写体検知手段で特定された前記被写体の領域毎に、前記焦点検出手段で検出された前記デフォーカス量に応じて前記所定の画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、
   前記画像信号に対してボケを付加するボケ付加処理を前記所定の画像処理として適用し、前記デフォーカス量が小さい前記被写体の領域ほど付加するボケ強度が小さくなるように、前記被写体の領域の画像信号にボケ付加処理を適用する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記焦点検出手段は、
   前記被写体検知手段で特定された前記被写体の領域に対応する前記撮像素子上の領域から出力された前記像信号の位相差に基づいて検出された前記デフォーカス量の平均値、当該デフォーカス量のうち合焦位置が最も手前で検知されたデフォーカス量、又は、当該デフォーカス量のうち最も像信号のＳ／Ｎの高い前記デフォーカス量のうちの何れかを、前記被写体の領域に対応する前記デフォーカス量として検出する
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
5. 前記被写体検知手段は、
   前記画像信号から色彩情報、彩度情報、コントラスト情報および輪郭情報のうち少なくとも１つを検出し、検出された情報に基づき前記被写体を検知する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
6. 前記被写体検知手段は、
   前記画像信号から顔を検知し、検知された顔に基づき前記被写体を検知する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
7. 前記撮像素子は、前記画像信号を出力するための撮像用画素と、前記像信号を出力するための焦点検出用画素とを有する
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 被写体像を光電変換して画像信号を生成し出力する撮像素子であって、撮像光学系の射出瞳の異なる領域を通った光束をそれぞれ独立に受光して得られた像信号を出力可能な撮像素子、を備えた画像処理装置の制御方法であって、
   焦点検出手段が、前記撮像素子から出力された前記像信号の位相差に基づいて被写体のデフォーカス量を検出する焦点検出ステップと、
   被写体検知手段が、前記撮像装置から出力された前記画像信号に対して被写体検知処理を行い、検知された被写体の領域に対応する前記撮像素子上の領域を特定する被写体検知ステップとを有し、
   前記焦点検出ステップにおいて前記焦点検出手段は、前記被写体検知ステップで特定された前記被写体の領域に対応する前記撮像素子上の領域から出力された前記像信号の位相差に基づいて、前記検知された被写体のデフォーカス量を検出する
   ことを特徴とする画像処理装置の制御方法。
9. 撮像光学系と、
   被写体像を光電変換して画像信号を生成し出力する撮像素子であって、撮像光学系の射出瞳の異なる領域を通った光束をそれぞれ独立に受光して得られた像信号を出力可能な撮像素子と、
   前記撮像素子から出力された前記像信号の位相差に基づいて被写体のデフォーカス量を検出する焦点検出手段と、
   前記撮像素子から出力された前記画像信号に対して被写体検知処理を行い、検知された被写体の領域に対応する前記撮像素子上の領域を特定する被写体検知手段とを有し、
   前記焦点検出手段は、前記被写体検知手段で特定された前記被写体の領域に対応する前記撮像素子上の領域から出力された前記像信号の位相差に基づいて、前記検知された被写体のデフォーカス量を検出することを特徴とする撮像装置。

Images