JP2010081002A - 撮像装置 - Google Patents

Abstract

【課題】撮影後に、撮影画像から所望の被写界深度を有する補正画像を生成する。
【解決手段】軸上色収差を有する光学系１０を介して被写体を撮影することにより原画像のＧ、Ｒ及びＢ信号（Ｇ０、Ｒ０及びＢ０）を生成する。原画像のＧ、Ｒ及びＢ信号の高域周波数成分の大きさから、原画像の各位置における被写体距離を推定する。一方において、原画像のＧ、Ｒ及びＢ信号の高域周波数成分の大きさの内、最大の大きさに対応する色信号の高域周波数成分を他の２つの色信号に付加することにより、広い被写体距離範囲に対して高い解像度を有する、中間生成画像のＧ、Ｒ及びＢ信号（Ｇ１、Ｒ１及びＢ１）を生成する。その後、推定被写体距離に基づき、主要被写体の被写体距離以外の被写体距離に対する、中間生成画像のＧ、Ｒ及びＢ信号の解像度を低下させることにより、被写界深度の浅い補正画像のＧ、Ｒ及びＢ信号（Ｇ２、Ｒ２及びＢ２）を生成する。
【選択図】図６

Description

本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関し、特に、被写界深度を制御する技術に関する。

単体のレンズには、軸上色収差が存在する。撮像装置に用いられる光学系には、通常、軸上色収差を補正するためのレンズ群が設けられ、全体として、軸上色収差が無視できる程度に小さくなっている。図２３に、従来の一般的なレンズ９１０Ｌと撮像素子９１１と撮像素子９１１に対する入射光の関係を示す。レンズ９１０Ｌは、光学系に含まれるレンズ群を１つのレンズとみなしたものである。

点光源９００からレンズ９１０Ｌに向かう光９０１は、レンズ９１０Ｌによって青色光、緑色光及び赤色光に分離されるものの、軸上色収差の補正機能によって、青色光、緑色光及び赤色光は同じ結像点に結像する。この結像点に撮像素子９１１を配置することによって、ピントの合った点光源９００の像が撮像素子９１１の撮像面に形成される。

図２４に、レンズ９１０Ｌと撮像素子９１１との距離を固定した場合における、被写体距離と撮像素子９１１から得られる画像信号の解像度との関係を示す。ここにおける解像度とは、画像の画素数を表すものではなく、画像上で表現可能な最大の空間周波数を指す。換言すれば、解像度とは、画像上にどの程度まで細かなものを再現できるかを表す尺度であり、解像力とも呼ばれる。

図２４において、曲線９２０Ｂ、９２０Ｇ及び９２０Ｒは、夫々、撮影画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性を表している。Ｂ、Ｇ及びＲ信号の解像度の夫々は、被写体距離が或る特定距離にある時に最大となり、被写体距離がその特定距離から減少又は増大するにつれて減少する。つまり、被写体距離が上記特定距離と合致する被写体（例えば人物）にピントが合い、且つ、被写体距離が上記特定距離からかけ離れた被写体（例えば背景）がぼけている画像が撮影画像として得られる。

尚、図２４は、撮像素子９１０として、ベイヤ配列を採用した単板のイメージセンサを用いることを想定している。ベイヤ配列のイメージセンサでは、光の緑成分を受光する受光画素の密度が、光の青又は赤成分を受光する受光画素の密度よりも多い。故に、Ｇ信号の解像度が、Ｂ及びＲ信号のそれらよりも高くなっている。

図２４の９２０Ｙは、撮影画像のＢ、Ｇ及びＲ信号から生成されるＹ信号（輝度信号）の解像度の被写体距離依存性を表している。各被写体距離において、Ｙ信号の解像度は、Ｇ信号の解像度と同程度であるか或いはＧ信号の解像度を上回る。

Ｙ信号（又はＢ、Ｇ及びＲ信号の全て）の有する解像度が或る一定の基準解像度ＲＳ_O以上になる被写体距離の範囲を合焦範囲又は被写界深度と呼ぶ。

第１被写体（例えば主要被写体としての人物）と第２被写体（例えば背景）が撮像装置の被写体に含まれており、第１及び第２被写体の被写体距離が互いに異なる第１及び第２被写体距離であることを想定する。第１被写体にピントを合わせた場合、被写界深度の浅い画像では、第１及び第２被写体距離間の距離差が若干異なるだけで第２被写体はぼかされる。一方、被写界深度が深い場合は、その距離差が随分異なっていても、第１及び第２被写体の双方にピントが合ったような画像が得られる。

大型の一眼レフカメラを用いれば被写界深度の浅い画像を容易に取得することができる。大型の一眼レフカメラでは、大型のレンズを採用できるためレンズの開口部を大きくとることができ、結果、被写界深度の深さを比較的大きく設定することができるからである。これに対して、小型デジタルカメラにおいて、一眼レフカメラ並みの被写界深度の浅い画像を撮影することは困難である。小型デジタルカメラに用いられるレンズ及び撮像素子は小型であるため、必然的に、大型の一眼レフカメラと比べて、レンズの開口部が小さくなって被写界深度が深くなるからである。

被写界深度が深い画像が被写界深度の浅い画像に必ずしも劣るわけではないが、被写体距離に応じて自然なぼけが再現された芸術性の高い画像を取得するために、時として、浅い被写界深度が求められる。また、撮影後に、画像の被写界深度を任意の調整することができれば利便性は高い。

尚、下記特許文献１には、レンズの軸上色収差を利用して、フォーカス制御の高速化を図った技術が開示されている。また、軸上色収差に由来して生じた画像のぼけを、点広がり関数の逆関数を用いて修正する技術も開示されている。しかしながら、この技術は、被写界深度の調整に寄与するものではない。

特開平６−１３８３６２号公報

そこで本発明は、所望の被写界深度を有する画像の取得に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、軸上色収差を有する光学系を介して被写体を撮影する撮像素子と、撮影画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、色信号ごとの高域周波数成分の大きさに基づいて、前記撮影画像中の各部分画像領域における被写体距離を推定する被写体距離推定手段と、前記撮影画像から補正画像を生成する画像処理手段と、前記補正画像に対する被写界深度の深さを指定するとともに、その被写界深度内に位置すべき特定被写体距離を指定することにより、前記補正画像に対する被写界深度を設定する設定手段と、を備え、前記画像処理手段は、前記被写体距離推定手段による推定被写体距離と前記設定手段による設定被写界深度に応じた画像処理を前記撮影画像に施すことによって、前記設定被写界深度に従った前記補正画像を生成することを特徴とする。

軸上色収差を積極的に利用し、撮影画像の各部分画像領域における推定被写体距離に基づいて、設定被写界深度に従った補正画像を撮影後に生成する。これにより、撮影後に、所望の被写界深度を有する補正画像を生成することができる。また、撮影後のフォーカス制御が可能となるため、ピント合わせミスによる撮影の失敗をなくすことができる。

具体的には例えば、前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づいて、前記撮影画像及び前記補正画像の夫々の全体画像領域は、対応する推定被写体距離が前記設定被写界深度内に収まる第１部分画像領域と対応する推定被写体距離が前記設定被写界深度外に位置する第２部分画像領域に分類され、前記画像処理手段は、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記撮影画像から前記補正画像を生成する。

より具体的には例えば、前記複数色の色信号は、互いに異なる第１、第２及び第３の色信号から成り、前記画像処理手段は、第１〜第３の色信号の高域周波数成分の大きさの内、最大の大きさに対応する色信号の高域周波数成分を他の２つの色信号に付加することにより、第１〜第３の高域付加後色信号を生成する第１補正手段と、前記第１〜第３の高域付加後色信号に対して所定のフィルタリングを施すことにより、前記第１〜第３の高域付加後色信号から前記補正画像を表す第１〜第３の補正色信号を生成する第２補正手段と、を備え、前記第２補正手段は、前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づき、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように前記フィルタリングを実行する。

そして例えば、前記第２補正手段による前記フィルタリングは、カットオフ周波数を可変設定可能なローパスフィルタによるフィルタリングであり、前記カットオフ周波数の可変設定により、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされる。

或いは例えば、前記撮影画像中の各部分画像領域における推定被写体距離から、前記撮影画像中の各部分画像領域における色信号ごとの、前記軸上色収差に由来する点広がり関数が定まり、前記画像処理手段は、前記点広がり関数、前記設定被写界深度、及び、前記撮影画像中の各部分画像領域における推定被写体距離に基づき、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記撮影画像から前記補正画像を生成する。

そして例えば、前記画像処理手段は、前記点広がり関数から推定される、前記軸上色収差に由来する前記撮影画像中の各部分画像領域におけるボケ量を、前記補正画像中の各部分画像領域における設定ボケ量へと修正するためのフィルタリングを前記撮影画像の各色信号に対して実行することにより、前記設定ボケ量に応じてぼかされた前記補正画像を生成し、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づいて前記設定ボケ量は定められる。

また例えば、前記撮像装置は、前記撮影画像を表示する表示手段を更に備え、前記撮影画像の撮影後、前記撮影画像又は前記撮影画像に基づく画像が前記表示手段の表示画面上に表示され、前記設定手段は、その表示が行われている状態において、前記表示画面上の特定被写体を指定する操作を受け付けて前記特定被写体に対応する推定被写体距離から前記特定被写体距離を指定する一方、所定操作を受け付けることによって前記補正画像に対する被写界深度の深さを指定する。

本発明によれば、所望の被写界深度を有する画像の取得に寄与する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。

図１、図２（ａ）〜（ｃ）及び図３を参照して、本発明の実施形態に係る撮像装置にて利用されるレンズ１０Ｌの特性を説明する。レンズ１０Ｌは、比較的大きな所定の軸上色収差を有している。従って、図１に示す如く、点光源３００からレンズ１０Ｌに向かう光３０１は、レンズ１０Ｌによって青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒに分離され、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、互いに異なる結像点３０２Ｂ、３０２Ｇ及び３０２Ｒ上に結像する。青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、夫々、光３０１の青、緑及び赤成分である。

図２（ａ）等において、符号１１は、撮像装置にて利用される撮像素子を表している。撮像素子１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子である。撮像素子１１は、いわゆる単板方式のイメージセンサであり、撮像素子１１としての１枚のイメージセンサにおける各受光画素の前面には、光の赤成分のみを透過させる赤フィルタ、光の緑成分のみを透過させる緑フィルタ、及び、光の青成分のみを透過させる青フィルタの何れかが配置されている。赤フィルタ、緑フィルタ及び青フィルタの配列は、ベイヤ配列である。

レンズ１０Ｌの中心から結像点３０２Ｂ、３０２Ｇ及び３０２Ｒまでの距離を、図３に示す如く、それぞれＸＢ、ＸＧ及びＸＲにて表す。そうすると、レンズ１０Ｌが有する軸上色収差により、不等式「ＸＢ＜ＸＧ＜ＸＲ」が成立する。また、レンズ１０Ｌの中心から撮像素子１１までの距離をＸ_ISにて表す。図３では、「ＸＢ＜ＸＧ＜ＸＲ＜Ｘ_IS」が成立しているが、光源３００とレンズ１０Ｌの中心までの距離３１０（図１参照）が変化することによって、距離ＸＢ、ＸＧ及びＸＲと距離Ｘ_ISとの大小関係は変化する。

図２（ａ）〜（ｃ）は、被写体距離とも言うべき距離３１０が変化することによって結像点３０２Ｂ、３０２Ｇ及び３０２Ｒの位置が変化する様子を示した図である。図２（ａ）は、距離３１０が比較的小さな距離であって「ＸＢ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図２（ｂ）は、距離３１０が図２（ａ）の状態から増大することによって「ＸＧ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図２（ｃ）は、距離３１０が図２（ｂ）の状態から更に増大することによって「ＸＲ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。

距離Ｘ_ISが距離ＸＢ、ＸＧ、ＸＢと一致する時におけるレンズ１０Ｌの位置は、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対するレンズ１０Ｌの合焦位置である。従って、「ＸＢ＝Ｘ_IS」、「ＸＧ＝Ｘ_IS」、「ＸＲ＝Ｘ_IS」が成立する場合においては、夫々、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対して完全にピントが合った状態の画像が撮像素子１１から得られる。但し、青色光３０１Ｂに対して完全にピントが合った状態の画像においては、緑色光３０１Ｇ及び赤色光３０１Ｒの像がぼける。緑色光３０１Ｇ及び赤色光３０１Ｒに対して完全にピントが合った状態の画像についても同様である。また、「ＸＢ＝Ｘ_IS」、「ＸＧ＝Ｘ_IS」及び「ＸＲ＝Ｘ_IS」の何れもが成立しない場合に撮像素子１１から得られた画像上においては、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの像が全てぼける。画像におけるぼけの大きさ（ぼけの度合い）をボケ量と呼ぶ。

撮像素子１１の撮像面上に形成される青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の半径を、夫々、ＹＢ、ＹＧ及びＹＲにて表す。青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像のボケ量は、夫々、半径ＹＢ、ＹＧ及びＹＲと比例関係にある。即ち、半径ＹＢが大きいほど青色光３０１Ｂの画像のボケ量は大きくなる（緑色光３０１Ｇ及び赤色光３０１Ｒについても同様）。軸上色収差の特性を含むレンズ１０Ｌの特性は撮像装置の設計段階で予め分かっているともに撮像装置は距離Ｘ_ISをも当然に認識可能である。よって、撮像装置は、距離３１０が分かれば、レンズ１０Ｌの特性と距離Ｘ_ISを用いて半径ＹＢ、ＹＧ及びＹＲを推定可能である（即ち、撮像素子１１から得られる画像上の、各色成分に対するボケ量を推定可能である）。また、距離３１０が分かれば、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の点広がり関数（Point Spread Function）が決まるので、点広がり関数の逆関数を用いて、それらの画像のぼけを除去することも可能である。

尚、距離Ｘ_ISを変化させることも可能ではあるが、以下の説明では、説明の簡略化上、特に記述なき限り距離Ｘ_ISは一定距離に固定されているものとする。

或る被写体と撮像装置との間における実空間上の距離（厳密には、或る被写体とレンズ１０Ｌの中心との間における実空間上の距離）を被写体距離と呼ぶ。点光源３００が注目した被写体であると考えれば、距離３１０は、注目した被写体にとっての被写体距離である。また、

図４に、被写体距離と撮像素子１１から得られた原画像のＢ、Ｇ及びＲ信号の解像度との関係を示す。ここにおける原画像とは、撮像素子１１から得られたＲＡＷデータに対してデモザイキング処理を施して得られる画像を指し、後述の各実施形態では、デモザイキング処理部１４にて生成される原画像に相当する（図６等参照）。Ｂ、Ｇ及びＲ信号とは、夫々、青色光３０１Ｂに対応する画像上の青色成分を表す信号、緑色光３０１Ｇに対応する画像上の緑色成分を表す信号及び赤色光３０１Ｒに対応する画像上の赤色成分を表す信号を指す。

本明細書における解像度とは、画像の画素数を表すものではなく、画像上で表現可能な最大の空間周波数を指す。換言すれば、本明細書における解像度とは、画像上にどの程度まで細かなものを再現できるかを表す尺度であり、解像力とも呼ばれる。

図４において、曲線３２０Ｂ、３２０Ｇ及び３２０Ｒは、夫々、原画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性を表している。図４（及び後述の図５等）の、解像度と被写体距離との関係を表すグラフにおいて、横軸及び縦軸は夫々被写体距離及び解像度を表し、横軸上を左から右に向かうにつれて対応する被写体距離は増大すると共に縦軸上を下から上に向かうにつれて対応する解像度は増大する。

被写体距離ＤＤ_B、ＤＤ_G及びＤＤ_Rは、夫々、図２（ａ）に対応する「ＸＢ＝Ｘ_IS」、図２（ｂ）に対応する「ＸＧ＝Ｘ_IS」及び図２（ｃ）に対応する「ＸＲ＝Ｘ_IS」が成立する場合における被写体距離である。従って、「ＤＤ_B＜ＤＤ_G＜ＤＤ_R」が成立する。

曲線３２０Ｂに示す如く、原画像のＢ信号の解像度は、被写体距離が距離ＤＤ_Bである時に最大となり、被写体距離が距離ＤＤ_Bを起点として減少又は増大するにつれて減少する。同様に、曲線３２０Ｇに示す如く、原画像のＧ信号の解像度は、被写体距離が距離ＤＤ_Gである時に最大となり、被写体距離が距離ＤＤ_Gを起点として減少又は増大するにつれて減少する。同様に、曲線３２０Ｒに示す如く、原画像のＲ信号の解像度は、被写体距離が距離ＤＤ_Rである時に最大となり、被写体距離が距離ＤＤ_Rを起点として減少又は増大するにつれて減少する。

上述した解像度の定義から分かるように、原画像のＢ信号の解像度は、原画像上のＢ信号の最大空間周波数を表す（Ｇ及びＲ信号についても同様）。或る信号の解像度が比較的高ければ、その信号には高域周波数成分が比較的多く含まれる。或る信号に含まれる周波数成分の内、所定の周波数以上の周波数成分を高域周波数成分（以下、高域成分と略記する）と呼び、所定の周波数未満の周波数成分を低域周波数成分（以下、低域成分と略記する）と呼ぶ。

このように、被写体距離が比較的近い被写体（例えば、被写体距離がＤＤ_Bの被写体）に対しては、原信号のＢ信号に高域周波数成分が含まれ、被写体距離が比較的遠い被写体（例えば、被写体距離がＤＤ_Rの被写体）に対しては、原信号のＲ信号に高域周波数成分が含まれ、被写体距離が中程度の被写体（例えば、被写体距離がＤＤ_Gの被写体）に対しては、原信号のＧ信号に高域周波数成分が含まれる。

これらの高域成分を補完しあえば、合焦範囲の広い、即ち被写界深度の深い画像を生成可能である。図５は、原信号のＢ、Ｇ及びＲ信号の高域成分を補完しあうことで生成されるＹ信号の解像度を表す曲線３２０Ｙを、図４に付加した図である。このような補完を行った後、合焦を望む被写体（例えば主要被写体としての人物）との間で被写体距離が異なる被写体（例えば背景）をぼかすようにすれば、合焦を望む被写体にピントが合った、合焦範囲の狭い画像（即ち、被写界深度の浅い画像）を生成することができる。

尚、上述したように、Ｙ信号（又はＢ、Ｇ及びＲ信号の全て）の有する解像度が或る一定の基準解像度ＲＳ_O以上になる被写体距離の範囲を合焦範囲又は被写界深度と呼ぶ。

以下の第１〜第３実施形態において、被写界深度の浅い画像の生成方法をより具体的に説明する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１（及び後述の撮像装置１ａ）は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。

撮像装置１は、符号１０〜２４によって参照される各部位を備えている。光学系１０は、光学ズームを行うためのズームレンズ及び焦点位置を調整するためのフォーカスレンズを含むレンズ群と、撮像素子１１への入射光量を調節するための絞りによって形成され、所望の画角を有し且つ所望の明るさを有する画像を撮像素子１１の撮像面に結像させる。光学系１０を単体のレンズとして捉えたものが上述のレンズ１０Ｌである。従って、光学系１０は、レンズ１０Ｌが有する軸上色収差と同じ軸上色収差を有する。

撮像素子１１は、光学系１０を介して入射した被写体を表す光学像（被写体像）を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子１１は、マトリクス状に二次元配列された複数の受光画素を備え、夫々の撮影において、各受光画素は露光時間の長さに応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。

ＡＦＥ（Analog Front End）１２は、撮像素子１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから出力する。また、ＡＦＥ１２の信号増幅における増幅度は、ＡＦＥ１２の出力信号レベルが最適化されるように、光学系１０の絞り値に対する調整と連動して調整される。尚、ＡＦＥ１２の出力信号をＲＡＷデータとも呼ぶ。ＲＡＷデータを、ＤＲＡＭ（Dynamic Random Access Memory）１３に一時記憶させることができる。また、ＤＲＡＭ１３は、ＲＡＷデータだけではなく、撮像装置１内で生成される各種データを一時的に記憶することができる。

上述したように、撮像素子１１はベイヤ配列を採用した単板方式のイメージセンサであるため、ＲＡＷデータによって表される二次元画像には、赤の色信号がベイヤ配列に従ってモザイク状に配置される（緑及び青についても同様）。

デモザイキング処理部１４は、ＲＡＷデータに対して周知のデモザイキング処理を実行することにより、ＲＧＢ形式の画像データを生成する。デモザイキング処理部１４が生成した画像データによって表される二次元画像を、以下、原画像と呼ぶ。原画像を形成する１つ１つの画素にはＲ、Ｇ及びＢ信号の全てが割り当てられる。或る画素についてのＲ、Ｇ及びＢ信号は、夫々、その画素の赤、緑及び青の強度を表す色信号である。原画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ０、Ｇ０及びＢ０にて表す。

高域成分抽出／距離推定部１５（以下、抽出／推定部１５と略記する）は、色信号Ｒ０、Ｇ０及びＢ０の夫々の高域成分を抽出すると共に、その抽出を介して原画像の各位置における被写体距離を推定し、推定被写体距離を表す被写体距離情報ＤＩＳＴを生成する。また、高域成分の抽出結果に応じた情報が被写界深度拡大処理部１６に出力される。

被写界深度拡大処理部１６（以下、拡大処理部１６と略記する）は、抽出／推定部１５からの情報に基づき、色信号Ｒ０、Ｇ０及びＢ０によって表される原画像の被写界深度を拡大する（即ち、被写界深度の深さを増大する）ことにより中間生成画像を生成する。中間生成画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ１、Ｇ１及びＢ１にて表す。拡大処理部１６は、原画像を表す色信号Ｒ０、Ｇ０及びＢ０を補正することにより中間生成画像を表す色信号Ｒ１、Ｇ１及びＢ１を生成する。

被写界深度制御部１７は、被写体距離情報ＤＩＳＴと補正画像に対する被写界深度を指定する被写界深度設定情報に基づいて中間生成画像の被写界深度を調整することにより、被写界深度の浅い補正画像を生成する。被写界深度設定情報によって、補正画像に対する被写界深度の深さと何れの被写体を合焦対象とするのかが定められる。被写界深度設定情報は、ユーザの指示等に基づき、ＣＰＵ２３によって作成される。補正画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ２、Ｇ２及びＢ２にて表す。被写界深度制御部１７は、中間生成画像を表す色信号Ｒ１、Ｇ１及びＢ１を補正することにより補正画像を表す色信号Ｒ２、Ｇ２及びＢ２を生成する。

補正画像のＲ、Ｇ及びＢ信号はカメラ信号処理部１８に与えられる。原画像又は中間生成画像のＲ、Ｇ及びＢ信号をカメラ信号処理部１８に与えることも可能である。

カメラ信号処理部１８は、原画像、中間生成画像又は補正画像のＲ、Ｇ及びＢ信号を輝度信号Ｙ並びに色差信号Ｕ及びＶに変換すると共に、原画像、中間生成画像又は補正画像に対して輪郭強調処理などの必要な画質調整を行い、画質調整後の原画像、中間生成画像又は補正画像の映像信号（即ちＹＵＶ信号）を出力する。カメラ信号処理部１８から出力される映像信号が液晶ディスプレイであるＬＣＤ１９又は撮像装置１の外部に設けられた外部表示装置（不図示）に供給されることによって、ＬＣＤ１９の表示画面上または外部表示装置の表示画面上に、原画像、中間生成画像又は補正画像（厳密には画質調整後のそれら）が表示される。

撮像装置１において、いわゆるタッチパネル操作が可能となっている。ユーザは、ＬＣＤ１９の表示画面に触れることによって撮像装置１に対する操作（即ち、タッチパネル操作）を行うことができる。タッチパネル制御部２０が、ＬＣＤ１９の表示画面上に加えられた圧力を検出することなどによって、タッチパネル操作を受け付ける。

圧縮／伸張処理部２１は、カメラ信号処理部１８から出力される映像信号を所定の圧縮方式を用いて圧縮することにより圧縮映像信号（即ち、原画像、中間生成画像又は補正画像の圧縮画像データ）を生成する。また、その圧縮映像信号を伸張することにより、圧縮前の映像信号を復元することもできる。圧縮映像信号を、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリである記録媒体２２に記録することができる。また、記録媒体２２に、ＲＡＷデータを記録することもできる。ＣＰＵ（Central Processing Unit）２３は、撮像装置１を形成する各部位の動作を統括的に制御する。操作部２４は、撮像装置１に対する様々な操作を受け付ける。操作部２４に対する操作内容は、ＣＰＵ２３に伝達される。

［補正画像の生成原理：被写界深度の制御原理］
図７（ａ）〜（ｄ）を参照して、原画像から補正画像を生成する方法の原理を説明する。図７（ａ）において、曲線４００Ｂ、４００Ｇ及び４００Ｒは、夫々、原画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ０、Ｇ０及びＲ０における解像度の被写体距離依存性を表している。曲線４００Ｂ、４００Ｇ及び４００Ｒは、夫々、図４の曲線３２０Ｂ、３２０Ｇ及び３２０Ｒと同じものである。図７（ａ）及び（ｂ）の距離ＤＤ_B、ＤＤ_G及びＤＤ_Rは、図４に示したそれらと同じものである。

軸上色収差により、色信号Ｂ０、Ｇ０及びＲ０の解像度が高まる被写体距離は互いに異なる。被写体距離が比較的近い被写体に対しては色信号Ｂ０に高域成分が含まれ、被写体距離が比較的遠い被写体に対しては色信号Ｒ０に高域成分が含まれ、被写体距離が中程度の被写体に対しては色信号Ｇ０に高域成分が含まれる。

このような色信号Ｂ０、Ｇ０及びＲ０を得た後、色信号Ｂ０、Ｇ０及びＲ０の内、最も大きな高域成分を有する信号を特定し、特定した色信号の高域成分を他の２つの色信号に付加することにより中間生成画像の色信号Ｂ１、Ｇ１及びＲ１を生成する。各色信号の高域成分の大きさは被写体距離の変化に伴って変化するため、この生成処理は、互いに異なる第１、第２、第３・・・の被写体距離に対して別個に実行される。原画像の全体画像領域内には様々な被写体距離を有する被写体が表れるが、各被写体の被写体距離は、図６の抽出／推定部１５によって推定される。

図７（ｂ）において、曲線４１０は、中間生成画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ１、Ｇ１及びＲ１における解像度の被写体距離依存性を表している。曲線４１０は、第１の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、第２の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、第３の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、・・・を繋ぎ合わせたような曲線となる。中間生成画像の合焦範囲（被写界深度）は、原画像のそれよりも大きく、中間生成画像の合焦範囲（被写界深度）内に距離ＤＤ_B、ＤＤ_G及びＤＤ_Rが包含される。

中間生成画像を生成する一方で、ユーザの指示などに基づき、図７（ｃ）に示すような被写界深度曲線４２０を設定する。図６の被写界深度制御部１７は、補正画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と概ね同じとなるように、中間生成画像のＢ、Ｇ及びＲ信号を補正する。図７（ｄ）の実線曲線４３０は、この補正により得られた補正画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ２、Ｇ２及びＲ２における解像度の被写体距離依存性を表している。被写界深度曲線４２０を適切に設定すれば、合焦範囲の狭い補正画像（被写界深度の浅い補正画像）を生成することができる。即ち、所望の被写体距離の被写体にのみピントが合い、他の被写体距離の被写体がぼけたような補正画像を生成することができる。

色信号Ｂ０、Ｇ０及びＲ０から色信号Ｂ１、Ｇ１及びＲ１を生成する方法の原理について補足説明を行う。色信号Ｂ０、Ｇ０、Ｒ０、Ｂ１、Ｇ１及びＲ１を被写体距離Ｄの関数とみなし、それらを夫々、Ｂ０（Ｄ）、Ｇ０（Ｄ）、Ｒ０（Ｄ）、Ｂ１（Ｄ）、Ｇ１（Ｄ）及びＲ１（Ｄ）と表記する。色信号Ｇ０（Ｄ）は、高域成分Ｇｈ（Ｄ）と低域成分ＧＬ（Ｄ）に分離することができる。同様に、色信号Ｂ０（Ｄ）は高域成分Ｂｈ（Ｄ）と低域成分ＢＬ（Ｄ）に分離することができ、色信号Ｒ０（Ｄ）は高域成分Ｒｈ（Ｄ）と低域成分ＲＬ（Ｄ）に分離することができる。即ち、
Ｇ０（Ｄ）＝Ｇｈ（Ｄ）＋ＧＬ（Ｄ）、
Ｂ０（Ｄ）＝Ｂｈ（Ｄ）＋ＢＬ（Ｄ）、
Ｒ０（Ｄ）＝Ｒｈ（Ｄ）＋ＲＬ（Ｄ）、
が成り立つ。

光学系１０に軸上色収差がなかったと仮定したならば、局所的には色の変化が少ないという画像の性質から、通常、下記式（１）が成り立つと共に下記式（２）も成り立つ。これは、任意の被写体距離に対して成り立つ。実空間上における被写体は様々な色成分を有しているが、被写体が有する色成分を局所的に見た場合、微小領域内では輝度は変化するものの色は殆ど変化しないことが多い。例えば、緑の葉の色成分を或る方向に走査した時、葉の模様によって輝度は変化するものの色（色相など）は殆ど変化しない。故に、光学系１０に軸上色収差がなかったと仮定したならば、式（１）及び（２）が成り立つことが多い。
Ｇｈ（Ｄ）／Ｂｈ（Ｄ）＝ＧＬ（Ｄ）／ＢＬ（Ｄ） …（１）
Ｇｈ（Ｄ）／ＧＬ（Ｄ）＝Ｂｈ（Ｄ）／ＢＬ（Ｄ）＝Ｒｈ（Ｄ）／ＲＬ（Ｄ） …（２）

一方、実際には光学系１０に軸上色収差が存在するため、任意の被写体距離に対して、色信号Ｂ０（Ｄ）、Ｇ０（Ｄ）及びＲ０（Ｄ）の高域成分は互いに異なる。逆に考えれば、或る被写体距離に対して大きな高域成分を有する１つの色信号を用いて、他の２つの色信号の高域成分を補うことができる。例えば、今、図８に示す如く、色信号Ｇ０（Ｄ）の解像度が最大値をとる被写体距離がＤ₁であるとし、Ｄ₁よりも大きな或る被写体距離をＤ₂とする。また、図９に示す如く、被写体距離Ｄ₁の被写体ＳＵＢ₁の画像データが存在する、原画像中の部分画像領域を符号４４１によって表し、被写体距離Ｄ₂の被写体ＳＵＢ₂の画像データが存在する、原画像中の部分画像領域を符号４４２によって表す。原画像、中間生成画像又は補正画像などの、任意の画像の全体画像領域の一部を部分画像領域と呼ぶ。部分画像領域４４１及び４４２には、夫々、被写体ＳＵＢ₁及びＳＵＢ₂の画像が現れる。

部分画像領域４４１におけるＧ信号、即ちＧ０（Ｄ₁）（＝Ｇｈ（Ｄ₁）＋ＧＬ（Ｄ₁））には高域成分が多く含まれることになるが、軸上色収差に由来して、部分画像領域４４１におけるＢ信号及びＲ信号、即ちＢ０（Ｄ₁）（＝Ｂｈ（Ｄ₁）＋ＢＬ（Ｄ₁））及びＲ０（Ｄ₁）（＝Ｒｈ（Ｄ₁）＋ＲＬ（Ｄ₁））に含まれる高域成分は少ない。この部分画像領域４４１におけるＢ及びＲ信号の高域成分を、部分画像領域４４１におけるＧ信号の高域成分を用いて生成する。生成された部分画像領域４４１におけるＢ及びＲ信号の高域成分を夫々Ｂｈ’（Ｄ₁）及びＲｈ’（Ｄ₁）にて表すとすると、Ｂｈ’（Ｄ₁）及びＲｈ’（Ｄ₁）は下記式（３）及び（４）によって求められる。
Ｂｈ’（Ｄ₁）＝ＢＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（３）
Ｒｈ’（Ｄ₁）＝ＲＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（４）

光学系１０に軸上色収差がなかったならば上記式（１）及び（２）より「Ｂｈ（Ｄ₁）＝ＢＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁）」及び「Ｒｈ（Ｄ₁）＝ＲＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁）」が成立すると考えられるが、実在する光学系１０の軸上色収差により、被写体距離Ｄ₁に関しては原画像のＢ及びＲ信号から高域成分Ｂｈ（Ｄ₁）及びＲｈ（Ｄ₁）が欠落している。この欠落分を、上記式（３）及び（４）によって生成する。

尚、実際には、Ｂ０（Ｄ₁）の高域成分Ｂｈ（Ｄ₁）及びＲ０（Ｄ₁）の高域成分Ｒｈ（Ｄ₁）は少ないため、Ｂ０（Ｄ₁）≒ＢＬ（Ｄ₁）且つＲ０（Ｄ₁）≒ＲＬ（Ｄ₁）とみなすことができる。故に、被写体距離Ｄ₁に関しては、式（５）及び（６）に従い、Ｂ０（Ｄ₁）、Ｒ０（Ｄ₁）及びＧｈ（Ｄ₁）／ＧＬ（Ｄ₁）を用いてＢ１（Ｄ₁）及びＲ１（Ｄ₁）を求めることで高域成分を含む信号Ｂ１及びＲ１を生成する。Ｇ１（Ｄ₁）は、式（７）に示す如く、Ｇ０（Ｄ₁）そのものとされる。
Ｂ１（Ｄ₁）＝ＢＬ（Ｄ₁）＋Ｂｈ’（Ｄ₁）
≒Ｂ０（Ｄ₁）＋Ｂ０（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（５）
Ｒ１（Ｄ₁）＝ＲＬ（Ｄ₁）＋Ｒｈ’（Ｄ₁）
≒Ｒ０（Ｄ₁）＋Ｒ０（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（６）
Ｇ１（Ｄ₁）＝Ｇ０（Ｄ₁） …（７）

Ｇ信号が多くの高域成分を含むこととなる部分画像領域４４１に注目して信号Ｂ１、Ｇ１及びＲ１の生成方法を説明したが、Ｂ又はＲ信号が多くの高域成分を含む部分画像領域に対しても同様の生成処理がなされる。

［高域成分抽出、距離推定、被写界深度拡大］
上述の原理に基づく処理を担う部位の詳細構成例を説明する。図１０は、図６に示される抽出／推定部１５及び拡大処理部１６の内部ブロック図である。原画像の色信号Ｇ０、Ｒ０及びＢ０が、抽出／推定部１５及び拡大処理部１６に入力される。抽出／推定部１５は、ＨＰＦ（ハイパスフィルタ）５１Ｇ、５１Ｒ及び５１Ｂ、ＬＰＦ（ローパスフィルタ）５２Ｇ、５２Ｒ及び５２Ｂ、最大値検出部５３、被写体距離推定部５４、選択部５５並びに演算部５６を備える。拡大処理部１６は、選択部６１Ｇ、６１Ｒ及び６１Ｂ並びに演算部６２を備える。

原画像、中間生成画像又は補正画像などの、任意の二次元画像は、水平及び垂直方向に複数の画素がマトリクス状に配列されて形成されており、図１１（ａ）〜（ｃ）に示す如く、その二次元画像上の注目画素の位置を（ｘ，ｙ）にて表す。ｘ及びｙは、夫々、注目画素の水平及び垂直方向の座標値を表す。そして、原画像の画素位置（ｘ，ｙ）における色信号Ｇ０、Ｒ０及びＢ０を夫々Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）にて表し、中間生成画像の画素位置（ｘ，ｙ）における色信号Ｇ１、Ｒ１及びＢ１を夫々Ｇ１（ｘ，ｙ）、Ｒ１（ｘ，ｙ）及びＢ１（ｘ，ｙ）にて表し、補正画像の画素位置（ｘ，ｙ）における色信号Ｇ２、Ｒ２及びＢ２を夫々Ｇ２（ｘ，ｙ）、Ｒ２（ｘ，ｙ）及びＢ２（ｘ，ｙ）にて表す。

ＨＰＦ５１Ｇ、５１Ｒ及び５１Ｇは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＨＰＦ５１Ｇ、５１Ｒ及び５１Ｇは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の高域成分Ｇｈ、Ｒｈ及びＢｈを抽出する。画素位置（ｘ，ｙ）に対して抽出された高域成分Ｇｈ、Ｒｈ及びＢｈを、夫々、Ｇｈ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）にて表す。

空間フィルタは、空間フィルタに対する入力信号をフィルタリングすることにより得た信号を出力する。空間フィルタによるフィルタリングとは、注目画素位置（ｘ，ｙ）における入力信号と注目画素位置（ｘ，ｙ）の周辺位置における入力信号とを用いて空間フィルタの出力信号を得る操作を指す。注目画素位置（ｘ，ｙ）における入力信号の値をＩ_IN（ｘ，ｙ）にて表し、注目画素位置（ｘ，ｙ）に対する空間フィルタの出力信号をＩ_O（ｘ，ｙ）にて表した場合、両者は下記式（８）の関係を満たす。ｈ（ｕ，ｖ）は、空間フィルタの位置（ｕ，ｖ）におけるフィルタ係数を表す。式（８）に従う空間フィルタのフィルタサイズは（２ｗ＋１）×（２ｗ＋１）である。ｗは自然数である。

ＨＰＦ５１Ｇは、ラプラシアンフィルタなどの、入力信号の高域成分を抽出して出力する空間フィルタであり、注目画素位置（ｘ，ｙ）における入力信号Ｇ０（ｘ，ｙ）と注目画素位置（ｘ，ｙ）の周辺位置における入力信号（Ｇ０（ｘ＋１，ｙ＋１）などを含む）を用いて、注目画素位置（ｘ，ｙ）に対する出力信号Ｇｈ（ｘ，ｙ）を得る。ＨＰＦ５１Ｒ及び５１Ｂについても同様である。

ＬＰＦ５２Ｇ、５２Ｒ及び５２Ｇは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＬＰＦ５２Ｇ、５２Ｒ及び５２Ｇは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の低域成分ＧＬ、ＲＬ及びＢＬを抽出する。画素位置（ｘ，ｙ）に対して抽出された低域成分ＧＬ、ＲＬ及びＢＬを、夫々、ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）にて表す。「ＧＬ（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）−Ｇｈ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）−Ｒｈ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）−Ｂｈ（ｘ，ｙ）」に従って、低域成分ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）を求めるようにしてもよい。

演算部５６は、色信号ごとに且つ画素位置ごとに、上述のようにして得られた高域成分を低域成分にて正規化することにより、値Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）を求める。更に、色信号ごとに且つ画素位置ごとに、それらの絶対値Ｇｈｈ（ｘ，ｙ）＝｜Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）｜、Ｒｈｈ（ｘ，ｙ）＝｜Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）｜、及び、Ｂｈｈ（ｘ，ｙ）＝｜Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）｜も求める。

演算部５６にて得られる信号Ｇｈｈ、Ｒｈｈ及びＢｈｈと被写体距離との関係を図１２に示す。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）は、夫々信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの位置（ｘ，ｙ）における値である。曲線４５０Ｇ、４５０Ｒ及び４５０Ｂは、夫々、被写体距離の変化に対して信号Ｇｈｈ、Ｒｈｈ及びＢｈｈがどのように変化していくかをプロットしたものである。図７（ａ）の曲線４００Ｇと図１２の曲線４５０Ｇとの比較から分かるように、信号Ｇｈｈの被写体距離依存性は、信号Ｇ０の解像度の被写体距離依存性と同一又は類似している（信号Ｒｈｈ及びＢｈｈについても同様）。信号Ｇ０の解像度の増減に連動して、信号Ｇ０の高域成分Ｇｈ及びそれの絶対値に比例する信号Ｇｈｈも増減するからである。

低域成分による正規化を行うことなく、Ｇｈｈ（ｘ，ｙ）＝｜Ｇｈ（ｘ，ｙ）｜、Ｒｈｈ（ｘ，ｙ）＝｜Ｒｈ（ｘ，ｙ）｜、及び、Ｂｈｈ（ｘ，ｙ）＝｜Ｂｈ（ｘ，ｙ）｜に従って絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）を求めることも可能ではあるが、この場合は、被写体の色に依存して絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の大小関係が変化しうる。故に、Ｇｈｈ（ｘ，ｙ）＝｜Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）｜、Ｒｈｈ（ｘ，ｙ）＝｜Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）｜、及び、Ｂｈｈ（ｘ，ｙ）＝｜Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）｜に従って、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）を求めることが望ましい。

最大値検出部５３は、画素位置ごとに、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内の最大値を特定し、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、何れが最大であるかを表す信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）を出力する。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、Ｂｈｈ（ｘ，ｙ）が最大である場合をケース１と呼び、Ｇｈｈ（ｘ，ｙ）が最大である場合をケース２と呼び、Ｒｈｈ（ｘ，ｙ）が最大である場合をケース３と呼ぶ。

被写体距離推定部５４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）に基づいて、画素位置（ｘ，ｙ）における被写体の被写体距離ＤＩＳＴ（ｘ，ｙ）を推定する。この推定方法を、図１３を参照して説明する。被写体距離推定部５４では、まず、０＜Ｄ_A＜Ｄ_Bを満たす、２つの被写体距離Ｄ_A及びＤ_Bが予め定義される。被写体距離推定部５４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、何れが最大であるかに応じて被写体距離の推定方法を変更する。

ケース１においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的小さいと判断して、０＜ＤＩＳＴ（ｘ，ｙ）＜Ｄ_Aが満たされる範囲内で、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１３の線分４６１は、ケース１における、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、図１２に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）が共に増大するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）の増大の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース１においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

ケース２においては、画素位置（ｘ，ｙ）における被写体の被写体距離は中程度であると判断して、Ｄ_A≦ＤＩＳＴ（ｘ，ｙ）＜Ｄ_Bが満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１３の線分４６２は、ケース２における、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、図１２に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＢｈｈ（ｘ，ｙ）が減少する一方でＲｈｈ（ｘ，ｙ）が増大する。従って、ケース２においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

ケース３においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的大きいと判断して、Ｄ_B＜ＤＩＳＴ（ｘ，ｙ）が満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１３の線分４６３は、ケース３における、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、図１２に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）が共に減少するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の減少の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース３においては、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が増大につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

このように、被写体距離推定部５４は、色信号Ｇ０、Ｒ０及びＢ０に含まれる高域成分Ｇｈ、Ｒｈ及びＢｈの大きさに応じた値、即ち、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）に基づいて、原画像の各位置における被写体の被写体距離を推定する。ＤＩＳＴ（ｘ，ｙ）は画素位置（ｘ，ｙ）に対して求められる推定被写体距離である。全ての画素位置に対する推定被写体距離を包含する情報を被写体距離情報ＤＩＳＴと呼ぶ。

選択部５５は、演算部５６にて算出される値Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）の内の１つを信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）に基づいて選択し、選択値をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力する。具体的には、
Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力し、
Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力し、
Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力する。

拡大処理部１６には、原画像の色信号Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）と信号Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）とが与えられる。選択部６１Ｇ、６１Ｒ及び６１Ｂは、第１及び第２入力信号の内の一方を信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）に基づいて選択し、選択した信号をＧ１（ｘ，ｙ）、Ｒ１（ｘ，ｙ）及びＢ１（ｘ，ｙ）として出力する。選択部６１Ｇ、６１Ｒ及び６１Ｂの第１入力信号は、夫々、Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）であり、選択部６１Ｇ、６１Ｒ及び６１Ｂの第２入力信号は、夫々、演算部６２にて求められる「Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」、「Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」及び「Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」である。

Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）、
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされ、
Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされ、
Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされる。

例えば、注目した画素位置（ｘ，ｙ）が図９の部分画素領域４４１内の画素位置である場合（図８も参照）、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、Ｇｈｈ（ｘ，ｙ）が最大となる。故にこの場合は、Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）＝Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）となるため、被写体距離Ｄ₁に対応する画素位置（ｘ，ｙ）に対しては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、となる。この３つの式は、上記式（５）〜（７）における“（Ｄ₁）”を“（ｘ，ｙ）”に置き換えたものに等しい。

図１４は、図６に示される被写界深度制御部１７の内部ブロック図である。図１４の被写界深度制御部１７は、可変ＬＰＦ部７１と、カットオフ周波数制御部７２と、を備える。可変ＬＰＦ部７１には、カットオフ周波数を可変設定することが可能に形成された３つの可変ＬＰＦ（ローパスフィルタ）７１Ｇ、７１Ｒ及び７１Ｂが備えられており、カットオフ周波数制御部７２が、被写体距離情報ＤＩＳＴ及び被写界深度設定情報に基づいて可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂのカットオフ周波数を制御する。信号Ｇ１、Ｒ１及びＢ１を、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂに入力することにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂから、補正画像を表す色信号Ｇ２、Ｒ２及びＢ２が得られる。

被写界深度設定情報は、色信号Ｇ２、Ｒ２及びＢ２の生成に先立って、ユーザの指示等に基づき生成される。被写界深度設定情報から、図７（ｃ）に示すものと同じ、図１５の被写界深度曲線４２０が設定される。尚、図１４の構成例では、カットオフ周波数制御部７２が被写界深度設定情報から被写界深度曲線４２０を設定するが、カットオフ周波数制御部７２と異なる部位にて被写界深度設定情報から被写界深度曲線４２０を設定し、設定した被写界深度曲線４２０を表す情報を、カットオフ周波数制御部７２に与えるようにしてもよい。

上述したように、被写界深度設定情報によって、補正画像に対する被写界深度の深さが指定される。換言すれば、被写界深度設定情報によって、補正画像における合焦範囲の幅が指定される。被写界深度設定情報によって指定される合焦範囲の内、最短の被写体距離をＤ_MINにて表し、最長の被写体距離をＤ_MAXにて表す。当然、０＜Ｄ_MIN＜Ｄ_MAXである。

被写界深度設定情報は合焦対象情報を含む。合焦対象情報によって、何れの被写体を合焦対象とするのかが定められると共に補正画像の被写界深度内に位置すべき特定の被写体距離（Ｄ_CN）が指定される。合焦対象情報は、特定の被写体距離を直接指定する距離設定情報又は特定被写体を指定する被写体設定情報である。

合焦対象情報が距離設定情報である場合、合焦対象情報によって指定される特定被写体距離が、補正画像の合焦範囲の中心における距離（被写界深度の中心における距離）Ｄ_CNとされる。Ｄ_CN＝（Ｄ_MIN＋Ｄ_MAX）／２である。

一方、合焦対象情報が被写体設定情報である場合、合焦対象情報によって指定される特定被写体の推定被写体距離を被写体距離情報ＤＩＳＴから読み取り、読み取った推定被写体距離をＤ_CNに設定する。ユーザは、特定被写体を指定することができる。例えば、原画像又は中間生成画像をＬＣＤ１９の表示画面に表示させた状態で、ユーザが、特定被写体が表示されている表示部分を、タッチパネル機能を利用して指定する。その指定結果と被写体距離情報ＤＩＳＴからＤ_CNが設定される。例えば、ユーザにとっての特定被写体が図９の被写体ＳＵＢ₁であって、部分画像領域４４１を指定する被写体設定情報が与えられた場合、被写体ＳＵＢ₁に対して推定された被写体距離ＤＩＳＴ（ｘ，ｙ）がＤ_CNに設定される（推定が理想的に成された場合は、Ｄ_CN＝Ｄ₁となる）。

被写界深度曲線４２０は、被写体距離と解像度の関係を定める曲線であり、被写界深度曲線４２０上の解像度は、被写体距離Ｄ_CNにて最大値をとり、被写体距離がＤ_CNから離れるに従って徐々に減少していく。被写体距離Ｄ_CNにおける被写界深度曲線４２０上の解像度は基準解像度ＲＳ_Oよりも大きく、被写体距離Ｄ_MIN及びＤ_MAXにおける被写界深度曲線４２０上の解像度は基準解像度ＲＳ_Oと一致する。

カットオフ周波数制御部７２では、あらゆる被写体距離に対して解像度が被写界深度曲線４２０上の最大解像度と一致する仮想信号が想定される。図１５における破線４２１は、仮想信号における解像度の被写体距離依存性を表している。カットオフ周波数制御部７２では、破線４２１をローパルフィルタ処理によって被写界深度曲線４２０に変換するために必要な、ローパスフィルタのカットオフ周波数が求められる。つまり、仮想信号が可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂへの入力信号であると仮定した時における可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂの出力信号を仮想出力信号と呼んだ場合、カットオフ周波数制御部７２は、仮想出力信号の解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と一致するように、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂのカットオフ周波数を設定する。

被写体距離情報ＤＩＳＴより、カットオフ周波数制御部７２は、どの部分画像領域に対して、どのようなカットオフ周波数を設定すべきかを決める。例えば（図９参照）、被写体距離Ｄ₁の被写体ＳＵＢ₁の画像データが存在する部分画像領域４４１内に画素位置（ｘ₁，ｙ₁）が存在すると共に、被写体距離Ｄ₂の被写体ＳＵＢ₂の画像データが存在する部分画像領域４４２内に画素位置（ｘ₂，ｙ₂）が存在する場合を考える。この場合、被写体距離の推定誤差を無視すれば、画素位置（ｘ₁，ｙ₁）に対する推定被写体距離ＤＩＳＴ（ｘ₁，ｙ₁）及びその周辺画素位置に対する推定被写体距離はＤ₁となり、画素位置（ｘ₂，ｙ₂）に対する推定被写体距離ＤＩＳＴ（ｘ₂，ｙ₂）及びその周辺画素位置に対する推定被写体距離はＤ₂となる。また、図１６に示す如く、被写体距離Ｄ₁及びＤ₂に対応する、被写界深度曲線４２０上の解像度が、それぞれＲＳ₁及びＲＳ₂であったとする。

この場合、カットオフ周波数制御部７２は、仮想信号の解像度を解像度ＲＳ₁まで低下させるために必要なローパスフィルタのカットオフ周波数ＣＵＴ₁を決定し、カットオフ周波数ＣＵＴ₁を部分画像領域４４１内の信号Ｇ１、Ｒ１及びＢ１に適用させる。これにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂでは、部分画像領域４４１内の信号Ｇ１、Ｒ１及びＢ１に対してカットオフ周波数ＣＵＴ₁のローパスフィルタ処理が施される。このローパスフィルタ処理後の信号は、補正画像の部分画像領域４４１内の信号Ｇ２、Ｒ２及びＢ２として出力される。

同様に、カットオフ周波数制御部７２は、仮想信号の解像度を解像度ＲＳ₂まで低下させるために必要なローパスフィルタのカットオフ周波数ＣＵＴ₂を決定し、カットオフ周波数ＣＵＴ₂を部分画像領域４４２内の信号Ｇ１、Ｒ１及びＢ１に適用する。これにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂでは、部分画像領域４４２内の信号Ｇ１、Ｒ１及びＢ１に対してカットオフ周波数ＣＵＴ₂のローパスフィルタ処理が施される。このローパスフィルタ処理後の信号は、補正画像の部分画像領域４４２内の信号Ｇ２、Ｒ２及びＢ２として出力される。

ローパスフィルタ処理後に得られる解像度とローパスフィルタのカットオフ周波数との関係を規定するテーブルデータ又は演算式を事前に用意しておき、該テーブルデータ又は演算式を用いて、可変ＬＰＦ部７１に設定されるべきカットオフ周波数を決定することができる。このテーブルデータ又は演算式によって、解像度ＲＳ₁及びＲＳ₂に対応するカットオフ周波数が夫々ＣＵＴ₁及びＣＵＴ₂であることが規定される。

図１６に示す如く、被写体距離Ｄ₁が補正画像の被写界深度内に属し且つ被写体距離Ｄ₂が補正画像の被写界深度に含まれないなら、ＣＵＴ₁＞ＣＵＴ₂が成立するようにカットオフ周波数ＣＵＴ₁及びＣＵＴ₂が設定され、可変ＬＰＦ部７１により部分画像領域４４２内の画像は部分画像領域４４１内の画像に比べてぼかされ、結果、補正画像において部分画像領域４４２内の画像の解像度は部分画像領域４４１のそれよりも低くなる。また、図１６に示す状況とは異なり、Ｄ_MAX＜Ｄ₁＜Ｄ₂である場合も、ＣＵＴ₁＞ＣＵＴ₂が成立するようにカットオフ周波数ＣＵＴ₁及びＣＵＴ₂が設定されるが、指定された被写界深度内に被写体距離Ｄ₁及びＤ₂が属しないために、可変ＬＰＦ部７１により中間生成画像中における部分画像領域４４１及び４４２内の画像は共にぼかされる。但し、そのぼかしの程度は部分画像領域４４１よりも部分画像領域４４２の方が大きく、結果、補正画像において部分画像領域４４２内の画像の解像度は部分画像領域４４１のそれよりも低くなる。

このようなローパスフィルタ処理が、中間生成画像の全体画像領域に対して行われることで、補正画像の各画素位置における色信号Ｇ２、Ｒ２及びＢ２が可変ＬＰＦ部７１から出力される。上述したように、この色信号Ｇ２、Ｒ２及びＢ２の解像度の被写体距離依存性は、図７（ｄ）の曲線４３０にて示される。カットオフ周波数制御部７２にて定められるカットオフ周波数は、仮想信号の解像度特性を被写界深度曲線４２０の解像度特性に変換するためのものであるのに対して、実際の色信号Ｇ１、Ｒ１及びＢ１の解像度特性は仮想信号のそれとは異なる。故に、曲線４３０と被写界深度曲線４２０とは若干異なる。

尚、上述の説明では、被写界深度設定情報に基づいて、一旦、被写界深度曲線４２０を設定し、その後、被写界深度曲線４２０と被写体距離情報ＤＩＳＴからカットオフ周波数を設定しているが、被写界深度設定情報及び被写体距離情報ＤＩＳＴに基づいて、被写界深度曲線４２０を設定することなく一気に可変ＬＰＦ部７１のカットオフ周波数を設定するようにしてもよい。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態を説明する。図１７は、本発明の第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、符号１０〜１４、１５ａ、２６、１８〜２４によって参照される各部位を備えている。符号１０〜１４及び１８〜２４によって参照される各部位は、第１実施形態におけるそれらと同じである（図６参照）。

撮像装置１ａには、図６の撮像装置１が有していた抽出／推定部１５、拡大処理部１６及び被写界深度制御部１７の代わりに、高域成分抽出／距離推定部１５ａ（以下、抽出／推定部１５ａと略記する）及び被写界深度制御部２６が設けられており、この相違点を除き、第１実施形態に係る撮像装置１と第２実施形態に係る撮像装置１ａは同じものである。以下、第１実施形態との相違点に注目した説明を行う。第２実施形態において、特に述べられない事項に関しては、第１実施形態の記載が適用される。但し、第１実施形態に記載の事項を第２実施形態に適用する場合、同一名称の部位についての符号の相違（例えば、符号１と１ａの相違）は無視される。

デモザイキング処理部１４によって生成される原画像のＲ、Ｇ及びＢ信号、即ち、色信号Ｒ０、Ｇ０及びＢ０は、抽出／推定部１５ａ及び被写界深度制御部２６に与えられる。抽出／推定部１５ａは、図１０に示される、ＨＰＦ５１Ｇ、５１Ｒ及び５１Ｂ、ＬＰＦ５２Ｇ、５２Ｒ及び５２Ｂ、演算部５６並びに被写体距離推定部５４を有し、色信号Ｒ０、Ｇ０及びＢ０から原画像の各位置における被写体距離を推定して、推定被写体距離を表す被写体距離情報ＤＩＳＴを生成する。抽出／推定部１５ａによる被写体距離情報ＤＩＳＴを生成方法（被写体距離の推定方法を含む）は、図１０の抽出／推定部１５によるそれと同じである。

被写界深度制御部２６は、抽出／推定部１５ａによって生成された被写体距離情報ＤＩＳＴと、被写界深度設定情報に基づいて、原画像の色信号Ｒ０、Ｇ０及びＢ０を補正することにより所望の被写界深度を有する補正画像を生成する。被写界深度制御部２６によって生成された補正画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ２’、Ｇ２’及びＢ２’にて表す。被写界深度制御部２６によって生成された補正画像のＲ、Ｇ及びＢ信号は、カメラ信号処理部１８に送られる。

図１８に、被写界深度制御部２６の内部ブロック図の例を示す。図１８の被写界深度制御部２６は、符号８１〜８４によって参照される各部位を備える。

軸上色収差の特性を含む光学系１０の特性は、撮像装置１ａの設計段階で予め分かっているため、原画像上の注目部分画像領域における注目被写体の被写体距離が分かれば、その注目部分画像領域における色信号ごとの画像のボケの特性が分かる。例えば、注目被写体の被写体距離が、赤色光３０１Ｒの結像点３０２Ｒを撮像素子１１の撮像面上に位置させる被写体距離ＤＤ_Rである場合（図１、図２（ｃ）、図４参照）、注目被写体からの青色光３０１Ｂ及び緑色光３０１Ｇは注目部分画像領域内においてぼけ、注目被写体を点光源とみなしたならば、その青色光３０１Ｂ及び緑色光３０１Ｇの画像の半径はＹＢ及びＹＢであることが分かる（図３参照）。被写体距離が被写体距離ＤＤ_Rと異なる場合も同様である。

原画像は、軸上色収差によって劣化した画像であると考えることができる。ここにおける劣化は、軸上色収差に由来する画像のぼけである。この劣化過程を表す関数又は空間フィルタは、点広がり関数（Point Spread Function;以下、ＰＳＦという）と呼ばれる。被写体距離が定まれば色信号ごとのＰＳＦが求まるため、被写体距離情報ＤＩＳＴに含まれる原画像上の各位置における推定被写体距離に基づけば、原画像上の各位置における、色信号ごとのＰＳＦが定まる。このようなＰＳＦの逆関数を用いた畳み込み演算を色信号Ｇ０、Ｒ０及びＢ０に行えば、軸上色収差に由来する原画像の劣化（ぼけ）は除去される。劣化を除去する画像処理は画像復元処理とも呼ばれる。この除去によって得られる画像が第２実施形態における中間生成画像であり、第２実施形態における中間生成画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ１’、Ｇ１’及びＢ１’にて表す。

図１８の画像復元フィルタ８１は、上記の逆関数を信号Ｇ０、Ｒ０及びＢ０に作用させるための二次元の空間フィルタである。画像復元フィルタ８１は、軸上色収差に由来する原画像の劣化過程を表すＰＳＦの逆フィルタに相当する。フィルタ係数演算部８３は、被写体距離情報ＤＩＳＴから、原画像上の各位置における、色信号Ｇ０、Ｒ０及びＢ０に対するＰＳＦの逆関数を求め、その求めた逆関数を信号Ｇ０、Ｒ０及びＢ０に作用させるべく、画像復元フィルタ８１のフィルタ係数を算出する。画像復元フィルタ８１は、フィルタ係数演算部８３によって算出されたフィルタ係数を用いて、色信号Ｇ０、Ｒ０及びＢ０に対して個別にフィルタリングを行うことで、色信号Ｇ１’、Ｒ１’及びＢ１’を生成する。

図１９の破線５００は、色信号Ｇ１’、Ｒ１’及びＢ１’における解像度の被写体距離依存性を表している。曲線４００Ｇ、４００Ｒ及び４００Ｂは、上述したように、色信号Ｇ０、Ｒ０及びＢ０における解像度の被写体距離依存性を表している。色信号ごとの画像復元処理によって、Ｇ、Ｒ及びＢ信号の全てにおいて解像度の高い中間生成画像が得られる。

被写界深度調整フィルタ８２も、二次元の空間フィルタである。被写界深度調整フィルタ８２は、色信号Ｇ１’、Ｒ１’及びＢ１’を色信号ごとにフィルタリングすることにより、補正画像を表す色信号Ｇ２’、Ｒ２’及びＢ２’を生成する。被写界深度調整フィルタ８２としての空間フィルタのフィルタ係数は、フィルタ係数演算部８４によって算出される。

被写界深度設定情報によって、図１５又は図１６に示すような被写界深度曲線４２０が設定される。被写界深度設定情報及び被写界深度曲線４２０の意義は、第１実施形態で述べたものと同様である。図１９の破線５００に対応する色信号Ｇ１’、Ｒ１’及びＢ１’は、図１５又は図１６の破線４２１に対応する、第１実施形態にて述べた仮想信号に相当する。被写界深度調整フィルタ８２は、色信号Ｇ２’、Ｒ２’及びＢ２’の解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と一致するように、色信号Ｇ１’、Ｒ１’及びＢ１’に対するフィルタリングを行う。

このようなフィルタリングを実現するための、被写界深度調整フィルタ８２のフィルタ係数が、被写界深度設定情報と被写体距離情報ＤＩＳＴに基づいてフィルタ係数演算部８４により算出される。

中間生成画像及び補正画像の色信号の解像度特性は第１及び第２実施形態間で同じであるため、図１８の被写界深度制御部２６内における被写界深度調整フィルタ８２及びフィルタ係数演算部８４を図１４の可変ＬＰＦ７１部及びカットオフ周波数制御部７２に置き換え、これらの可変ＬＰＦ７１部及びカットオフ周波数制御部７２を用いて色信号Ｇ１’、Ｒ１’及びＢ１’にローパスフィルタ処理を施すことにより色信号Ｇ２’、Ｒ２’及びＢ２’を生成するようにしてもよい。この場合も、第１実施形態で述べたように、被写界深度設定情報及び被写体距離情報ＤＩＳＴに基づいて、可変ＬＰＦ７１部のカットオフ周波数を定めればよい。

図１８の被写界深度制御部２６にて実行される処理の意義を補足説明する。原画像の注目部分画像領域内における青、緑及び赤の画像の内、少なくとも２つは軸上色収差に由来してぼけ、そのぼけの大きさ（ボケ量）は、光学系１０の軸上色収差の特性と注目部分画像領域における注目被写体の被写体距離に依存する。従って、被写界深度制御部２６は、原画像の注目部分画像領域内における青、緑及び赤の画像のボケ量を、予め分かっている軸上色収差の特性と被写体距離情報ＤＩＳＴに含まれる注目被写体の推定被写体距離に基づいて推定することができる。

原画像に対して色信号ごとに画像復元処理を行えば、軸上色収差に由来する原画像の劣化（ぼけ）は除去され、結果、中間生成画像の注目部分画像領域内における青、緑及び赤の画像のボケ量（ぼけの大きさ）は、無視できる程度に小さくなる。即ち、画像復元処理が理想的になされたならば、中間生成画像において、それらのぼけの直径は、所定の許容錯乱円の直径以下となる。

被写界深度制御部２６では、中間生成画像の生成後、補正画像の注目部分画像領域内における青、緑及び赤の画像のボケ量（ぼけの大きさ）が被写界深度曲線４２０によって規定されるボケ量になるように、中間生成画像に対して補正を加える。

或る注目した色信号の解像度と注目した色信号による画像のボケ量は概ね反比例の関係にあり、前者が増大するにつれて後者は減少し、逆に、前者が減少するにつれて後者は増大する。従って、色信号Ｇ０、Ｒ０及びＢ０から色信号Ｇ２’、Ｒ２’及びＢ２’を生成する処理は、軸上色収差に由来する原画像中の各部分画像領域におけるボケ量（解像度）を補正画像中の各部分画像領域における設定ボケ量（設定解像度）へと修正する処理であると言え、この処理は色信号ごとに実行される。前者のボケ量は、軸上色収差の特性と被写体距離情報ＤＩＳＴに基づいて推定される。換言すれば、前者のボケ量は、軸上色収差の特性と被写体距離情報ＤＩＳＴに基づいて定まる、原画像上の各位置における色信号ごとのＰＳＦから推定される。後者の設定ボケ量は、被写界深度曲線４２０を規定する被写界深度設定情報と被写体距離情報ＤＩＳＴに基づいて設定される。

また、図１８の構成では、中間生成画像を得るためのフィルタリングを行ってから補正画像を得るためのフィルタリングを行っているが、両者のフィルタリングを一度に行うようにしてもよい。即ち、被写界深度制御部２６を、図２０の被写界深度制御部２６ａのように構成してもよい。図２０は、被写界深度制御部２６ａの内部ブロック図である。被写界深度制御部２６ａを被写界深度制御部２６として用いることができる。被写界深度制御部２６ａは、被写界深度調整フィルタ９１とフィルタ係数演算部９２を備える。

被写界深度調整フィルタ９１は、図１８の画像復元フィルタ８１によるフィルタリングと被写界深度調整フィルタ８２によるフィルタリングを統合したフィルタリングを行う、二次元の空間フィルタである。原画像の色信号Ｇ０’、Ｒ０’及びＢ０’に対して色信号ごとに被写界深度調整フィルタ９１によるフィルタリングを行うことで、直接、色信号Ｇ２’、Ｒ２’及びＢ２’が生成される。

フィルタ係数演算部９２は、図１８のフィルタ係数演算部８３及び８４を統合したフィルタ係数演算部であり、被写体距離情報ＤＩＳＴと被写界深度設定情報から色信号ごとに被写界深度調整フィルタ９１のフィルタ係数を算出する。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態を説明する。第３実施形態では、ユーザの操作との関係において原画像から補正画像を生成する動作の流れを説明する。第３実施形態に係る撮像装置の動作モードには、画像の撮影が可能な撮影モードと、記録媒体２２に記録された画像をＬＣＤ１９上で再生表示する再生モードと、が含まれる。操作部２４に対する操作に応じて、各モード間の遷移は実施される。第１又は第２実施形態に係る撮像装置１又は１ａが、第３実施形態に係る撮像装置として用いられる。第１又は第２実施形態において説明された事項は、矛盾なき限り、第３実施形態にも適用される。

まず、図２１を参照し、撮影モードにおいて補正画像が生成される場合における、撮像装置（１又は１ａ）の動作を説明する。図２１は、この動作の流れを表すフローチャートである。ＬＣＤ１９は、画像が表示可能な状態にされる。

撮影モードでは、原則として、所定のフレーム周期にて順次撮影が行われて、撮像素子１１から時系列で並ぶ原画像列が取得され、原画像列が動画像としてＬＣＤ１９に表示される。ステップＳ１１において、ＣＰＵ２３は、操作部２４に設けられたシャッタボタン（不図示）が押下されたか否かを監視し、シャッタボタンの押下が確認された時、ステップＳ１２〜Ｓ１４の処理を行う。ステップＳ１２において、ＣＰＵ２３は、シャッタボタンの押下直後に得られた１枚の原画像分のＲＡＷデータをＤＲＡＭ１３に保持させ、ステップＳ１３において、そのＲＡＷデータに基づく原画像又は中間生成画像をＬＣＤ１９の表示画面上に表示させる。更に、ステップＳ１４において、そのＲＡＷデータ及び該ＲＡＷデータに対応する圧縮画像の画像データを記録媒体２２に記録させる。この際、ＲＡＷデータと圧縮画像の画像データを互いに関連付け、１つの画像ファイルに格納した上で記録媒体２２に記録させる。尚、ここにおける圧縮画像とは、ＤＲＡＭ１３に保持されたＲＡＷデータに基づく原画像又は中間生成画像を圧縮／伸張処理部２１にて圧縮した画像である。

撮像装置１又は１ａによる、補正画像を生成する機能を被写界深度制御機能と呼ぶ。シャッタボタンが押下されてステップＳ１２〜Ｓ１４の処理がなされた後、ステップＳ１５にて、被写界深度制御機能が有効になっているかが確認され、それが有効になっている場合はステップＳ１５からステップＳ１６に移行する一方、それが有効になっていない場合はステップＳ１５からステップＳ１１に戻る。ステップＳ１６では、ステップＳ１２にてＤＡＲＭ１３に保持されたＲＡＷデータに基づく原画像が補正対象原画像に設定される。

ステップＳ１６に続くステップＳ１７では、補正対象原画像又はそれに基づく中間生成画像をＬＣＤ１９に表示した状態で、ユーザによる、補正対象原画像上の合焦対象を指定する合焦対象指定操作を受け付ける。ユーザは、タッチパネル機能を利用して、この合焦対象指定操作をＬＣＤ１９上で行うことができる。即ち、第１実施形態で述べたように、ユーザが、特定被写体が表示されている、ＬＣＤ１９の表示画面上の一部分をタッチパネル機能を利用して指定することにより、特定被写体を合焦対象に指定することができる。その指定結果と補正対象原画像についての被写体距離情報ＤＩＳＴから、第１実施形態で述べた距離Ｄ_CNが設定される（図１５参照）。例えば、ユーザにとっての特定被写体が図９の被写体ＳＵＢ₁であって且つ被写体ＳＵＢ₁の画像データが存在する部分画像領域４４１内の画像の表示部位が指定された場合は、被写体ＳＵＢ₁に対して推定された被写体距離ＤＩＳＴ（ｘ，ｙ）がＤ_CNに設定される（被写体距離の推定が理想的に成された場合は、Ｄ_CN＝Ｄ₁となる）。

尚、タッチパネル機能を利用することなく、操作部２４に対する操作によって上記の特定被写体を合焦対象に指定することもできる。また、ユーザは、操作部２４に対する操作によって、距離Ｄ_CNを直接指定することもできる。

ステップＳ１７では、更に、ユーザによる、被写界深度の深さを指定する深度指定操作も受け付ける。この深度指定操作は、タッチパネル機能又は操作部２４を利用して実行される。深度指定操作によって指定された被写界深度の深さにより、補正対象原画像から生成されるべき補正画像の被写界深度の深さ（即ち、図１５における距離Ｄ_MIN及びＤ_MAX間の距離差）が決まる。

ステップＳ１７に続くステップＳ１８において、ＣＰＵ２３は、ステップＳ１７における合焦対象指定操作及び深度指定操作の内容に基づき、第１又は第２実施形態で述べた被写界深度設定情報を作成する。その後、ステップＳ１９において、ＣＰＵ２３は、被写界深度制御処理をオンとする。被写界深度制御処理がオンとされると、補正対象原画像のＲ、Ｇ及びＢ信号から補正画像のＲ、Ｇ及びＢ信号を生成するための、撮像装置１又は１ａ内の部位が動作する。このため、ステップＳ１９において、ステップＳ１８にて作成された被写界深度設定情報に基づき、補正対象原画像のＲ、Ｇ及びＢ信号から補正画像のＲ、Ｇ及びＢ信号が生成される。

ステップＳ１９にて生成された補正画像のＲ、Ｇ及びＢ信号は、カメラ信号処理部１８にてＹ、Ｕ及びＶ信号から成る映像信号に変換された後、圧縮／伸張処理部２１にて圧縮され、得られた圧縮映像信号、即ち補正画像の圧縮画像データ（圧縮された補正画像の画像データ）は、ステップＳ２０において記録媒体２２に記録される。この際、ステップＳ１４にて記録したＲＡＷデータ及び／又は圧縮画像の画像データを記録媒体２２から消去するようにしてもよい。また、ステップＳ１９にて生成された補正画像をＬＣＤ１９に表示してもよい。その後、ステップ２１において被写界深度制御処理がオフにされた後、ステップＳ１１に戻る。

次に、図２２を参照し、再生モードにおいて補正画像が生成される場合における、撮像装置（１又は１ａ）の動作を説明する。図２２は、この動作の流れを表すフローチャートである。ＬＣＤ１９は、画像が表示可能な状態にされる。

まず、再生モードにて生成されるべき補正画像の元となるＲＡＷデータが、ステップＳ３１〜３３にて取得される。ステップＳ３１〜Ｓ３３の処理は、撮影モードにおける処理である。ステップＳ３１において、ＣＰＵ２３は、操作部２４に設けられたシャッタボタン（不図示）が押下されたか否かを監視し、シャッタボタンの押下が確認された時、ステップＳ３２及びＳ３３の処理を行う。ステップＳ３２において、ＣＰＵ２３は、シャッタボタンの押下直後に得られた１枚の原画像分のＲＡＷデータをＤＲＡＭ１３に一時的に記憶させ、そのＲＡＷデータに基づく原画像又は中間生成画像を一時的にＬＣＤ１９の表示画面上に表示させる。更に、ステップＳ３３において、そのＲＡＷデータ及び該ＲＡＷデータに対応する圧縮画像の画像データを記録媒体２２に記録させる。この際、ＲＡＷデータと圧縮画像の画像データを互いに関連付け、１つの画像ファイルに格納した上で記録媒体２２に記録させる。尚、ここにおける圧縮画像とは、ＤＲＡＭ１３に一時記憶されたＲＡＷデータに基づく原画像又は中間生成画像を圧縮／伸張処理部２１にて圧縮した画像である。

ステップＳ３３における記録処理が完了すると、撮像装置（１又１ａ）の動作モードが撮影モードから再生モードに遷移したか否かが確認される。撮像装置（１又１ａ）の動作モードが撮影モードに維持されている場合はステップＳ３１に戻ってステップＳ３１〜Ｓ３３の処理が繰り返し実行され、それが再生モードに遷移した場合は、ステップＳ４１に移行して、以後、Ｓ４１〜Ｓ４８の各処理が実行される。ステップＳ４１〜Ｓ４８の各処理は再生モードにおける処理である。

ステップＳ４１において、ユーザは、記録媒体２２に記録されている１枚又は複数枚の圧縮画像の中から１つを選択する。選択された圧縮画像は、伸張処理を介してＬＣＤ１９に表示される。ステップ４１の選択後、ステップＳ４２にて、被写界深度制御機能が有効になっているかが確認され、それが有効になっている場合はステップＳ４２からステップＳ４３に移行する一方、それが有効になっていない場合はステップＳ４２からステップＳ４１に戻る。ステップＳ４３において、ステップＳ４１にて選択された圧縮画像に関連付けられているＲＡＷデータが記録媒体２２から読み出され、読み出されたＲＡＷデータに基づく原画像が補正対象原画像に設定される。

ステップＳ４３に続くステップＳ４４〜Ｓ４８の処理内容は、図２１のステップＳ１７〜Ｓ２１のそれらと同様であり、図２１を参照して上述した内容がステップＳ４４〜Ｓ４８にも適用される。

即ち、ステップＳ４３に続くステップＳ４４では、補正対象原画像又はそれに基づく中間生成画像をＬＣＤ１９に表示した状態で、ユーザによる、補正対象原画像上の合焦対象を指定する合焦対象指定操作を受け付けると共に被写界深度の深さを指定する深度指定操作も受け付ける。その後、ステップＳ４５において、ＣＰＵ２３は、ステップＳ４４における合焦対象指定操作及び深度指定操作の内容に基づき、第１又は第２実施形態で述べた被写界深度設定情報を作成する。続いてステップＳ４６において、ＣＰＵ２３は、被写界深度制御処理をオンとする。これにより、ステップＳ４６において、ステップＳ４５にて作成された被写界深度設定情報に基づき、補正対象原画像のＲ、Ｇ及びＢ信号から補正画像のＲ、Ｇ及びＢ信号が生成される。

ステップＳ４６にて生成された補正画像のＲ、Ｇ及びＢ信号は、カメラ信号処理部１８にてＹ、Ｕ及びＶ信号から成る映像信号に変換された後、圧縮／伸張処理部２１にて圧縮され、得られた圧縮映像信号、即ち補正画像の圧縮画像データ（圧縮された補正画像の画像データ）は、ステップＳ４７において記録媒体２２に記録される。この際、補正対象原画像に対応し且つ撮影モードにおいて記録されたＲＡＷデータ及び／又は圧縮画像の画像データを記録媒体２２から消去するようにしてもよい。また、ステップＳ４６にて生成された補正画像をＬＣＤ１９に表示してもよい。その後、ステップ４８において被写界深度制御処理がオフにされた後、ステップＳ４１に戻る。

第１〜第３実施形態によれば、大型の一眼レフカメラにおいてのみ取得することが可能であった被写界深度の浅い画像（被写体距離に応じて自然なぼけが再現された画像）を、小型且つ簡素な構成を有するデジタルカメラにおいて生成することが可能となる。また、原画像の撮影後に、任意の被写体にピントが合った、任意の被写界深度を有する補正画像を生成することができる。つまり、撮影後のフォーカス制御が可能となるため、ピント合わせミスによる撮影の失敗をなくすことができる。

尚、本発明に係る撮像装置（１又は１ａ）は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１０、図１８又は図２０に示される各部位が実行する演算処理は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

本発明の実施形態に係り、レンズが有する軸上色収差の特性を説明するための図である。 本発明の実施形態に係り、点光源、軸上色収差を有するレンズ、各色光の結像点及び撮像素子の位置関係を示す図であって、（ａ）は点光源及びレンズ間距離が比較的小さい場合のそれを、（ａ）は点光源及びレンズ間距離が中程度である場合のそれを、（ｃ）は点光源及びレンズ間距離が比較的大きい場合のそれを表す。 本発明の実施形態に係り、点光源、軸上色収差を有するレンズ及び撮像素子の位置関係と、撮像素子上における各色光の像の広がりを示す図である。 本発明の実施形態に係り、軸上色収差を有するレンズを介して得られた撮影画像における色信号の解像度特性を示す図である。 本発明の実施形態に係り、軸上色収差を有するレンズを介して得られた撮影画像における色信号の解像度特性を示す図である。 本発明の第１実施形態に係る撮像装置の全体ブロック図である。 本発明の第１実施形態に係り、原画像から中間生成画像の生成を介して補正画像が生成される原理を説明するための図である。 本発明の第１実施形態の具体例に係る２つの被写体距離（Ｄ₁及びＤ₂）を説明するための図である。 ２つの被写体距離（Ｄ₁及びＤ₂）における２つの被写体と、原画像上における該２つの被写体の像を示す図である。 図６に示される高域成分抽出／距離推定部及び被写界深度拡大処理部の内部ブロック図である。 原画像、中間生成画像及び補正画像上における画素位置の意義を説明するためのである。 図１０の高域成分抽出／距離推定部にて生成される値の特性を示す図である。 図１０の高域成分抽出／距離推定部による被写体距離推定方法を説明するための図である。 図６に示される被写界深度制御部の内部ブロック図である。 図１４の被写界深度制御部にて実行される処理の内容を説明するための図である。 図１４の被写界深度制御部にて実行される処理の内容を説明するための図である。 本発明の第２実施形態に係る撮像装置の全体ブロック図である。 図１７に示される被写界深度制御部の内部ブロック図である。 図１８の被写界深度制御部にて実行される処理の内容を説明するための図である。 図１７に示される被写界深度制御部の変形内部ブロック図である。 本発明の第３実施形態に係り、撮影モードにて補正画像が生成される場合における動作フローチャートである。 本発明の第３実施形態に係り、再生モードにて補正画像が生成される場合における動作フローチャートである。 従来技術に係り、軸上色収差を有さないレンズと撮像素子と撮像素子への入射光との関係を示す図である。 従来技術に係り、軸上色収差を有さないレンズを介して得られた撮影画像における色信号の解像度特性を示す図である。

符号の説明

１、１ａ 撮像装置
１０ 光学系
１１ 撮像素子
１４ デモザイキング処理部
１５、１５ａ 高域成分抽出／距離推定部
１６ 被写界深度拡大処理部
１７、２６、２６ａ 被写界深度制御部

Claims (6)

1. 軸上色収差を有する光学系を介して被写体を撮影する撮像素子と、
   撮影画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、色信号ごとの高域周波数成分の大きさに基づいて、前記撮影画像中の各部分画像領域における被写体距離を推定する被写体距離推定手段と、
   前記撮影画像から補正画像を生成する画像処理手段と、
   前記補正画像に対する被写界深度の深さを指定するとともに、その被写界深度内に位置すべき特定被写体距離を指定することにより、前記補正画像に対する被写界深度を設定する設定手段と、を備え、
   前記画像処理手段は、前記被写体距離推定手段による推定被写体距離と前記設定手段による設定被写界深度に応じた画像処理を前記撮影画像に施すことによって、前記設定被写界深度に従った前記補正画像を生成する
   ことを特徴とする撮像装置。
2. 前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づいて、前記撮影画像及び前記補正画像の夫々の全体画像領域は、対応する推定被写体距離が前記設定被写界深度内に収まる第１部分画像領域と対応する推定被写体距離が前記設定被写界深度外に位置する第２部分画像領域に分類され、
   前記画像処理手段は、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記撮影画像から前記補正画像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記複数色の色信号は、互いに異なる第１、第２及び第３の色信号から成り、
   前記画像処理手段は、
   第１〜第３の色信号の高域周波数成分の大きさの内、最大の大きさに対応する色信号の高域周波数成分を他の２つの色信号に付加することにより、第１〜第３の高域付加後色信号を生成する第１補正手段と、
   前記第１〜第３の高域付加後色信号に対して所定のフィルタリングを施すことにより、前記第１〜第３の高域付加後色信号から前記補正画像を表す第１〜第３の補正色信号を生成する第２補正手段と、を備え、
   前記第２補正手段は、前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づき、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように前記フィルタリングを実行する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮影画像中の各部分画像領域における推定被写体距離から、前記撮影画像中の各部分画像領域における色信号ごとの、前記軸上色収差に由来する点広がり関数が定まり、
   前記画像処理手段は、前記点広がり関数、前記設定被写界深度、及び、前記撮影画像中の各部分画像領域における推定被写体距離に基づき、前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記撮影画像から前記補正画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記画像処理手段は、前記点広がり関数から推定される、前記軸上色収差に由来する前記撮影画像中の各部分画像領域におけるボケ量を、前記補正画像中の各部分画像領域における設定ボケ量へと修正するためのフィルタリングを前記撮影画像の各色信号に対して実行することにより、前記設定ボケ量に応じてぼかされた前記補正画像を生成し、
   前記補正画像において第２部分画像領域内の画像が第１部分画像領域内の画像と比べてぼかされるように、前記設定被写界深度と前記撮影画像中の各部分画像領域における推定被写体距離とに基づいて前記設定ボケ量は定められる
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記撮影画像を表示する表示手段を更に備え、
   前記撮影画像の撮影後、前記撮影画像又は前記撮影画像に基づく画像が前記表示手段の表示画面上に表示され、
   前記設定手段は、その表示が行われている状態において、前記表示画面上の特定被写体を指定する操作を受け付けて前記特定被写体に対応する推定被写体距離から前記特定被写体距離を指定する一方、所定操作を受け付けることによって前記補正画像に対する被写界深度の深さを指定する
   ことを特徴とする請求項１〜請求項５の何れかに記載の撮像装置。

Images