JP5898501B2 - 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データは、隣り合う画素が異なる方向から入射した光束を記録しており、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離の被写体からの光束が収束する焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成することができる。

また、非特許文献１のような方法は、動画像の記録にも適用可能である。即ち、撮影後に、動画出力データから任意の被写体距離に合焦した動画像を生成することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CSTR 2005-02

一方、動画像では撮影中に被写体の移動が生じるため、一般的な撮像装置で撮影された動画撮影では合焦する被写体の移動に合わせて、撮影中に光学系の焦点距離、即ち合焦させる被写体距離の変更が行われる。

しかしながら、上述した非特許文献１のような方法を用いて記録された動画出力データから任意の被写体距離に合焦させた動画像を生成する場合、合焦させる被写体の移動に合わせた被写体距離の変更を行う方法はこれまで提案されていなかった。

本発明は、上述の問題点に鑑みてなされたものであり、撮影後に動画出力データから任意の被写体を追跡して合焦する動画像を生成する画像処理装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
撮像装置により撮影された動画出力データであって、各フレームの画像信号の各画素が、撮像装置の撮像光学系において通過した瞳領域が異なる光束に対応している動画出力データを取得する取得手段と、取得手段により取得された動画出力データのフレームについて、合焦対象の被写体の位置を検出する検出手段と、被写体に合焦する被写体距離を決定する決定手段と、決定手段により決定された被写体距離に合焦したフレームを有する動画像を動画出力データから生成する生成手段と、を有し、決定手段は、動画出力データのフレームの画像信号から、それぞれが撮像光学系の射出瞳の異なる領域を通過した光束に対応する１対の画像を生成し、該１対の画像から算出された被写体の位置におけるデフォーカス量に基づいて、合焦する被写体距離を決定し、動画出力データは、検出手段により検出される被写体のうちの最も撮像装置に近い被写体に合焦する被写体距離が、動画出力データから生成可能な動画像のフレームについて選択可能な被写体距離の最短距離となるように、撮像装置においてフォーカスレンズの駆動位置を決定して撮影されたデータであることを特徴とする。

このような構成により本発明によれば、撮影後に動画出力データから任意の被写体を追跡して合焦する動画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０６と撮像素子の光電変換素子との関係を説明するための図 本発明の実施形態に係るマイクロレンズアレイ１０６と撮像素子の光電変換素子との関係を説明するための別の図 本発明の実施形態に係る撮影レンズの瞳領域と、１つのマイクロレンズに対応する光電変換素子との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される動画撮影処理を例示したフローチャート 本発明の実施形態に係るスルー画像の生成に用いられる画素を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される焦点調整処理を例示したフローチャート 本発明の実施形態に係るデフォーカス量の算出のために用いる２枚の画像を説明するための図 本発明の実施形態に係るフォーカスレンズの駆動目標位置を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行されるリフォーカス動画生成処理を例示したフローチャート 本発明の実施形態に係るリフォーカス画像の生成方法を説明するための図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置及び画像処理装置の一例としての、撮影後に合焦させる被写体距離を変更した動画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮影後に任意の被写体距離に合焦した動画像を生成可能な動画出力データを生成すること、あるいは該動画出力データから任意の被写体距離に合焦した動画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において「静止画出力データ」あるいは「動画出力データ」（以下、２つをまとめて出力データと呼ぶ）とは、後述するように各マイクロレンズに対して撮像素子の複数の受光素子が割り当てられているマイクロレンズアレイを用いた撮影により得られた画像あるいは動画像を示す。１つのマイクロレンズに対して割り当てられた複数の受光素子の各々は、撮像光学系の射出瞳の異なる領域を通過した光束を受光する。即ち、出力データにおいて、１つのマイクロレンズに対して割り当てられた受光素子の出力に対応する画素は、隣り合う画素で像が連続しないことになる。このため本実施形態の出力データは、撮影後に所定の被写体距離に合焦した画像を生成する処理が実行されることで、隣り合う画素で像が連続する画像に変換される。本明細書では、このように撮影後に被写体距離を決定し、出力データから該被写体距離に合焦した画像を生成することを「リフォーカス」と表現するものとする。

＜デジタルカメラ１００の構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示によりＴＧ１０７から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の受光素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各受光素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

（マイクロレンズと受光素子との関係）
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の受光素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の受光素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して６×６＝３６画素の受光素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する受光素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する受光素子２０２ｐ_１乃至ｐ_６に入射する光束を図示している。図は、デジタルカメラ１００の横位置における鉛直方向から見た、各受光素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ受光素子２０２ｐ_１乃至ｐ_６には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を水平方向に６分割した領域ａ_１乃至ａ_６を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する受光素子２０２との対応関係を示している。

なお、図３の例では鉛直方向から見た、各受光素子２０２に入射する光束の光路を示したが、光束の分離は水平方向に限らず、鉛直方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような受光素子２０２のうち、同一の識別数字が付された受光素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０８及びＤＦＥ１０９は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０８は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、デジタル画像データ（静止画出力データあるいは動画出力データ）をＤＦＥ１０９に出力する。ＤＦＥ１０９は、入力された出力データに対して微少な基準レベルのずれ等を補正する。

画像処理部１１０は、ＤＦＥ１０９による補正処理が適用された出力データに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１１０は、出力データから任意の被写体距離に合焦する画像（リフォーカス画像）の生成する処理も行う。任意の被写体距離に合焦する画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

表示部１１１は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１１は、画像処理部１１０により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られる画像データは、隣り合う画素において像が連結しない。このため表示部１１１には、該画像データではなく画像処理部１１０により生成された画像データが表示される。

記録媒体１１２は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１２には、静止画出力データや動画出力データ、及びこれらの出力データから生成された任意の被写体距離に合焦する画像あるいは動画像が記録される。

操作入力部１１３は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１３は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。

＜動画撮影処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の動画撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本動画撮影処理は、例えばデジタルカメラ１００が動画撮影モードに設定された状態で起動された際に開始されるものとして説明する。

Ｓ５０１で、制御部１０１は、撮像部１０６により出力された画像信号に係る出力データを取得する。具体的には制御部１０１は、ＡＦＥ１０８によりＡ／Ｄ変換され、ＤＦＥ１０９による補正処理が適用された出力データを取得し、ＲＡＭ１０３に格納する。

Ｓ５０２で、制御部１０１は、表示部１１１に表示する画像（スルー画像）を、画像処理部１１０に生成させる。具体的には制御部１０１は、ＲＡＭ１０３に格納した出力データを画像処理部１１０に伝送し、スルー画像を生成させる。

本実施形態では、出力データは上述したように隣り合う画素で像が連続していないため、スルー画像は次のようにして生成される。図６は、本実施形態におけるスルー画像の生成に用いられる画素を示した図である。本実施形態のデジタルカメラ１００のようにマイクロレンズアレイ１０５を介して撮像が行われる場合、得られた出力データから変換して得られる画像（スルー画像、任意の被写体距離に合焦する画像等）の画素数は固定値になる。画像への変換において拡大縮小処理等を伴わない場合、得られる画像の画素数はマイクロレンズアレイ１０５のマイクロレンズ２０１の数に等しくなる。即ち、各マイクロレンズ２０１に対応付けられた画素から、変換により得られる画像の１画素が生成されることになる。

図示されるように、本実施形態で生成されるスルー画像の各画素は、マイクロレンズアレイ１０５の各マイクロレンズ２０１に対応付けられた画素のうち、中央に位置する画素を用いて生成される。即ち、スルー画像の各画素は、撮像光学系１０４の射出瞳の中央領域を通過した光束に、それぞれ対応している。つまり、本実施形態で生成されるスルー画像は、撮像光学系１０４が絞り状態にある際に得られる画像と等価であり、被写界深度が深い利点がある。即ち、被写界深度が深いため、後述する顔検出処理において、撮影範囲に含まれる、デジタルカメラ１００との距離が様々な人物の顔を検出しやすくなる。

画像処理部１１０は、入力された出力データから、図６のように各マイクロレンズ２０１に対応付けられた画素のうちの中央に位置する４画素の画素値を、例えば加算平均することによってスルー画像の各画素を生成する。画像処理部１１０により生成されたスルー画像は、制御部１０１によりＲＡＭ１０３に格納された後、表示部１１１に伝送されて表示される。

Ｓ５０３で、制御部１０１は、スルー画像として生成された検出用画像について、人物の顔の検索を行う顔検出処理を実行する。具体的には制御部１０１は、例えば予め記憶されている人物の顔の分布を示す顔パターンをテンプレートとして使用し、パターンマッチングによりスルー画像に含まれる人物の顔画像（顔領域）を検索する。

Ｓ５０４で、制御部１０１は、スルー画像に顔領域が含まれているか否かを判断する。制御部１０１は、Ｓ５０３における顔検出処理により、スルー画像に顔領域が含まれていると判断した場合は処理をＳ５０５に移し、含まれていないと判断した場合は処理をＳ５０６に移す。

Ｓ５０５で、制御部１０１は、デジタルカメラ１００の焦点調整モードを、人物の顔領域について焦点位置の調整を行う「顔ＡＦモード」に設定する。またＳ５０６で、制御部１０１は、デジタルカメラ１００の焦点調整モードを「多点ＡＦモード」に設定する。多点ＡＦモードとは、撮影領域を例えば３×５＝１５の領域に分割し、各分割領域における焦点検出結果と被写体輝度の情報に基づいて、フォーカスレンズの駆動位置を決定して焦点調整を行うモードである。

Ｓ５０７で、制御部１０１は、焦点検出領域を設定する。具体的には制御部１０１は、焦点調整モードが顔ＡＦモードである場合は検出された顔領域を焦点検出領域に設定し、多点ＡＦモードである場合は複数の分割領域を焦点検出領域に設定する。

Ｓ５０８で、制御部１０１は、動画撮影準備に係る操作入力がなされたか否かを判断する。具体的には制御部１０１は、ユーザによりシャッタボタンが半押し状態にされた際に操作入力部１１３から出力される制御信号（ＳＷ１）を受信したか否かを判断する。制御部１０１は、ＳＷ１信号を受信したと判断した場合は処理をＳ５０９に移し、受信していないと判断した場合は処理をＳ５０１に戻す。

Ｓ５０９で、制御部１０１は、焦点検出領域の被写体のデフォーカス量に基づいた焦点調整処理を実行する。本実施形態のデジタルカメラ１００では、撮影により得られた動画出力データから、撮影後に後述するリフォーカス動画生成処理により設定された被写体距離に合焦した動画像を生成できるため、撮影段階では特定の被写体について合焦している必要はない。しかしながら、出力データから生成する任意の被写体距離に合焦する動画像には、マイクロレンズアレイ１０５に依存した、設定可能な被写体距離の範囲（リフォーカス可能な焦点範囲）が存在する。本実施形態では制御部１０１は、撮影後に合焦対象とされうる被写体についての被写体距離が設定可能な焦点範囲に含まれるように、以下の焦点調整処理を実行して撮影時に光学系に設定する焦点位置を決定する。

（焦点調整処理）
ここで、本ステップで行われる焦点調整処理について、図７のフローチャートを参照して詳細を説明する。

Ｓ７０１で、制御部１０１は、ＲＡＭ１０３に格納されている出力データを画像処理部１１０に伝送し、焦点検出領域の各々について、デフォーカス量算出用の１組の画像を生成させる。本実施形態では、焦点検出領域の被写体についてのデフォーカス量を、１つの出力データから生成された２枚の画像から算出する。具体的には画像処理部１１０は、１つのマイクロレンズ２０１に対応する受光素子２０２を図８のように水平方向に２つのグループ８０１と８０２とに２分割する。そして画像処理部１１０は出力データのうち、焦点検出領域に対応するデータについて、各マイクロレンズ２０１に対応付けられた画素の画素値を、分割されたグループごとに以下の式を用いて積算することで、デフォーカス量算出用の１組の画像の各画素を生成する。即ち、画像処理部１１０は、撮像光学系１０４の射出瞳の左半分の領域を通過した光束から得られた画像（Ａ像）と、右半分の領域を通過した光束から得られた画像（Ｂ像）とを生成する。

ここで、各グループについて積算された画素値で生成された２枚の画像は、撮像光学系１０４の射出瞳を２分割（瞳分割）した光束の各々により得られた画像である。２つの光束には、各光束の重心間距離に相当する水平方向の光路のずれが生じている。このため、２つの画像間では像の位置ずれが生じる。このとき、２つの光路は各マイクロレンズにおいて交差するため、合焦している被写体については２つの画像間で像の位置ずれは発生しない。

なお、本実施形態ではデフォーカス量算出用の画像は、１つのマイクロレンズ２０１に対応する複数の受光素子２０２を水平方向に２つのグループに分割して、各グループから生成されるものとして説明した。しかしながら、デフォーカス量算出用の画像の生成方法はこれに限られるものではない。例えば、１つのマイクロレンズ２０１に対応する複数の受光素子２０２を、垂直方向等、所定の方向に２つのグループに分割し、各グループの画素値の積算により、デフォーカス量算出用の画像が生成されてもよい。

Ｓ７０２で、制御部１０１は、焦点検出領域の各々について生成されたデフォーカス量算出用の１組の画像について、像のずれ量を取得する。具体的には制御部１０１は、各焦点検出領域について対をなす画像の像信号を用いて相関演算を行い、像のずれ量（デフォーカス量の逆数）とその際の相関量とを取得する。

Ｓ７０３で、制御部１０１は、各焦点検出領域について被写体に合焦する被写体距離を取得する。具体的には制御部１０１は、まずＳ７０２で取得した像のずれ量の信頼性を、相関演算時に得られた相関量から判断する。制御部１０１は、像のずれ量の信頼性が予め定められた閾値以上あった場合、像のずれ量に対して所定の変換係数を乗じることで、該焦点検出領域の被写体に合焦する被写体距離を得る。制御部１０１は、設定されている焦点検出領域の全てについて、該焦点検出領域の被写体に合焦する被写体距離の取得が終わった後、処理をＳ７０４に移す。

Ｓ７０４で、制御部１０１は、動画撮影におけるフォーカスレンズの駆動位置を決定する。本実施形態では制御部１０１は、設定されている焦点検出領域に含まれる被写体のうち、最も近い被写体に合焦する被写体距離が、撮影後にリフォーカス可能な焦点位置の範囲において合焦可能な最短被写体距離となるように、フォーカスレンズの駆動位置を決定する。

撮影後にリフォーカス可能な焦点範囲は、任意の焦点位置Ｄを中心としたＤ±ΔＤの範囲に設定される。このときΔＤは、マイクロレンズアレイ１０５の各マイクロレンズのＦ値をＦ_ＮＯ、１つのマイクロレンズに対応付けられた画素数をＮ×Ｎ、及び画素ピッチをΔｘとすると、
で算出することができる。即ち、本ステップにおいて制御部１０１は、図９のように最も近い被写体（最至近被写体）に合焦する被写体距離に対応する焦点位置から無限遠方向にΔＤだけ移動した位置が撮影時の焦点位置となるようにフォーカスレンズの駆動位置（駆動目標位置）を決定する。

なお、本実施形態では、フォーカスレンズの駆動位置を最も近い被写体に基づいて決定するものとして説明するが、撮影時のフォーカスレンズの駆動位置の決定方法はこれに限られない。例えば、複数の焦点検出領域が設定されている場合は、各焦点検出領域の被写体に合焦させる場合の焦点位置の中間値に基づいて、フォーカスレンズの駆動位置を決定してもよい。

Ｓ７０５で、制御部１０１は、現在のフォーカスレンズの駆動位置が、Ｓ７０４で決定された駆動目標位置と同一であるか否かを判断する。具体的には制御部１０１は、現在のフォーカスレンズの駆動位置と駆動目標位置との差が、許容値以下であるか否かを判断することにより、現在の駆動位置と駆動目標位置とが同一であるか否かを判断する。制御部１０１は、現在のフォーカスレンズの駆動位置が駆動目標位置と同一であると判断した場合は本焦点調整処理を完了し、異なると判断した場合はＳ７０６でフォーカスレンズの駆動処理を行なった後、処理をＳ７０１に戻す。

このようして撮影範囲の被写体に応じた焦点調整を行なった後、制御部１０１は処理をＳ５１０に移す。

Ｓ５１０で、制御部１０１は、動画撮影開始に係る操作入力がなされたか否かを判断する。具体的には制御部１０１は、ユーザによりシャッタボタンが全押し状態にされた際に操作入力部１１３から出力される制御信号（ＳＷ２）を受信したか否かを判断する。制御部１０１は、ＳＷ２信号を受信したと判断した場合は処理をＳ５１１に移し、受信していないと判断した場合は本ステップの処理を繰り返す。なお、本ステップを繰り返す間、制御部１０１は、新たに撮像部１０６より出力された画像信号に係る出力データの取得、及びスルー画像の表示部１１１への表示を繰り返し行うものとする。

Ｓ５１１で、制御部１０１は、焦点調整処理を実行してフォーカスレンズを駆動目標位置に移動する。

Ｓ５１２で、制御部１０１は、設定されている焦点検出領域について測光処理を行い、露出条件を決定して露出制御を行う。具体的には制御部１０１は、スルー画像として生成された画像の輝度成分を取得し、焦点検出領域において最適な輝度となるように露出条件（露出時間、絞り値）を決定する。そして制御部１０１は、決定した露出条件に応じて露出制御を行い、記録する１フレームに係る動画出力データを取得する。

Ｓ５１３で、制御部１０１は、取得した１フレームに係る動画出力データを記録媒体１１２に記録する。なお、本実施形態では撮影後の動画像生成の基となる動画出力データとして、撮像部１０６から出力された撮像素子の画像信号のデジタルデータ（生の信号出力）が１フレームのデータとして記録媒体１１２に記録されるものとする。

Ｓ５１４で、制御部１０１は、動画撮影終了に係る操作入力がなされたか否かを判断する。具体的には制御部１０１は、ユーザによりシャッタボタンが操作された際に操作入力部１１３から出力される、動画撮影終了に係る制御信号を受信したか否かを判断する。制御部１０１は、動画撮影終了に係る制御信号を受信したと判断した場合は処理を本動画撮影処理を終了し、受信していないと判断した場合は処理をＳ５１１に戻す。

このように、本実施形態のデジタルカメラ１００は、動画撮影処理によって、撮影後に任意の被写体距離に合焦する動画像を生成可能な動画出力データを生成できる。

＜リフォーカス動画生成処理＞
次に、このように生成された動画出力データから、指定された被写体に合焦し続ける動画像を生成する、本実施形態のリフォーカス動画生成処理について、図１０を用いて説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本リフォーカス動画生成処理は、例えばデジタルカメラ１００が再生モードに設定された状態で、選択された動画出力データについての動画像への変換指示に係る制御信号を制御部１０１が受信した際に開始されるものとして説明する。

Ｓ１００１で、制御部１０１は、選択された動画出力データ（選択動画出力データ）の先頭フレームのデータを記録媒体１１２から読み出し、合焦対象の被写体を設定するための画像（設定用画像）を画像処理部１１０に生成させる。本実施形態では該設定用画像は、動画撮影処理におけるスルー画像と同様の方法で生成されるものとする。

Ｓ１００２で、制御部１０１は、生成された設定用画像を表示部１１１に伝送し、合焦対象の被写体の選択を促す通知とともに表示させる。

Ｓ１００３で、制御部１０１は、合焦対象の被写体が選択されたか否かを判断する。具体的には制御部１０１は、撮影範囲に係る設定用画像における合焦対象の被写体の位置を示す情報を操作入力部１１３から受信したか否かを判断する。制御部１０１は、合焦対象の被写体が選択されたと判断した場合は処理をＳ１００４に移し、まだ選択されていないと判断した場合は本ステップの処理を繰り返す。なお、合焦対象の被写体が選択されたと判断した場合、制御部１０１は設定用画像から合焦対象の被写体が含まれる所定の画素数の領域を抽出し、追跡テンプレート画像（パターン画像）としてＲＡＭ１０３に格納する。

Ｓ１００４で、制御部１０１は、生成する動画像の対象フレームが先頭フレームであるか否かを判断する。制御部１０１は、対象フレームが先頭フレームである場合は処理をＳ１００５に移し、それ以外のフレームである場合は処理をＳ１０１０に移す。

Ｓ１００５で、制御部１０１は、対象フレームの出力データを画像処理部１１０に伝送し、選択された合焦対象の被写体の位置に応じて設定された所定の画素数の領域（リフォーカス面検出領域）について、デフォーカス量算出用の１組の画像を生成させる。また制御部１０１は、画像処理部１１０により生成された撮像光学系１０４の射出瞳の左半分の領域を通過した光束から得られた画像（Ａ像）と、右半分の領域を通過した光束から得られた画像（Ｂ像）とを、ＲＡＭ１０３に格納する。

Ｓ１００６で、制御部１０１は、リフォーカス面検出領域について生成されたデフォーカス量算出用の１組の画像について、合焦対象の被写体の像のずれ量を取得する。具体的には制御部１０１は、リフォーカス面検出領域について対をなす画像の像信号を用いて相関演算を行い、像のずれ量（デフォーカス量の逆数）とその際の相関量とを取得する。

Ｓ１００７で、制御部１０１は、リフォーカス面検出領域の合焦対象の被写体に合焦する被写体距離（目標被写体距離：撮像素子からリフォーカス面までの距離に基づく）を決定する。具体的には制御部１０１は、まずＳ１００６で取得した像のずれ量の信頼性を、相関演算時に得られた相関量から判断する。制御部１０１は、像のずれ量の信頼性が予め定められた閾値以上あった場合、像のずれ量に対して所定の変換係数を乗じることで、合焦対象の被写体に合焦する目標被写体距離を得る。

Ｓ１００８で、制御部１０１は画像処理部１１０に、対象フレームの出力データから目標被写体距離に合焦する動画像のフレームデータを生成させる。即ち、リフォーカス面において形成される画像を擬似的に生成する。

ここで、リフォーカス面において形成される画像の各画素について、該画素を通過する光束が出射される撮像レンズの瞳領域と、該光束が入射するマイクロレンズの対応関係について、図１１を用いて説明する。なお、図１１ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、リフォーカス面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、リフォーカス面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域とリフォーカス面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズからリフォーカス面までの距離（αはリフォーカス係数：リフォーカス面の位置を決定するための可変係数）である。

また該光束が受光される受光素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

このように全ての画素について上記積分式を行うことで、画像処理部１１０は目標被写体距離に合焦する動画像のフレームデータを生成できる。制御部１０１は、生成された動画像のフレームデータを記録媒体１１２に記録する。

Ｓ１００９で、制御部１０１は、後続のフレームのデータが選択動画出力データに存在するか否かを判断する。制御部１０１は、選択動画出力データに後続のフレームデータが存在すると判断した場合は対象フレームを次フレームに変更して処理をＳ１００４に移し、存在しないと判断した場合は本リフォーカス動画生成処理を完了する。

一方、Ｓ１００４において生成する動画像の対象フレームが先頭フレームではないと判断した場合は、制御部１０１はＳ１０１０で、合焦対象の被写体を検出するための検出用画像を画像処理部１１０に生成させる。具体的には制御部１０１は、選択動画出力データの対象フレームのデータを記録媒体１１２から読み出して画像処理部１１０に伝送し、検出用画像を生成させる。

Ｓ１０１１で、制御部１０１は、対象フレームの検出用画像に含まれる合焦対象の被写体の位置を検出する。具体的には制御部１０１は、まず対象フレームの検出用画像（対象フレーム画像）と、１０３に格納されている対象フレームの前フレームについて生成された追跡テンプレート画像とを画像処理部１１０に伝送し、それぞれ輝度画像に変換させる。そして制御部１０１は、輝度成分に変換された対象フレーム画像と追跡テンプレート画像とについて２次元相関演算を行い、パターンマッチングによって対象フレームにおける合焦対象の被写体の位置を特定する。

パターンマッチングでは、追跡テンプレート画像と対象フレーム画像の相対的な位置をずらしながら、それぞれの位置における両画像のＹ成分の差分の絶対値の総和Ｓを算出する。例えば、対象フレーム画像Ａを水平Ｍ×垂直Ｎ画素、追跡テンプレート画像Ｂを水平ｍ×垂直ｎ画素とすると、対象フレーム画像の座標（ｉ，ｊ）における差分総和Ｓは、
で表される。このように算出された差分総和Ｓが最小（０の場合は完全一致）となる座標が、２つの画像の相関度が最も高くなる位置であり、制御部１０１はこのような相関演算により、合焦対象の被写体が存在する位置を特定することができる。なお、合焦対象の被写体の位置が特定された後、制御部１０１は対象フレーム画像から合焦対象の被写体が含まれる所定の画素数の領域を抽出し、ＲＡＭ１０３の追跡テンプレート画像を更新して格納して処理をＳ１００４に移す。なお、追跡テンプレート画像は、毎フレーム更新されることが好ましいが、先頭フレームにおいて抽出された画像が継続して用いられてもよい。

以上説明したように、本実施形態の画像処理装置は、撮影後に動画出力データから任意の被写体を追跡して合焦する動画像を生成することができる。具体的には画像処理装置は、撮像光学系と撮像素子との間にマイクロレンズアレイを有する撮像装置で撮影された動画出力データを取得する。画像処理装置は、取得された動画出力データから、撮影範囲における合焦対象の被写体の位置を検出する。そして該合焦対象の被写体に合焦する被写体距離を決定し、該被写体距離に合焦した動画像を動画出力データから生成する。このとき画像処理装置は、動画出力データから、それぞれが撮像光学系の射出瞳の異なる領域を通過した光束に対応する１組の画像を生成し、該１組の画像から算出された合焦対象の被写体の位置におけるデフォーカス量に基づいて、合焦する被写体距離を決定する。

このようにすることで、ユーザが動画像の各フレームについて合焦対象の被写体の選択を行うことなく、自動的に所望の被写体に追跡して合焦する動画像を生成することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 撮像装置により撮影された動画出力データであって、各フレームの画像信号の各画素が、前記撮像装置の撮像光学系において通過した瞳領域が異なる光束に対応している動画出力データを取得する取得手段と、
   前記取得手段により取得された動画出力データのフレームについて、合焦対象の被写体の位置を検出する検出手段と、
   前記被写体に合焦する被写体距離を決定する決定手段と、
   前記決定手段により決定された前記被写体距離に合焦したフレームを有する動画像を前記動画出力データから生成する生成手段と、を有し、
   前記決定手段は、前記動画出力データのフレームの画像信号から、それぞれが前記撮像光学系の射出瞳の異なる領域を通過した光束に対応する１対の画像を生成し、該１対の画像から算出された前記被写体の位置におけるデフォーカス量に基づいて、合焦する前記被写体距離を決定し、
   前記動画出力データは、前記検出手段により検出される被写体のうちの最も撮像装置に近い被写体に合焦する被写体距離が、前記動画出力データから生成可能な動画像のフレームについて選択可能な被写体距離の最短距離となるように、前記撮像装置においてフォーカスレンズの駆動位置を変更して撮影されたデータである
   ことを特徴とする画像処理装置。
2. 前記１対の画像は、フレームの画像信号の画素のうち、前記撮像光学系の瞳領域を所定の方向に分割した領域の各々について、領域を通過した光束に対応する画素の画素値を積算することで生成されることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、フレームの画像信号の画素のうち、前記撮像光学系の瞳領域における中央領域を通過した光束に対応する画素を用いて生成された検出用画像について、前記被写体の位置を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記被写体を選択する選択手段をさらに有し、
   前記検出手段は、前記動画出力データのフレームのうち、前記選択手段により前記被写体が選択されたフレームよりも後のフレームでは、該選択されたフレームの前記検出用画像から抽出された前記被写体のパターン画像を用いて、検出対象のフレームの前記検出用画像における前記被写体の位置をパターンマッチングにより検出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、撮像素子上の画素位置情報を用いて各画素に対応する光束の入射方向を特定する請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 各フレームの画像信号の各画素が、撮像光学系において通過した瞳領域が異なる光束に対応する動画出力データを出力する撮像手段と、
   前記撮像手段により出力された前記動画出力データの１つのフレームについての、前記撮像光学系の瞳領域における中央領域を通過した光束に対応する画素を用いて生成された検出用画像を用いて特定の被写体の位置を検出する検出手段と、
   前記検出手段により検出された特定の被写体の各々について、該被写体に合焦する被写体距離を決定する決定手段と、
   前記決定手段により決定された、前記特定の被写体のうちの最も撮像装置に近い被写体に合焦する被写体距離が、前記動画出力データから生成可能な動画像のフレームについて選択可能な被写体距離の最短距離となるように、前記撮像光学系に含まれるフォーカスレンズの駆動位置を決定し、該駆動位置に前記フォーカスレンズを駆動する駆動手段と、を有する
   ことを特徴とする撮像装置。
7. 取得手段が、撮像装置により撮影された動画出力データであって、各フレームの画像信号の各画素が、前記撮像装置の撮像光学系において通過した瞳領域が異なる光束に対応している動画出力データを取得する取得工程と、
   検出手段が、前記取得工程において取得された動画出力データのフレームについて、合焦対象の被写体の位置を検出する検出工程と、
   決定手段が、前記被写体に合焦する被写体距離を決定する決定工程と、
   生成手段が、前記決定工程において決定された前記被写体距離に合焦したフレームを有する動画像を前記動画出力データから生成する生成工程と、を有し、
   前記決定手段は前記決定工程において、前記動画出力データのフレームの画像信号から、それぞれが前記撮像光学系の射出瞳の異なる領域を通過した光束に対応する１対の画像を生成し、該１対の画像から算出された前記被写体の位置におけるデフォーカス量に基づいて、合焦する前記被写体距離を決定し、
   前記動画出力データは、前記検出工程において検出される被写体のうちの最も撮像装置に近い被写体に合焦する被写体距離が、前記動画出力データから生成可能な動画像のフレームについて選択可能な被写体距離の最短距離となるように、前記撮像装置においてフォーカスレンズの駆動位置を決定して撮影されたデータである
   ことを特徴とする画像処理装置の制御方法。
8. 各フレームの画像信号の各画素が、撮像光学系において通過した瞳領域が異なる光束に対応する動画出力データを出力する撮像手段と、を有する撮像装置の制御方法であって、
   検出手段が、前記撮像手段により出力された前記動画出力データの１つのフレームについての、前記撮像光学系の瞳領域における中央領域を通過した光束に対応する画素を用いて生成された検出用画像を用いて特定の被写体の位置を検出する検出工程と、
   決定手段が、前記検出工程において検出された特定の被写体の各々について、該被写体に合焦する被写体距離を決定する決定工程と、
   駆動手段が、前記決定工程において決定された、前記特定の被写体のうちの最も撮像装置に近い被写体に合焦する被写体距離が、前記動画出力データから生成可能な動画像のフレームについて選択可能な被写体距離の最短距離となるように、前記撮像光学系に含まれるフォーカスレンズの駆動位置を決定し、該駆動位置に前記フォーカスレンズを駆動する駆動工程と、を有する
   ことを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
10. コンピュータを、請求項６に記載の撮像装置の各手段として機能させるためのプログラム。
11. 請求項９または１０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。