JP6320075B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特に光線情報を取り扱う画像処理装置およびその制御方法に関するものである。

近年、画素位置に入射する光の積分強度のみならず、画素位置に入射する光の入射方向ごとの強度を記録する撮像装置が提案され、ライトフィールドカメラなどと呼ばれている（非特許文献１）。例えば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素で１つのマイクロレンズの出射光を受光するように構成すると、各画素では異なる方向からマイクロレンズに入射した光の強度を得ることができる。

このように取得された画素信号（光線情報）は、マイクロレンズの位置における方向別の入射光強度の情報を有する。そのため、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）を生成（再構成）することができる。したがってライトフィールドカメラで撮影した場合は、リフォーカス画像を生成することで、撮影時にはピントが合っていない被写体の認識、特定が可能である。

Ren.Ng、他、"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02、2005.4.20

画像の検索を容易にするため、画像に写っている個人名や画像が関連するイベント名などの付加情報（タグと呼ばれることもある）を画像データに関連付けることが知られている。例えば光線情報に、この光線情報から生成可能な異なる距離に合焦した複数のリフォーカス画像から得られる付加情報を関連付けたとする。

この場合、光線情報から、別の光線情報や画像（派生画像とよぶ）を生成した場合、派生画像に対してどのような付加情報を付加するかが問題となる。元の光線情報に関連付けられていた付加情報をそのまま派生画像にも関連付けた場合、派生画像には対応しない付加情報が含まれる可能性があるからである。

例えば、元の光線情報にはリフォーカス可能な範囲において特定可能な全ての被写体（ここでは人物とする）の名前が付加情報として関連付けられており、派生画像として特定の距離に合焦したリフォーカス画像を生成したとする。この場合、元の光線情報の付加情報には、リフォーカス画像ではピントが合っていない人物の名前が含まれる可能性が生じる。

本発明は従来検討されていなかったこのような課題を解決し、光線情報やその派生画像に対して適切な付加情報を関連付けることが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、光の強度分布及び光の入射方向を示す光線情報を処理する画像処理装置であって、光線情報から派生画像を生成する画像生成手段と、派生画像を解析し、派生画像の特徴を表す情報を取得する解析手段と、派生画像の特徴を表す情報に基づいて、派生画像に付与する付加情報を生成する情報生成手段と、情報生成手段が生成した付加情報を派生画像に付加する付与手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、光線情報やその派生画像に対して適切な付加情報を関連付けることが可能な画像処理装置およびその制御方法を提供することができる。

実施形態１に係る画像処理装置の機能構成例を示すブロック図 実施形態１におけるタグ情報の例を示す図 実施形態１における付加情報編集部の動作を模式的に示す図 実施形態１におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態２に係る画像処理装置の機能構成例を示すブロック図 実施形態２におけるタグ情報の例を示す図 実施形態２における距離情報算出部の動作例を模式的に示す図 実施形態２における付加情報編集部の動作例を模式的に示す図 実施形態２におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態３における派生画像解析部の動作例を模式的に示す図 実施形態３におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態４に係る画像処理装置の機能構成例を示すブロック図 実施形態４におけるタグ情報の例を示す図 実施形態４における被写体認識部の動作例を模式的に示す図 実施形態４におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態５に係る画像処理装置の機能構成例を示すブロック図 実施形態５におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態５における付加情報チェック処理を説明するためのフローチャート 実施形態６に係る画像処理装置の機能構成例を示すブロック図 実施形態６におけるリフォーカス画像生成処理を説明するためのフローチャート 実施形態６における被写体検出処理を説明するためのフローチャート

以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。
●（実施形態１）
図１は、本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
画像処理装置１００は、光の強度分布及び光の入射方向を示す情報を有する、リフォーカス可能な画像信号（光線情報）を入力信号とし、光線情報から任意の距離に合焦したリフォーカス画像を生成して出力可能な装置である。

以下、図４に示すフローチャートも合わせて参照し、画像処理装置１００の構成および動作について説明する。画像処理装置１００はまず光線情報１０１を取得する（Ｓ４０１）。光線情報は例えば、特開２０１１−２２７９６号公報に記載されているような、視点の異なる複数のカメラで撮影された光線情報であってよい。あるいは、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子から得られる光線情報（非特許文献１参照）であってもよい。このような周知の方法のいずれかを用いて光線情報を取得することが可能である。あるいは、例えばメモリカード等の記録媒体やハードディスクなどの記憶装置から読み出してもよいし、ネットワークを通じて他の装置から取得してもよい。あるいは、光線情報１０１を撮影可能な撮像装置から取得してもよい。この場合、撮像装置は画像処理装置の一部であっても、別個の装置であってもよい。取得した光線情報１０１は付加情報取得部１１１および派生画像生成部１１２に供給される。

付加情報取得部１１１は光線情報１０１の付加情報（以下「タグ情報」と呼ぶ）を取得する（Ｓ４０２）。本実施形態においては、タグ情報として、図２に示すように、光線情報１０１のリフォーカス可能な範囲で検出される特定被写体（ここでは人物とする）についての識別情報（氏名など）と距離情報とが付加されているものとする。

一方、派生画像生成部１１２は光線情報１０１を基にした画像もしくは別の光線情報を生成する（Ｓ４０３）。本実施形態において派生画像生成部１１２は、ある距離に合焦した画像（以下「リフォーカス画像」と呼ぶ）を生成するものとする。リフォーカス画像を生成する際の合焦距離は、操作部１１６から受け取る。操作部１１６はスイッチ等で構成され、ユーザの指示やデータの入力を受けつけることができる。

そして、派生画像解析部１１３は、派生画像生成部１１２で生成したリフォーカス画像の被写界深度を算出する（Ｓ４０４）。派生画像解析部１１３は被写界深度をリフォーカス画像の生成の際に使用した合焦距離、光線情報１０１を撮影した際のレンズの焦点距離（画角）と絞り値、光線情報１０１を撮影した撮影機器の撮像センサーのサイズとから算出しても良いし、別の方法でもよい。光線情報１０１の撮影時のレンズおよび撮影機器の情報は、例えば光線情報１０１にタグ情報とは別に付加されている情報から取得してよい。

そして、情報生成手段としての付加情報編集部１１４は、付加情報取得部１１１が取得したタグ情報と、派生画像解析部１１３が算出した被写界深度とから、付加情報取得部１１１が取得したタグ情報から特定のタグ情報を抽出する（Ｓ４０５，Ｓ４０６）。詳細は図３をさらに用いて説明する。
付加情報付与部１１５は、派生画像生成部１１２が生成したリフォーカス画像に、付加情報編集部１１４が抽出したタグ情報を付加して出力画像１０２を生成し（Ｓ４０７）、出力する（Ｓ４０８）。なお、出力画像１０２の用途は特に制限されず、記録媒体に記録されてもよいし、表示装置に表示されてもよいし、外部機器に送信されてもよいし、それらの組み合わせであってもよい。

図２を用いて本実施形態におけるタグ情報の構造例を説明する。
図２（ａ）は光線情報１０１を撮影した視野の一例を示すリフォーカス画像である。光線情報１０１そのものは画像を表さないが、図２（ａ）では理解および説明を容易にするため、光線情報１０１から生成したリフォーカス画像を示している。また、ここでは、光線情報１０１のリフォーカス可能範囲の全域にわたり、被写体２０１〜２０３以外の被写体は識別できないものとする。
図２（ａ）に対応するタグ情報の一例を図２（ｂ）に示す。図２（ｂ）に示すタグ情報は、３人の被写体２０１〜２０３それぞれについて、識別名（Ａ氏、Ｂ氏、Ｃ氏）と、距離情報が関連付けられている。なお、ここでの距離情報は、光線情報１０１を撮影した撮影機器からそれぞれの被写体までの距離（単位は任意）である。

次に、図３を用いて本実施形態における付加情報編集部１１４の動作を説明する。図３（ａ）は、図２（ａ）に示した光線情報１０１の撮影時における被写体２０１〜２０３の位置関係を、横軸に撮影機器からの距離をとって示したものである。

距離３１１〜３１３は光線情報１０１を撮影した撮影機器から被写体２０１〜２０３までの距離をそれぞれ示す。図２（ｂ）のタグ情報から、距離３１１〜３１３はそれぞれ“３０”、”５０”、”９０”である。また、図３（ａ）および（ｃ）には、派生画像生成部１１２にてリフォーカス画像を生成する際に使用した合焦距離３２１と、生成したリフォーカス画像の被写界深度３２２を合わせて示している。

図３（ａ）に示すように付加情報編集部１１４は、タグ情報に示された各被写体の距離情報と、リフォーカス画像の被写界深度とをマッピングし（Ｓ４０５）、被写界深度内に存在する被写体のタグ情報を抽出して付加情報付与部１１５に出力する（Ｓ４０６）。図３に示す例では、被写界深度３２２内に距離３１１と距離３１２が含まれるため、付加情報編集部１１４は被写体２０１と被写体２０２のタグ情報を抽出する（図３（ｂ））。

なお、上述の例では、付加情報編集部１１４は、距離が被写界深度外の被写体についてはタグ情報を抽出しなかった。しかし、被写界深度外であっても被写界深度に近い距離の被写体であれば個人の識別は可能であることを考慮し、被写界深度を拡張してタグ情報の抽出を行うようにしてもよい。

例えば図３（ｃ）に示すように、被写界深度３２２の近位端および遠位端にそれぞれ余裕範囲４２３および４２４を追加し、“余裕範囲４２３＋被写界深度３２２＋余裕範囲４２４”の範囲に含まれる被写体のタグ情報を抽出してもよい。図３（ｃ）の例では、余裕範囲を追加したことで新たな被写体のタグ情報が抽出されることはないが、被写体２０１の少し手前や被写体２０２の少し奥に被写体が存在していればそれらのタグ情報が抽出されるようになる。なお、余裕範囲は被写界深度を近位側もしくは遠位側の少なくとも一方に拡大するように設定することができ、近位側と遠位側の拡張量は同じでも異なってもよい。また、拡張量は絞り値やリフォーカス画像の生成に用いた合焦距離などの条件に応じて変化させてもよい。

このように本実施形態によれば、リフォーカス画像の被写界深度に基づいて光線空間情報の付加情報を抽出することにより、光線情報から生成したリフォーカス画像に適切な付加情報を、光線情報の付加情報を用いて生成することができる。
また、本実施形態は光線情報の付加情報から適切なものを抽出する構成であるため、リフォーカス画像から新たに付加情報を生成するよりも軽い処理で済むという利点がある。

●（実施形態２）
次に、本発明の実施形態２について説明する。図５は、本実施形態に係る画像処理装置の機能構成例を示すブロック図であり、実施形態１の画像処理装置１００と同様の機能ブロックには同じ参照数字を付して重複する説明を省略する。

図１と図５の対比から明らかなように、本実施形態の画像処理装置５００は、実施形態１の画像処理装置１００に対して距離情報算出部５１６を新たに有することと、付加情報編集部１１４’の動作において異なる。また、後述するように、光線情報１０１の付加情報の形式が異なる。従って、以下ではこれら相異点を中心に説明する。

まず、図６を用いて本実施形態における光線情報１０１の付加情報（タグ情報）の構造を説明する。図６（ａ）は、図２（ａ）と同様に光線情報１０１をリフォーカス画像で模式的に示した図である。本実施形態においても実施形態１と同様の被写体が撮影されているが、付加情報の形式が異なっている。具体的には、図６（ｂ）に示すように、各被写体２０１〜２０３に対するタグ情報が、被写体の識別名と、被写体の画像内の位置情報とが関連付けられた形式を有する。ここで、被写体の位置情報は、被写体画像の特徴領域の外接矩形領域を特定する画像座標情報であり、被写体が人物の場合には顔領域の外接矩形領域が特徴領域６１１〜６１３であるものとする。また、特徴領域を特定する画像座標情報は、矩形領域の対角頂点の座標情報であるものとし、ここでは、左上および右下の頂点の画像座標情報であるとする。

なお、人物被写体の特徴領域は、顔領域だけでなく、身体を含めた領域とするなど、他の領域としてもよい。また、被写体が動物であれば人物被写体と同様に扱えばよい。被写体が動物でない場合には、被写体全体の外接矩形領域としてもよい。また、矩形領域に限らず、円形領域や一般的な四角形領域など、他の形状であってもよい。なお、画像座標の原点については予め定められていてもよいし、付加情報に原点位置に関する情報が含まれていてもよい。

図６（ｂ）に示すように、タグ情報は、各被写体について、特徴領域の左上角を座標Ｓｔａｒｔ（ｘ，ｙ）、右下角を座標Ｅｎｄ（ｘ，ｙ）で特定する被写体位置情報として含んでいる。例えば、被写体２０２のタグ情報には、特徴領域６１２の左上角６２２に対応する座標Ｓｔａｒｔ（ｘ，ｙ）と、右下角６３２に対応する座標Ｅｎｄ（ｘ，ｙ）が位置情報として関連付けられている。

以下、図９に示すフローチャートも合わせて参照し、画像処理装置５００の構成および動作について、実施形態１との相異点を重点的に説明する。図９において実施形態１と同様の処理ステップには同じ参照数字を付して説明を省略する。

距離算出手段としての距離情報算出部５１６は、光線情報１０１から距離マップを生成する（Ｓ９０１、Ｓ９０２）。距離情報算出部５１６の動作については、図７を用いて後述する。
付加情報編集部１１４’は、派生画像解析部１１３が算出した被写界深度と、付加情報取得部１１１が取得したタグ情報と、距離情報算出部５１６が生成した距離マップとに基づいて特定のタグ情報を抽出する（Ｓ９０３、Ｓ４０５〜Ｓ４０６）。詳細は図７（ｃ）および図８を用いて説明する。

距離情報算出部５１６の動作の詳細を説明する。距離情報算出部５１６は、図７（ａ）に示すように、まず光線情報１０１から生成されるリフォーカス画像の領域を、予め決められた複数の距離情報取得エリア（「Ｄエリア」と呼ぶ）７０１に分割する。ここで、Ｄエリア７０１の分割数は画像処理装置５００の演算能力や光線情報１０１から生成されるリフォーカス画像のサイズなどに応じて適宜定めることができる。

距離情報算出部５１６は、次にＤエリア７０１に対応する光線情報１０１を用いて、Ｄエリア７０１毎に１つの被写体距離を算出する（Ｓ９０１）。算出方法に特に制限は無いが、例えば派生画像生成部１１２を用いて合焦距離の異なる複数のリフォーカス画像を生成してＤエリア７０１内の画像のコントラスト値を求めたり、Ｄエリア７０１内の各画素位置が合焦する位置を光線情報１０１から求めたりしてよい。

被写体距離は、Ｄエリア７０１の中心にある被写体までの距離としてもよいし、Ｄエリア７０１内の被写体距離の平均値としてもよい。そして、距離マップ生成手段としての距離情報算出部５１６は、撮影範囲の被写体距離の分布をＤエリア７０１単位で示す距離マップを生成する（Ｓ９０２）。図７（ｂ）は距離マップを模式的に示した図であり、同じパターンで塗りつぶされているＤエリアは同じ被写体距離であることを示している。従って、領域７１１、７１２、７１３はそれぞれ被写体距離が同じＤエリアから構成されている。

次に、付加情報編集部１１４’の動作の詳細を説明する。付加情報編集部１１４’は、まずタグ情報に含まれる被写体位置情報と距離情報算出部５１６が生成した距離マップとから、被写体ごとの距離情報を決定する（Ｓ９０３）。具体的には、付加情報編集部１１４’は、図７（ｃ）に示すように、被写体の特徴領域６１１、６１２、６１３ごとに、対応する被写体距離を距離マップから取得し、最も多く含まれる被写体距離を特徴領域の距離（被写体２０１〜２０３の被写体距離）とする。

図７（ｃ）の例では、特徴領域６１１は領域７１１、特徴領域６１２は領域７１２、特徴領域６１３は領域７１３との重なりが最も大きい。従って、付加情報編集部１１４’は、被写体２０１の距離は領域７１１の被写体距離、被写体２０２の距離は領域７１２の被写体距離、被写体２０３の距離は領域７１３の被写体距離とする。

なお、距離マップを用いた特徴領域に対する距離は、他の方法で決定してもよい。例えば、特徴領域に含まれる被写体距離を、重複する面積に応じた重みで加重平均したり、特徴領域の中心部分の被写体距離で代表させたり、他の任意の方法で決定することができる。

そして、付加情報編集部１１４’は、派生画像解析部１１３がＳ４０４で算出した被写界深度と、タグ情報に示された各被写体についてＳ９０３で決定した距離とから、光線情報１０１のタグ情報のうち、実施形態１と同様に特定のタグ情報を抽出する。

図８（ａ）は、本実施形態において被写体２０１〜２０３について被写体位置と距離マップとを用いて決定した距離の関係を図３（ａ）と同様に示している。合焦距離９２１は、派生画像生成部１１２にてリフォーカス画像を生成する際に使用した合焦距離を示す。被写界深度９２２は、派生画像解析部１１３が算出したリフォーカス画像の被写界深度を示す。
図８（ａ）に示すように付加情報編集部１１４’は、被写体２０１〜２０３の特徴領域６１１〜６１３に対して決定した距離（距離マップの領域７１１〜７１３の距離）と、リフォーカス画像の被写界深度とをマッピングする（Ｓ４０５）。そして、被写界深度内に存在する被写体のタグ情報を抽出する（Ｓ４０６）。図８（ａ）に示す例では、被写界深度９２２内に被写体２０１と２０２が含まれるため、付加情報編集部１１４’は光線情報１０１の付加情報から被写体２０１と２０２のタグ情報を抽出し、付加情報付与部１１５に出力する（図８（ｂ））。
その後の付加情報付与部１１５の動作は実施形態１と同様である（Ｓ４０７〜Ｓ４０８）。

本実施形態によっても、リフォーカス画像の被写界深度に基づいて光線空間情報の付加情報を抽出することにより、光線情報から生成したリフォーカス画像に適切な付加情報を、光線情報の付加情報を用いて生成することができる。
また、本実施形態は光線情報の付加情報から適切なものを抽出する構成であるため、リフォーカス画像から新たに付加情報を生成するよりも軽い処理で済むという利点がある。

●（実施形態３）
次に、本発明の実施形態３について説明する。本実施形態の画像処理装置は、派生画像解析部と付加情報編集部の動作が異なる以外、図１に示した画像処理装置１００と同様の機能構成であるため、機能ブロック図は省略する。ただし、本実施形態の画像処理装置は１１０”、派生画像解析部は１１３”、付加情報編集部は１１４”として区別する。

実施形態３において光線情報１０１が有するタグ情報の構造は、実施形態２で図６を参照して説明したものと同様であるので、ここでは説明を省略する。
以下、図１１に示すフローチャートも合わせて参照し、画像処理装置１００”の構成および動作について、実施形態１との相異点を重点的に説明する。図１１において実施形態１と同様の処理ステップには同じ参照数字を付して説明を省略する。

ボケ量マップ生成手段としての派生画像解析部１１３"は、派生画像生成部１１２で生成したリフォーカス画像のボケ量を算出し、ボケ量マップを生成する（Ｓ１１０１〜Ｓ１１０２）。ボケ量の算出例については図１０を使用して後述する。
付加情報編集部１１４"は、付加情報取得部１１１が取得したタグ情報と、派生画像解析部１１３"が生成したボケ量マップとから、付加情報取得部１１１が取得したタグ情報から特定のタグ情報を抽出する（Ｓ１１０３〜Ｓ１１０４）。詳細は図１０を用いて後述する。

図１０を用いて、実施形態３における派生画像解析部１１３"の動作を説明する。
派生画像解析部１１３"は、まずリフォーカス画像１０００を予め決められたボケ量算出エリア（以下「Ｂエリア」と呼ぶ）に分割する。図１０（ａ）は、リフォーカス画像１０００を実施形態２のＤエリアと同様に複数のＢエリア１００１に分割した例を示す。ここで、Ｂエリア１００１の分割数は画像処理装置１００”の演算能力やリフォーカス画像１０００の画像サイズなどに応じて適宜決めることができる。

派生画像解析部１１３"は、リフォーカス画像１０００のＢエリア１００１ごとにボケ量を算出する（Ｓ１１０１）。ボケ量の算出方法に特に制限は無いが、例えばＢエリア１００１にハイパスフィルタを適用し、適用後の画素値（の大きさや平均値など）に応じてボケ量を決定することができる。ハイパスフィルタは高周波成分を強調するフィルタであるため、ボケ量が大きい場合にはフィルタ処理後の画素値の最小値と最大値との差は小さくなる。なお、ハイパスフィルタを適用する方法以外にも、例えばＢエリア１００１のコントラスト値を算出し、コントラストが低いほど大きなボケ量を決定してもよい。また、エッジの幅を求めるなど、他の方法を用いてもよい。

派生画像解析部１１３”は、Ｂエリア１００１ごとのボケ量からボケ量マップを生成する（Ｓ１１０２）。図１０（ｂ）は撮影範囲におけるボケ量の分布をのＢエリア単位で示したボケ量マップを模式的に示し、同じパターンで塗りつぶされているＢエリアは同じボケ量であることを示している。従って、領域１０１１〜１０１４はそれぞれボケ量が同じＢエリアから構成されている。ここで、ボケ量の大小関係は、領域１０１１のボケ量＜領域１０１２のボケ量＜領域１０１３のボケ量＜領域１０１４のボケ量とする。

図１０（ｃ）を用いて実施形態３における付加情報編集部１１４"の動作を説明する。付加情報編集部１１４”は、まずタグ情報に含まれる被写体位置情報と派生画像生成部１１２’が生成したボケ量マップとから、被写体ごとのボケ量を決定する（Ｓ１１０３）。具体的には、付加情報編集部１１４”は、図１０（ｃ）に示すように、被写体の特徴領域６１１、６１２、６１３ごとに、対応するボケ量をボケ量マップから取得し、最も多く含まれるボケ量を特徴領域（被写体２０１〜２０３）のボケ量とする。

図１０（ｃ）の例では、特徴領域６１１は領域１０１１、特徴領域６１２は領域１０１２、特徴領域６１３は領域１０１３との重なりが最も大きい。従って、付加情報編集部１１４”は、被写体２０１のボケ量は領域１０１１のボケ量、被写体２０２のボケ量は領域１０１２のボケ量、被写体２０３のボケ量は領域７１３のボケ量と決定する。

なお、ボケ量マップを用いた特徴領域に対する距離は、他の方法で決定してもよい。例えば、特徴領域に含まれるボケ量を、重複する面積に応じた重みで加重平均したり、特徴領域の中心部分のボケ量で代表させたり、他の任意の方法で決定することができる。

そして、付加情報編集部１１４”は、派生画像解析部１１３が算出した被写界深度と、タグ情報に示された各被写体について決定したボケ量とから、光線情報１０１のタグ情報から特定のタグ情報を抽出する。具体的には付加情報編集部１１４"がボケ量の閾値（以下「ボケ量閾値」と呼ぶ。）を保持し、ボケ量閾値よりも小さいボケ量を持つ被写体のタグ情報を抽出する（Ｓ１１０４）。例えば、領域１０１１のボケ量＜領域１０１２のボケ量＜領域１０１３のボケ量＜領域１０１４のボケ量である場合、付加情報取得部１１１が取得したタグ情報の内、被写体６０１、６０２の情報を抽出する。

ここで、ボケ量閾値は付加情報編集部１１４"が保有していなくてもよい。操作部１１６を通じてボケ量閾値を設定できるようにしたり、リフォーカス画像の解像度などの条件に応じてボケ量閾値の値を変更するようにしたりすることができる。

その後の付加情報付与部１１５の動作は実施形態１と同様である（Ｓ４０７〜Ｓ４０８）。

リフォーカス画像のボケ量に基づいて光線空間情報の付加情報を抽出することにより、本実施形態によっても、光線情報から生成したリフォーカス画像に適切な付加情報を、光線情報の付加情報を用いて生成することができる。
また、本実施形態は光線情報の付加情報から適切なものを抽出する構成であるため、リフォーカス画像から新たに付加情報を生成するよりも軽い処理で済むという利点がある。

●（実施形態４）
次に、本発明の実施形態４について説明する。実施形態１〜３では、光線情報１０１に付加されているタグ情報からリフォーカス画像に適したタグ情報を抽出するものであった。本実施形態は、光線情報１０１のタグ情報を用いずに、派生画像からタグ情報を生成する構成を有する。

図１２は、本実施形態に係る画像処理装置１２０の機能構成例を示すブロック図である。図１２において、図１に示した画像処理装置１００と同様の機能構成には同じ参照数字を付して説明を省略する。以下、図１５に示すフローチャートも合わせて参照し、画像処理装置１２０の構成および動作について、実施形態１との相異点を重点的に説明する。図１５において実施形態１と同様の処理ステップには同じ参照数字を付して説明を省略する。

被写体検出部１１７は、派生画像生成部１１２で生成したリフォーカス画像から複数の被写体を検出し、検出した被写体の情報（以下「被写体検出情報」と呼ぶ）を出力する（Ｓ１５０１）。例えば被写体が人物である場合、人物の顔を検出対象とし、顔領域の座標を被写体検出情報として被写体認識部１１８へ出力することができる。あるいは、被写体検出部１１７は、例えば、顔領域の画像をリフォーカス画像から切り出し、被写体検出情報として被写体検出部１１７へ出力してもよい。

被写体認識部１１８は、被写体検出部１１７で検出した被写体について、データベース部１１９に予め用意された情報を用いて認識し、被写体の識別情報を付加情報として付加情報付与部１１５へ出力する（Ｓ１５０２）。例えば、被写体認識部１１８は、被写体検出部１１７で検出した被写体の画像領域から特徴量を算出し、認識済み被写体の識別情報とその特徴量とを対応付けて保存しているデータベース部１１９を参照することで、被写体を認識する。

図１３を用いて、実施形態４における被写体検出部１１７の動作の一例を説明する。
図１３（ａ）に実施形態１と同様の被写体が撮影されているリフォーカス画像の一例を示す。被写体検出部１１７は、図１３（ａ）のリフォーカス画像から被写体領域として顔領域を検出し、その位置情報を被写体検出情報として出力する。ここで、被写体の位置情報は、被写体の顔領域の外接矩形領域２１１〜２１３を特定する画像座標情報であり、ここでは、左上および右下の頂点の画像座標情報であるとする。

なお、人物被写体の特徴領域は、顔領域だけでなく、身体を含めた領域とするなど、他の領域としてもよい。また、被写体が動物であれば人物被写体と同様に扱えばよい。被写体が動物でない場合には、被写体全体の外接矩形領域としてもよい。また、矩形領域に限らず、円形領域や一般的な四角形領域など、他の形状であってもよい。なお、画像座標の原点については予め定められていてもよいし、付加情報に原点位置に関する情報が含まれていてもよい。

図１３（ｂ）は、被写体検出部１１７が出力する被写体情報の例を示す。図１３（ｂ）に示すように、被写体検出部１１７は、検出した顔領域ごとにそれを特定する座標情報を出力する。外接矩形領域２１１〜２１３のそれぞれについての位置情報として、左上角の座標Ｓｔａｒｔ（ｘ，ｙ）と右下角の座標Ｅｎｄ（ｘ，ｙ）を含んでいる。この状態では被写体は認識されていないため、顔領域の通し番号と座標対とが関連付けられている。

図１４を用いて、実施形態４における被写体認識部１１８の動作の一例を説明する。
被写体認識部１１８は、被写体検出部１１７から得られる被写体領域（顔領域）の位置情報に基づき、リフォーカス画像の各顔領域について特徴量を求める。ここでの特徴量とは顔画像の個人差を示す値であり、例えば、特開２００１−２５６４９６号公報に記載されているような値であってよいが、顔領域から得られ、かつ個人識別に利用可能な任意の値を特徴量として用いることができる。

図１４（ａ）は特徴量の算出処理を模式的に示したものであり、被写体２０１、２０２、２０３の顔領域からそれぞれ特徴量ＡＡＡ、ＢＢＢ、ＣＣＣが得られたことを示している。被写体認識部１１８は、特徴量を算出すると、特徴量を用いてデータベース部１１９をサーチする。

本実施形態においてデータベース部１１９には、図１４（ｂ）に示すように複数の被写体について、識別名（例えば氏名）と特徴量とが関連付けられた認識データが予め用意されている。なお、データベース部１１９は画像処理装置１２０が内蔵している必要は無く、画像処理装置１２０がアクセス可能な任意の場所に存在していてよい。

被写体認識部１１８は、算出した特徴量をクエリとしてデータベース部１１９に問い合わせ、合致するか、閾値以上の類似度の特徴量に関連付けられた１つの識別名を得る。例えば、被写体２０１の特徴量はＡＡＡであるため、識別名“Ａ氏”を、被写体２０２の特徴量はＢＢＢであるため、識別名“Ｂ氏”を、被写体２０３の特徴量はＣＣＣであるため、識別名“Ｃ氏”を、被写体認識部１１８は認識結果として得ることができる。

データベース部１１９に類似度が閾値以上の特徴量が存在せず、識別名を得ることができない場合、“該当なし”など特定の識別名を認識結果としてもよい。あるいは、顔領域を提示しながら、ユーザに識別名を入力させてもよい。この場合、ユーザが入力した識別名は認識結果として用いられるととともに、対応する特徴量と関連付けて新たな認識データとしてデータベース部１１９に追加してもよい。

このようにして取得した認識結果を、被写体認識部１１８は付加情報付与部１１５に出力する。付加情報付与部１１５は、被写体認識部１１８から得た認識結果（被写体の識別名）を付加情報としてリフォーカス画像に付与して出力する。

本実施形態によれば、リフォーカス画像から付加情報を生成することにより、リフォーカス画像に適切な付加情報を付与することができる。
また、本実施形態は光線情報の付加情報を用いないので、光線情報に付加情報が付加されていない場合や、何らかの理由で付加情報が利用できない場合であっても適切な付加情報をリフォーカス画像に付与することができるという利点がある。

●（実施形態５）
以下、本発明の実施形態５について説明する。図１６は、本実施形態に係る画像処理装置４００の機能構成例を示すブロック図である。図１６において、図１に示した画像処理装置１００もしくは図１２に示した画像処理装置１２０と同様の機能構成には同じ参照数字を付して説明を省略する。以下、図１７に示すフローチャートも合わせて参照し、画像処理装置４００の構成および動作について、実施形態１および４との相異点を重点的に説明する。図１７において実施形態１または４と同様の処理ステップには同じ参照数字を付して説明を省略する。

二次被写体認識部４１６は、被写体認識部１１８が生成した付加情報に対してチェック処理を行う（Ｓ１７１０）。付加情報チェック処理は、被写体認識部１１８で認識することができなかった被写体に対し、付加情報取得部１１１が光線情報１０１から抽出したタグ情報を基に、被写体認識処理を実行し、付加情報を更新する処理である。詳細は図１８を用いて後述する。

本実施形態では、実施形態２で図６を用いて説明したようなタグ情報、もしくは図６に示したタグ情報から被写体の位置情報が省かれたタグ情報が光線情報１０１に付加されているものとする。
また、データベース部１１９には、図１４（ｂ）に示した識別データのうち、Ｃ氏の認識データ以外が保存されており、リフォーカス画像は図１３（ａ）に示す画像と同じであるとする。また、被写体認識部１１８が被写体２０１〜２０３に対して算出した特徴量は、図１４に示した実施形態４での特徴量と同じであるとする。
。
本実施形態のデータベース部１１９はＣ氏に関する認識データがないので、被写体２０３について求めた特徴量ＣＣＣをクエリとしてデータベース部１１９に問い合わせても、識別名を得ることはできない。この場合、実施形態４と同様、被写体認識部１１８は“該当なし”を認識結果として出力する。

図１８に示すフローチャートを用いて、図１７のＳ１７０１で二次被写体認識部４１６が行う付加情報チェック処理の一例を詳細に説明する。二次被写体認識部４１６は被写体認識部１１８より受け取る認識結果（付加情報）に対して、タグ情報を用いて付加情報チェック処理を実行する。

Ｓ１８０１で二次被写体認識部４１６は、被写体認識部１１８より受け取った最初の付加情報が”該当なし”か否かを判断し、ＹＥＳの場合は処理をＳ１８０２へ進める。ＮＯと判断された場合は、二次被写体認識部４１６は、処理をＳ１８０５に進める。Ｓ１８０５で二次被写体認識部４１６は未チェックの付加情報が残っているか調べ、未チェックの付加情報があれば処理をＳ１８０１に戻し、未チェックの付加情報が無ければチェック処理を終了し、付加情報を付加情報付与部１１５へ出力する。

Ｓ１８０２で二次被写体認識部４１６は、光線情報１０１から抽出したタグ情報を、付加情報取得部１１１から取得する。

Ｓ１８０３で二次被写体認識部４１６は、Ｓ１８０２で取得したタグ情報の中から、リフォーカス画像で検出されたがデータベース部１１９に認識データが存在しない被写体の識別名を取得する。
この取得方法に特に制限は無いが、例えば光線情報１０１から抽出したタグ情報に特徴量の情報が含まれていれば、データベース部１１９への照会と同様、識別名”該当無し”に対応する特徴量を用いてタグ情報を探索して該当する識別名を取得することができる。また、図６に示したようにタグ情報が各被写体の位置情報を含んでいれば、リフォーカス画像中の被写体位置と合致もしくは特徴領域の重複量もしくは比率が閾値以上である被写体の識別名を取得すればよい。

また、利用可能な情報が無い場合でも、タグ情報に情報が含まれる被写体のうち、被写体認識部１１８で認識されていない被写体が１人であればその被写体を”該当無し”に対応する被写体と特定できる。これは、光線情報１０１のタグ情報はリフォーカス可能範囲で検出される全ての被写体の情報を含んでいるのが通常だからである。

もちろん、画像処理装置が自動的に決定する方法に限らず、ユーザに指定させるようにしてもよい。例えば、光線情報から抽出したタグ情報に含まれる識別名の一覧を、操作部１１６によって選択可能に例えば画像処理装置の表示部に表示し、ユーザが選択した識別名を取得してもよい。識別名の一覧を表示する際、被写体認識部１１８で認識されているものを除いたり、認識されていることを表すマークなどを表示するようにしてもよい。
画像処理装置が自動的に決定できない場合に、ユーザに指定させるようにするなど、複数の方法を組み合わせて用いてもよい。

このようにして、被写体認識部１１８で認識できなかった被写体に対する識別名をタグ情報から取得すると、二次被写体認識部４１６は処理をＳ１８０４に進める。

Ｓ１８０４で二次被写体認識部４１６は、被写体認識部１１８から取得した付加情報の識別名“該当なし”をＳ１８０３で取得した識別名に更新し、処理をＳ１８０５に進める。

本実施形態によれば、リフォーカス画像から付加情報が生成できなかった場合でも、光線情報のタグ情報を用いて被写体の情報を取得することで、リフォーカス画像で必要となるタグ情報を付与することができる。

●（実施形態６）
以下、本発明の実施形態６について説明する。図１９は、本実施形態に係る画像処理装置９００の機能構成例を示すブロック図である。図１９において、図１に示した画像処理装置１００、図１２に示した画像処理装置１２０、もしくは図１６に示した画像処理装置４００と同様の機能構成には同じ参照数字を付して説明を省略する。以下、図２０に示すフローチャートも合わせて参照し、画像処理装置９００の構成および動作について、実施形態１、４との相異点を重点的に説明する。図２０において実施形態１または４と同様の処理ステップには同じ参照数字を付して説明を省略する。

被写体検出部１１７’は、付加情報取得部１１１から出力されるタグ情報と派生画像生成部１１２で生成したリフォーカス画像とを受け、被写体検出処理を実行する（Ｓ２００１）。そして、被写体検出部１１７’は、被写体検出処理によって認識に成功した被写体（Ｓ２００２，ＹＥＳ）のタグ情報を付加情報付与部１１５”’へ、検出できなかった被写体（Ｓ２００２，ＮＯ）の被写体検出情報を被写体認識部１１８へ、それぞれ出力する。

被写体認識部１１８は、被写体検出部１１７’から被写体検出情報を取得した被写体について、実施形態４と同様にデータベース部１１９に登録された情報を用いて認識し、被写体の識別情報を付加情報として付加情報付与部１１５”’へ出力する（Ｓ１５０２）。

付加情報付与部１１５”’は、派生画像生成部１１２が生成したリフォーカス画像に、被写体認識部１１８からの付加情報と被写体検出部１１７’からの付加情報の両方を付与し（Ｓ４０７）、出力画像１０２を生成する（Ｓ４０８）。

本実施形態では、実施形態２で図６を用いて説明したようなタグ情報が光線情報１０１に付加され、データベース部１１９には、図１４（ｂ）に示した識別データが保存されており、リフォーカス画像は図１３（ａ）に示す画像と同じであるとする。

図２１に示すフローチャート用いて、図２０のＳ２００１で被写体検出部１１７’が行う被写体検出処理の一例を詳細に説明する。被写体検出部１１７’は派生画像生成部１１２が生成した派生画像に対して被写体検出処理を実行する。

Ｓ１５０１で被写体検出部１１７’は、実施形態４と同様に、リフォーカス画像に対して被写体検出を実施し、検出された被写体ごとに位置情報（特徴領域を特定する座標情報）を求める。

Ｓ２１０２で被写体検出部１１７’は、Ｓ１５０１で検出した全ての被写体に対してＳ２１０３以降の処理を実行したか否かを判断し、未処理の被写体があれば処理をＳ２１０３へ、未処理の被写体がなければ処理を終了する。

Ｓ２１０３で被写体検出部１１７’は、Ｓ１５０１で検出した座標情報に対応する座標情報が、光線情報１０１から付加情報取得部１１１によって抽出されたタグ情報に含まれているか否かを判断する。ここで、対応するとは一致する場合だけに限らず、座標情報で特定される特徴領域の重複量もしくは比率が閾値以上である場合を含んでもよい。

Ｓ２１０３で被写体検出部１１７’は、対応する座標情報がタグ情報にある場合は処理をＳ２１０４へ、対応する座標情報がタグ情報に無い場合は処理をＳ２１０２に進める。
Ｓ２１０４で被写体検出部１１７’は、Ｓ２１０３で見つかった、座標情報の対応するタグ情報に含まれる被写体の識別名を付加情報として取得する。

上述の通り、被写体検出部１１７’は被写体検出処理を実行した後、座標情報の対応するタグ情報が見つかった（認識に成功した）被写体に関しては、Ｓ２１０４で取得した識別名を付加情報として付加情報付与部１１５”’へ出力する。また、座標情報の対応するタグ情報が見つからなかった（認識に成功しなかった）被写体に関しては、被写体認識部１１８へ被写体の座標情報を出力する。

本実施形態によれば、特徴量を用いた認識処理を行わずにリフォーカス画像と光線情報のタグ情報とから特定可能な被写体については、光線情報のタグ情報を用いて付加情報を生成する。そのため、被写体認識部で行う処理を軽減しながら、リフォーカス画像で必要となるタグ情報を付与することができる。

（その他の実施形態）
上述の実施形態では、派生画像生成部がリフォーカス画像を生成する場合のみを説明したが、元の光線情報よりもリフォーカス可能範囲の狭い光線情報を生成する場合であっても本発明を適用可能である。元の光線情報よりもリフォーカス可能範囲の狭い光線情報は、例えば、視差の違いの小さい画素同士を加算したり、一部の視点や一部の瞳領域を通過する画素からの光線情報を削減したりすることで生成できる。この場合、リフォーカス可能範囲が合焦距離の範囲を示すため、例えば実施形態１，２の場合であれば、リフォーカス可能範囲の近位端から近位側の被写界深度と、遠位端から遠位側の被写界深度との間に含まれる被写体の情報を付加すればよい。他の実施形態においても、リフォーカス可能範囲の少なくとも近位端と遠位端に対応する合焦距離でリフォーカス画像を生成し、各リフォーカス画像についての処理結果を合成すればよい。

また、上述の実施形態に係る画像処理装置の機能ブロックのそれぞれは、ＡＳＩＣなどのハードウェアによって実現されてもよいし、ＭＰＵやＣＰＵのようなプログラマブルプロセッサを機能ブロックと同様に機能させるソフトウェアによって実現されてもよい。この場合、装置の制御を司るＭＰＵやＣＰＵを用いても、別個のＭＰＵやＣＰＵを用いてもよい。あるいは、ソフトウェアとハードウェアの組み合わせで実現されてもよい。また、個別の機能ブロックとして図示されていても、個別のハードウェアおよび／またはソフトウェアに対応することに限定されない。上述の実施形態に係る画像処理装置は、撮像装置、通信装置、情報処理装置など任意の電子機器において実施可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 光の強度分布及び光の入射方向を示す光線情報を処理する画像処理装置であって、
   前記光線情報から派生画像を生成する画像生成手段と、
   前記光線情報から、被写体情報を含んだ付加情報を取得する取得手段と、
   前記派生画像を解析し、前記派生画像の特徴を表す情報を取得する解析手段と、
   前記派生画像の特徴を表す情報に基づいて、前記派生画像に付与する付加情報を生成する情報生成手段と、
   前記情報生成手段が生成した前記付加情報を前記派生画像に付加する付与手段と、
   を有し、
   前記情報生成手段が、前記派生画像の特徴を表す情報に基づく被写体情報を、前記取得手段が取得した付加情報から抽出することにより、前記派生画像に付与する付加情報を生成する、
   ことを特徴とする画像処理装置。
2. 光の強度分布及び光の入射方向を示す光線情報を処理する画像処理装置であって、
   前記光線情報から派生画像を生成する画像生成手段と、
   前記派生画像を解析し、前記派生画像の特徴を表す情報を取得する解析手段と、
   前記派生画像の特徴を表す情報に基づいて、前記派生画像に付与する付加情報を生成する情報生成手段と、
   前記情報生成手段が生成した前記付加情報を前記派生画像に付加する付与手段と、
   を有し、
   前記派生画像は、前記光線情報よりも合焦可能な被写体距離の範囲が狭い光線情報に対応する画像であることを特徴とする画像処理装置。
3. 前記光線情報から、被写体情報を含んだ付加情報を取得する取得手段をさらに有し、
   前記情報生成手段が、前記派生画像の特徴を表す情報に基づく被写体情報を、前記取得手段が取得した付加情報から抽出することにより前記派生画像に付与する付加情報を生成する、
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記派生画像の特徴を表す情報が、前記派生画像の被写界深度であり、
   前記情報生成手段が、前記取得手段が取得した付加情報に含まれる被写体情報のうち、被写体距離が前記被写界深度に含まれる被写体情報を抽出することにより前記派生画像に付与する付加情報を生成する、
   ことを特徴とする請求項１または３記載の画像処理装置。
5. 前記派生画像の特徴を表す情報が、前記派生画像の被写界深度であり、
   前記情報生成手段が、前記取得手段が取得した付加情報に含まれる被写体情報のうち、被写体距離が前記被写界深度を予め定められた拡張した範囲に含まれる被写体情報を抽出することにより前記派生画像に付与する付加情報を生成する、
   ことを特徴とする請求項１または３記載の画像処理装置。
6. 前記派生画像の特徴を表す情報が、前記派生画像の被写界深度であり、
   前記画像処理装置が、前記光線情報と前記付加情報とから、前記付加情報に含まれる被写体情報の各々についての被写体距離を求める距離算出手段をさらに有し、
   前記情報生成手段が、前記取得手段が取得した付加情報に含まれる被写体情報のうち、前記距離算出手段が求めた被写体距離が前記被写界深度に含まれる被写体情報を抽出することにより前記派生画像に付与する付加情報を生成する、
   ことを特徴とする請求項１または３記載の画像処理装置。
7. 前記距離算出手段が、
   前記光線情報から、前記光線情報の撮影範囲の被写体距離の分布を表す距離マップを生成する距離マップ生成手段と、
   前記取得手段が取得した付加情報に含まれる被写体情報に含まれる被写体の位置情報と、前記距離マップとから前記被写体距離を求める算出手段と、
   を有することを特徴とする請求項６記載の画像処理装置。
8. 前記派生画像におけるボケ量の分布を表すボケ量マップを生成するボケ量マップ生成手段と、
   前記取得手段が取得した付加情報に含まれる被写体情報に含まれる被写体の位置情報と、前記ボケ量マップとから、被写体ごとのボケ量を求めるボケ量算出手段と、をさらに有し、
   前記情報生成手段が、前記ボケ量算出手段が求めたボケ量が予め定められた閾値より小さい被写体の被写体情報を抽出することにより前記派生画像に付与する付加情報を生成する、ことを特徴とする請求項１または３記載の画像処理装置。
9. 前記解析手段が、前記派生画像に含まれる予め定められた被写体の情報を前記派生画像の特徴を表す情報として取得し、
   前記情報生成手段は、前記被写体の情報を用いて、前記派生画像に含まれる予め定められた被写体の識別情報を、前記派生画像に付与する付加情報として取得することを特徴とする請求項２記載の画像処理装置。
10. 前記情報生成手段は、予め用意された、被写体の識別情報と被写体の情報とが関連付けられた認識データを用いて、前記識別情報を取得することを特徴とする請求項９記載の画像処理装置。
11. 前記光線情報から、被写体情報を含んだ付加情報を取得する取得手段と、
    前記情報生成手段が前記被写体情報を取得できなかった被写体について、前記取得手段が取得した付加情報から前記派生画像に付与する付加情報を生成する第２情報生成手段と、をさらに有し、
    前記付与手段が、前記情報生成手段と前記第２情報生成手段が生成する付加情報を前記派生画像に付与する、ことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記光線情報から、被写体情報を含んだ付加情報を取得する取得手段と、
    前記派生画像に含まれる予め定められた被写体の特徴を表す情報を用いて、前記派生画像に付与する付加情報を生成する第２情報生成手段と、をさらに有し、
    前記解析手段が、前記予め定められた被写体の位置情報を前記派生画像の特徴を表す情報として取得し、
    前記情報生成手段は、前記位置情報を用いて、前記付加情報に含まれる被写体情報から、前記予め定められた被写体の識別情報を、前記派生画像に付与する付加情報として取得し、
    前記第２情報生成手段は、前記予め定められた被写体のうち、前記情報生成手段によって識別情報が取得できなかった被写体について、前記付加情報を生成する、
    ことを特徴とする請求項９記載の画像処理装置。
13. 前記派生画像は、いずれかの被写体距離に合焦した画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 光の強度分布及び光の入射方向を示す光線情報を処理する画像処理装置の制御方法であって、
    画像生成手段が、前記光線情報から派生画像を生成する画像生成工程と、
    取得手段が、前記光線情報から、被写体情報を含んだ付加情報を取得する取得工程と、
    解析手段が、前記派生画像を解析し、前記派生画像の特徴を表す情報を取得する解析工程と、
    情報生成手段が、前記派生画像の特徴を表す情報に基づいて、前記派生画像に付与する付加情報を生成する情報生成工程と、
    前記情報生成工程で生成された付加情報を付与手段が前記派生画像に付加する付与工程と、
    を有し、
    前記情報生成工程では、前記派生画像の特徴を表す情報に基づく被写体情報を、前記取得工程で取得した付加情報から抽出することにより、前記派生画像に付与する付加情報を生成する、
    することを特徴とする画像処理装置の制御方法。
15. 光の強度分布及び光の入射方向を示す光線情報を処理する画像処理装置の制御方法であって、
    画像生成手段が、前記光線情報から派生画像を生成する画像生成工程と、
    解析手段が、前記派生画像を解析し、前記派生画像の特徴を表す情報を取得する解析工程と、
    情報生成手段が、前記派生画像の特徴を表す情報に基づいて、前記派生画像に付与する付加情報を生成する情報生成工程と、
    前記情報生成工程で生成された前記付加情報を付与手段が前記派生画像に付加する付与工程と、
    を有し、
    前記派生画像は、前記光線情報よりも合焦可能な被写体距離の範囲が狭い光線情報に対応する画像であることを特徴とする画像処理装置の制御方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images