JP2010068018A - 画像処理装置、撮像装置および表示装置 - Google Patents

Abstract

【課題】立体画像内の任意の奥行き方向に任意の２次元画像を挿入することが可能な画像処理装置を提供する。
【解決手段】画像処理部１４において、光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数α１を算出する。また、算出されたリフォーカス係数α１を用いて、撮像データＤ１に対して第１の並び替え処理を行う。そして、その第１の並び替え処理後の撮像データＤ２に対して、所定の２次元画像データ（挿入画像データＤ３）を挿入する画像合成処理を行い、合成画像データＤ４を生成する。これにより、撮像画像内の指定された奥行き面をリフォーカス面とするリフォーカス係数α１を用いて、挿入画像データＤ３の挿入処理（画像合成処理）を行うことができる。
【選択図】図１

Description

本発明は、マイクロレンズアレイを用いた撮像光学系に適用される画像処理装置、ならびにそのような画像処理装置を備えた撮像装置および表示装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、開口絞りを有する撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成されている。これにより、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築できるようになっている。具体的には、例えば取得した撮像データに基づいて、焦点位置を決定する係数（以下、リフォーカス係数という）を用いたリフォーカス（Refocus）演算処理を行うことにより、任意の焦点に設定された画像を再構築することができるようになっている。

一方、撮像画像を用いた３次元表示方法（立体表示方法）として、左右の任意の２視差をとると共に偏光メガネ等を用いた立体表示方法や、撮像画像と、マイクロレンズアレイやレンチキュラーアレイとを組み合わせたインテグラルフォトグラフィー（ＩＰ）方式による裸眼立体表示方法などが挙げられる。また、そのような立体表示に用いる立体画像の作成手法としては、例えば特許文献２のように、ＣＧ（Computer Graphics）による作成手法などが研究されている。

国際公開第０６／０３９４８６号パンフレット 特開平５−２３４７００号公報 Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ここで、立体表示の際に、立体画像内の任意の奥行き面に、任意の２次元画像を挿入して表示するような用途が考えられる。ところが、従来の立体画像の作成手法では、２次元画像を挿入する際に、実画像中の実距離と関連付けることは困難であった。したがって、立体画像内の任意の奥行き方向に任意の２次元画像を挿入することを可能とする立体画像の作成手法の実現が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、立体画像内の任意の奥行き方向に任意の２次元画像を挿入することが可能な画像処理装置、ならびにそのような画像処理装置を備えた撮像装置および表示装置を提供することにある。

本発明の画像処理装置は、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間にこの撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、このリフォーカス係数算出部により算出されたリフォーカス係数を用いて、撮像データに対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データに対して所定の２次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部とを備えたものである。

本発明の撮像装置は、撮像レンズと、受光光線に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間で撮像レンズの焦点面上に配置されると共に、撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイと、撮像素子により得られた撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、上記合成画像生成部とを備えたものである。

本発明の表示装置は、上記画像処理装置と、上記合成画像生成部により生成された合成画像データに基づいて立体映像表示を行う表示部とを備えたものである。

本発明の画像処理装置、撮像装置および表示装置では、光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数が算出される。また、算出されたリフォーカス係数を用いて、撮像データに対して第１の並び替え処理が行われる。そして、その第１の並び替え処理後の撮像データに対して、所定の２次元画像データを挿入する画像合成処理が行われ、合成画像データが生成される。すなわち、撮像画像内の指定された奥行き面をリフォーカス面とするリフォーカス係数を用いて２次元画像データの挿入処理（画像合成処理）がなされるため、生成された合成画像データに基づき、実画像中の実距離と関連付けられた２次元画像を含んだ立体画像の生成が可能となる。

本発明の画像処理装置、撮像装置および表示装置によれば、光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出し、算出されたリフォーカス係数を用いて撮像データに対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データに対して所定の２次元画像データを挿入する画像合成処理を行うことによって、合成画像データを生成するようにしたので、この合成画像データに基づいて、実画像中の実距離と関連付けられた２次元画像を含む立体画像の生成が可能となる。よって、立体画像内の任意の奥行き方向に、任意の２次元画像を挿入することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。この撮像装置１は、撮像対象物２を撮像して画像処理を施すことにより画像データ（合成画像データ）Ｄoutを出力するものであり、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。なお、画像処理部１４が、本発明における「画像処理装置」の一具体例に対応している。

また、本発明の画像処理プログラムは、画像処理部１４における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像（後述のユニット像）が、撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

また、撮像レンズ１１のＦナンバーＦ_ＭＬと、マイクロレンズアレイ１２のＦナンバーＦ_ＭＬＡとは、概ね等しくなっていることが好ましい。これは、図２（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_ＭＬがマイクロレンズアレイ１２のＦナンバーＦ_ＭＬＡよりも小さい場合（Ｆ_ＭＬ＜Ｆ_ＭＬＡの場合）には、隣接するマイクロレンズによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうからである。また一方で、図２（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_ＭＬがマイクロレンズアレイ１２のＦナンバーＦ_ＭＬＡよりも大きい場合（Ｆ_ＭＬ＞Ｆ_ＭＬＡの場合）には、マイクロレンズによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうからである。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。例えば、受光面上の画素数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうちｍ×ｎ＝１２×１２＝１４４個の画素に対して一つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

なお、撮像素子１３の受光面上には、例えば図示しないカラーフィルタを、撮像画素単位で２次元配置するようにしてもよい。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができる。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、後述する所定の画像処理を施すことにより、所定の２次元画像データが挿入された合成画像データＤoutを生成するものである。なお、この画像処理部１４の詳細な構成については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図３を参照して、画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を表したものである。この画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、リフォーカス係数算出部１４３、合成画像生成部１４４、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８から構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。

クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。また、クランプ処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。

リフォーカス係数算出部１４３は、クランプ処理部１４２から供給される撮像データＤ１に基づいて、合成画像生成部１４４における並び替え処理に用いられるリフォーカス係数αを算出するものである。このリフォーカス係数αは、撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面としたものに対応するようになっている。なお、このリフォーカス係数算出部１４３の詳細動作については、後述する。

合成画像生成部１４４は、リフォーカス係数算出部１４３により算出されたリフォーカス係数αを用いて、クランプ処理部１４２から供給される撮像データＤ１に対して、所定の並べ替え処理を施すことにより、所定の２次元画像データ（挿入画像データＤ３）との合成画像データＤ５を生成するものである。具体的には、リフォーカス係数αを用いて撮像データＤ１に対して並び替え処理（第１の並び替え処理）を行うと共に、その第１の並び替え処理後の撮像データ（後述する撮像データＤ２）に対して挿入画像データＤ３を挿入する画像合成処理を行うことにより、合成画像データ（後述する合成画像データＤ４）を生成するようになっている。また、それと共に、リフォーカス係数αの逆数からなるリフォーカス係数（１／α）を用いて、合成画像データＤ４に対して並び替え処理（第２の並び替え処理）を行うと共に、そのような第２の並び替え処理後の合成画像データに対して、マイクロレンズアレイ１２におけるマイクロレンズの撮像領域ごとに画像反転処理を行うことにより、合成画像データ（後述する合成画像データＤ５）を生成・出力するようになっている。なお、合成画像生成部１４４の詳細動作については、後述する。

ノイズ低減処理部１４５は、合成画像生成部１４４により供給される合成画像データＤ５に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。

輪郭強調処理部１４６は、ノイズ低減処理部１４５により供給される合成画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス処理部１４７は、輪郭強調処理部１４６により供給される合成画像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス処理）を行うものである。

ガンマ補正処理部１４８は、ホワイトバランス処理部１４７により供給される合成画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、合成画像データＤoutを生成するものである。

次に、図１〜図１１を参照して、本実施の形態の撮像装置１の作用および効果について説明する。

この撮像装置１では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて撮像素子１３上の異なる位置で受光され、例えば図４に示したように、開口絞り１０の開口形状に相似形となる撮像対象物２の像（ユニット像）１３−１がマイクロレンズごとに結像する。なお、このユニット像１３−１、すなわち一つのマイクロレンズに割り当てられた画素Ｐによって構成される領域（再構築画素領域１３Ｄ）が、再構築される画像の一画素分に相当する。

ここで、撮像素子１３で受光される光線について図５を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとする。すると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Ｐの配置によって光線の入射方向が決まることとなる。

このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。

撮像データＤ０が画像処理部１４へ入力されると、欠陥補正部１４１が欠陥補正を行ったのち、クランプ処理部１４２がクランプ処理を施す。これにより、クランプ処理後の撮像データＤ１が、リフォーカス係数算出部１４３へ入力される。

ここで、図６〜図１１を参照して、本発明の特徴的部分の１つである、リフォーカス係数の算出処理および画像合成処理（リフォーカス係数算出部１４３および合成画像生成部１４４の動作）について詳細に説明する。図６は、本実施の形態のリフォーカス係数の算出処理および画像合成処理を流れ図で表したものである。また、図７〜図１１は、このようなリフォーカス係数の算出処理および画像合成処理を説明するための一例を写真図で表したものである。

まず、リフォーカス係数算出部１４３は、撮像データＤ１に対応する撮像画像内の基準位置のリフォーカス係数α０を求める（図６のステップＳ１０１）。具体的には、以下のようにして行う。なお、ここでは、例えば図７（Ａ）〜図７（Ｄ）に示したように、撮像画像内の基準位置である地球儀よりも距離Ｚだけ手前側（撮像画像データＤ１に対して、リフォーカス係数α１を用いて後述するリフォーカス演算処理を施した場合のリフォーカス面上；図７（Ｄ）に示したリフォーカス面上に対応）における所定の位置に、２次元画像データである挿入画像データＤ３を挿入して合成画像データを生成する場合を想定するものとする。この場合、具体的にはコントラスト方式等の合焦判定処理を用いて、例えば図７（Ｃ）に示したように、撮像画像内の基準位置である地球儀に合焦するリフォーカス面に対応するリフォーカス係数α０を求める。より具体的には、コントラスト方式による合焦判定処理では、リフォーカス係数を逐次変化させながらリフォーカス演算処理（積分処理までを行って合焦判定を行う）を繰り返すことにより、撮像画像内の基準位置である地球儀においてコントラストが最大となるようなリフォーカス係数を求めるようになっている。なお、挿入画像データＤ３としては、実写による画像データやＣＧにより作成した画像データの他、本実施の形態の撮像装置１（Light Fieldカメラ）により撮像された立体表示用画像データなどを用いることが可能である。

次に、リフォーカス係数算出部１４３は、挿入画像データＤ３の挿入位置（例えば、ユーザによって指定された任意の奥行き面）のリフォーカス係数αを求める（ステップＳ１０２）。ここでは、図７（Ｄ）に示したように、地球儀よりも距離Ｚだけ手前側にある奥行き面（挿入画像データＤ３を挿入したい奥行き面）のリフォーカス係数α１を求める。具体的には、まず、以下の（１）式を用いて、上記合焦判断処理により得られたリフォーカス係数α０に対応するリフォーカス面（撮像データＤ１に対応する撮像画像内の基準位置）から撮像レンズ１１までの距離ｄを算出する。そして、以下の（２）式を用いて、地球儀よりも距離Ｚだけ手前側にある奥行き面（撮像レンズ１１との距離＝（ｄ−Ｚ））のリフォーカス係数α１を算出する。これにより、光線の進行方向を保持ししてなる撮像データＤ１に基づいて、この撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面とする、リフォーカス係数α１が算出される。
（１／Ｆ）＝（１／ｄ）＋（１／α０・ｆ） …（１）
（１／Ｆ）＝｛１／（ｄ−Ｚ）｝＋（１／α１・ｆ） …（２）

次に、合成画像生成部１４４は、リフォーカス係数算出部１４３により求められたリフォーカス係数α１を用いて、撮像データＤ１に対して並べ替え処理（第１の並び替え処理）を行う（ステップＳ１０３）。これにより、例えば図８に示したように、リフォーカス係数α１に対応するリフォーカス面上に合焦する撮像データＤ２が生成される。

次に、合成画像生成部１４４は、この撮像データＤ２内の所定位置に挿入画像データＤ３を挿入する画像合成処理を行う（ステップＳ１０４）。具体的には、例えば図８に示したように、撮像データＤ２内の領域Ｐ１内の所定位置Ｐ２上に、挿入画像データＤ３を挿入する（ステップＳ１０４）。これにより、例えば図９（Ａ）に示したような合成画像データＤ４（合成画像）が生成される。

次に、合成画像生成部１４４は、フォーカス係数算出部１４３により求められたリフォーカス係数α１の逆数からなるリフォーカス係数（１／α１）を用いて、合成画像データＤ４に対して並び替え処理（第２の並び替え処理）を行う（ステップＳ１０５）。これにより、撮像時の基準焦点位置であるフォーカス面に合焦する合成画像データが生成される。

そして、次に合成画像生成部１４４は、そのような第２の並び替え処理後の合成画像データに対して、マイクロレンズアレイ１２におけるマイクロレンズの撮像領域（図３に示した再構築画素領域１３Ｄに対応）ごとに、上下左右方向の画像反転処理を行う（ステップＳ１０６）。これにより、例えば図９（Ｂ）に示したような合成画像データＤ５（合成画像）が生成される。

このようにして生成された合成画像データＤ５では、以下説明するリフォーカス演算処理（積分処理）がなされることにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面）に設定された画像（再構築画像）が生成される。すなわち、例えば図１０（Ａ）〜図１０（Ｄ）に示したように、リフォーカス係数α０，α１，α２を用いたリフォーカス演算処理により、それぞれのリフォーカス係数に対応するリフォーカス面上に合焦する再構築画像が生成される。ここでは、例えば図１０（Ｄ）に示したように、確かに、リフォーカス係数α１に対応するリフォーカス面上において、挿入画像データＤ３の画像が合焦していることが分かる。

このリフォーカス演算処理は、具体的には、図１１に示したようにしてなされる。すなわち、まず、リフォーカス係数αによって規定されるリフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（３）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（４）式のように表される。したがって、この（４）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面１２０）に設定された画像が再構築される。

なお、その後は、合成画像生成部１４４から出力される合成画像データＤ５に対して、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８により上述のような所定の処理が施され、これにより合成画像データＤoutが生成・出力される。

以上のように本実施の形態では、画像処理部１４において、光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数α１を算出し、算出されたリフォーカス係数α１を用いて撮像データＤ１に対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データＤ２に対して所定の２次元画像データ（挿入画像データＤ３）を挿入する画像合成処理を行うことによって、合成画像データＤ４を生成するようにしたので、撮像画像内の指定された奥行き面をリフォーカス面とするリフォーカス係数α１を用いて、挿入画像データＤ３の挿入処理（画像合成処理）を行うことができる。よって、この合成画像データＤ４に基づいて、実画像中の実距離と関連付けられた２次元画像を含む立体画像（例えば、合成画像データＤ５）の生成が可能となり、立体画像内の任意の奥行き方向に、任意の２次元画像を挿入することができる。

すなわち、そのような立体画像に基づいて立体映像表示を行う場合に、立体像よりも手前側や奥側といったあいまいな基準ではなく、対象物からの相対距離により規定された正確な位置（実画像中の実距離により規定された位置）に２次元画像を挿入することができ、新しい立体映像の表現が可能となる。

また、具体的には、リフォーカス係数算出部１４３において、撮像データＤ１に基づいてこの撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面とするリフォーカス係数α１を算出するようにしたので、上記のような効果が得られる。

また、実際の立体画像と所望の位置に挿入する２次元画像とを関連付けることにより、新しい３次元入力インターフェースや新しい立体映像の演出が可能になる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図１２は、本実施の形態の画像処理部１４Ａの機能ブロック構成を表したものである。この画像処理部１４Ａは、第１の実施の形態で説明したリフォーカス係数算出部１４３の代わりに、リフォーカス係数算出部１４３−１を設けるようにしたものである。

リフォーカス係数算出部１４３−１は、第１の実施の形態のリフォーカス係数算出部１４３と同様に、クランプ処理部１４２から供給される撮像データＤ０に基づいて、合成画像生成部１４４における並び替え処理に用いられるリフォーカス係数αを算出するものである。ただし、このリフォーカス係数算出部１４３−１は、距離情報抽出部１４３Ａと、リフォーカス係数設定部１４３Ｂとを有している。

距離情報抽出部１４３Ａは、撮像データＤ１に基づいて、所定の距離情報ｄ（撮像レンズ１１から、撮像データＤ１に対応する撮像画像内における任意の基準位置までの距離ｄの情報）を抽出するものである。この距離情報抽出部１４３Ａは、例えば、以下のような位相差検出部および距離情報算出部（いずれも図示せず）を含んで構成されている。

位相差検出部は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、互いに視差の異なる複数の視差画像（異なる視点による任意視点画像）を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出するものである。なお、位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。

距離情報算出部は、位相差検出部によって検出された位相差に基づいて、撮像レンズ１１と合焦させたいリフォーカス面との間の距離情報ｄ（撮像レンズ１１から上記基準位置までの距離ｄの情報）、すなわち、リフォーカス時の撮像レンズの物体側の焦点距離を算出するものである。

リフォーカス係数設定部１４３Ｂは、距離情報抽出部１４３Ａにより抽出された距離情報ｄに基づいて、合成画像生成部１４４における並び替え処理に用いられるリフォーカス係数α（挿入画像データＤ３を挿入したい奥行き面に対応するリフォーカス係数）を設定するものである。

次に、図１２〜図１７を参照して、本実施の形態の撮像装置の作用および効果について説明する。なお、撮像装置の基本動作については第１の実施の形態と同様であるため、リフォーカス係数の算出処理および画像合成処理（リフォーカス係数算出部１４３−１および合成画像生成部１４４の動作）について詳細に説明する。ここで、図１３は、本実施の形態のリフォーカス係数の算出処理および画像合成処理を流れ図で表したものである。

まず、距離情報抽出部１４３Ａが、撮像データＤ１に基づいて距離情報ｄを求め（図１３のステップＳ２０１）、次にリフォーカス係数設定部１４３Ｂが、この距離情報ｄに基づいて、挿入画像データＤ３の挿入位置（例えば、ユーザによって指定された任意の奥行き面）のリフォーカス係数αを求める（ステップＳ２０２）。これにより、第１の実施の形態と同様にして、光線の進行方向を保持ししてなる撮像データＤ１に基づいて、この撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面（例えば、地球儀よりも距離Ｚだけ手前側にある奥行き面（撮像レンズ１１との距離＝（ｄ−Ｚ））とする、リフォーカス係数α１が算出される。

ここで、図１４〜図１７を参照して、距離情報抽出部１４３Ａおよびリフォーカス係数設定部１４３Ｂの動作の詳細について説明する。

距離情報抽出部１４３Ａでは、まず、位相差検出部が、クランプ処理部１４２により供給される撮像データＤ１に基づいて、互いに視差の異なる複数の視差画像を生成する。そして、生成された複数の視差画像のうち少なくとも２つの視差画像間の位相差、例えば図１４に示したような、２つの視差による光線ＬＲによる視差画像と光線ＬＬによる視差画像との間の位相差Δφ（光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）を検出する。

具体的には、光線ＬＲによる視差画像ＤＲと光線ＬＬによる視差画像ＤＬとの位相差は、例えば以下のようなDisparityとして算出される。例えば、図１５（Ａ）に示したように、位相差検出部はまず、視差画像ＤＲ内の小領域の部分画像Ａ１（中心座標：（ｘ１，ｙ１））を取り出す。次に、図１５（Ｂ）に示したように、部分画像Ａ１と同じ小領域の部分画像Ｂ１（中心座標：（ｘ１，ｙ１））を視差画像ＤＬの中から取り出し、この部分画像Ｂ１の位置を移動させつつ、以下の（１１）式による画素相関値を逐次計算する。そして、この画素相関値が最大となる位置の部分画像Ｂ１の中心点が、部分画像Ａ１の中心点に対応する点として検出される。このときのPixelずれが、上記したDisparityに対応する。また、このような演算処理が、小領域の部分画像Ａ１の取り出し位置を変化させつつ、視差画像ＤＲの全面についてなされることにより、Disparity Map（Disparityの集合）が得られる。

次に、距離情報算出部が、位相差検出部により検出された２つの視差画像ＤＲ，ＤＬ間の位相差（Disparity）を用いて、以下の（１４）〜（１９）式により、測定対象までの距離ｄ（距離情報ｄ）を算出する。ここでは、図１６に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、Disparityを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を開口の大きさｖを用いて計算した（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（マイクロレンズアレイ１２の一辺の長さに割り当てられた画素数））の値をｈとしている。

すなわち、まず、相似関係により、以下の（１２）式が得られる。また、図１６により、ｅ＝（ｇ−ｆ）であるため、これを（１２）式に代入することにより、以下の（１３）式が得られ、この（１３）式により以下の（１４）式が得られる。また、撮像レンズ１１の結像式により、以下の（１５）式および（１６）式が得られるため、（１５）式を（１４）式に代入することにより以下の（１７）式が得られ、（１６）式により以下の（１８）式が得られる。したがって、（１８）式を（１７）式に代入することにより、以下の（１９）式が得られるため、この（１９）式中においてＦ，Ｄ，ｖの値が既知のものであれば、Disparityに基づいて距離ｄが算出される。
（ｈ／ｅ）＝（ｖ／ｇ） …（１２）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ） …（１３）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝ …（１４）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ） …（１５）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ） …（１６）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］ …（１７）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝ …（１８）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］
…（１９）

このようにしてDisparityを用いて算出された距離ｄについての情報（距離情報ｄ）は、リフォーカス係数設定部１４３Ｂに入力される。そして、リフォーカス係数設定部１４３Ｂは、この距離ｄに基づいて、リフォーカス係数α（例えば、地球儀よりも距離Ｚだけ手前側にある奥行き面（撮像レンズ１１との距離＝（ｄ−Ｚ））に対応するリフォーカス係数α１）を決定する。具体的には、図１７（Ａ）に示したように、撮像レンズ１１の物体側焦点面が距離Ｄだけ離れた位置にある状態で撮像された場合、図１７（Ｂ）に示したように、撮像レンズ１１から距離（ｄ−Ｚ）だけ離れた位置にある平面のリフォーカス像を得るためのリフォーカス係数α１は、上記（１６）式および前述の（２）式を用いて算出される。このようにして算出されたリフォーカス係数α（例えば、リフォーカス係数α１）は、撮像データＤ１および挿入画像データＤ３と共に、合成画像生成部１４４へ入力される。

なお、その後は、第１の実施の形態で説明したステップＳ１０３〜Ｓ１０６と同様にして、第１の並び替え処理、画像合成処理、第２の並び替え処理および画像反転処理がこの順に行われることにより、合成画像データＤ５が生成される（ステップＳ２０３〜Ｓ２０６）。

以上のように本実施の形態では、リフォーカス係数算出部１４３−１において、撮像データＤ１に基づいて、撮像レンズ１１から所定の基準位置までの距離情報ｄを抽出すると共に、この距離情報ｄに基づいて、指定されたリフォーカス面に対応するリフォーカス係数αを設定するようにしたので、合焦させたいリフォーカス面への焦点移動を、リフォーカス係数の逐次変更によって繰り返し行うことなく、適切なリフォーカス係数αを瞬時に求めることができる。これにより、第１の実施の形態と同様に、対象物からの相対距離により規定された正確な位置（実画像中の実距離により規定された位置）に２次元画像を挿入する際に、２次元画像を素早く挿入することが可能となる。

なお、本実施の形態では、距離情報抽出部１４３Ａにおいて、互いに視差の異なる２つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、３つ以上の視差画像に基づいて位相差を検出するようにしてもよい。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、第１または第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図１８は、本実施の形態の画像処理部１４Ｂの機能ブロック構成を表したものである。また、図１９は、本実施の形態のリフォーカス係数の算出処理および画像合成処理を流れ図で表したものである。この画像処理部１４Ｂは、第２の実施の形態で説明したリフォーカス係数算出部１４３−１の代わりに、リフォーカス係数算出部１４３−２を設けるようにしたものである。

リフォーカス係数算出部１４３−２は、第１の実施の形態のリフォーカス係数算出部１４３および第２の実施の形態のリフォーカス係数算出部１４３−１とは異なり、例えばユーザによって指定された距離情報Ｍｄ（撮像レンズ１１からリフォーカス面（挿入画像データＤ３を挿入したい奥行き面）までの距離（絶対距離）Ｍｄの情報）に基づいて、合成画像生成部１４４における並び替え処理に用いられるリフォーカス係数αを算出するものである。このリフォーカス係数算出部１４３−２は、第２の実施の形態のリフォーカス係数算出部１４３−１とは異なり、リフォーカス係数設定部１４３Ｂのみを有している。

リフォーカス係数設定部１４３Ｂは、指定された距離情報Ｍｄに基づいて、合成画像生成部１４４における並び替え処理に用いられるリフォーカス係数α（挿入画像データＤ３を挿入したい奥行き面に対応するリフォーカス係数）を設定するものである。具体的には、この距離Ｍｄに基づいて、以下の（２０）式を用いることにより、リフォーカス係数α（例えば、リフォーカス係数α１）を算出するようになっている（図１９のステップＳ３０１）。
（１／Ｆ）＝（１／Ｍｄ）＋（１／α１・ｆ） …（２０）

なお、その後は、第１の実施の形態で説明したステップＳ１０３〜Ｓ１０６、および第２の実施の形態で説明したステップＳ２０３〜Ｓ２０６と同様にして、第１の並び替え処理、画像合成処理、第２の並び替え処理および画像反転処理がこの順に行われることにより、合成画像データＤ５が生成される（ステップＳ３０２〜Ｓ３０５）。

以上のように本実施の形態では、リフォーカス係数算出部１４３−２において、指定された距離情報Ｍｄに基づいてリフォーカス係数αを設定するようにしたので、第１および第２の実施の形態とは異なり、絶対距離により規定された正確な位置（実画像中の実距離により規定された位置）に２次元画像を挿入することができ、新しい立体画像の表現が可能となる。

（適用例）
本発明の撮像装置は、例えば、以下説明するような立体表示装置の他、カムコーダや位置センサ、生体センサ、光学顕微鏡およびＦＴＶ（Free viewpoint TV）などの用途の撮像装置に適用することができる。

図２０は、上記実施の形態の撮像装置を搭載した立体表示装置（立体表示装置４）のブロック構成を表したものである。この立体表示装置４は、被写体２の立体像（３Ｄ映像）を表示するものであり、撮像装置１と、この撮像装置１から出力される合成画像データＤoutに基づいて画像表示を行う表示パネル４１と、この表示パネル４１の前面（表示パネル４と視聴者５との間）に配置されたマイクロレンズアレイ４２とを備えている。ここで、表示パネル４１としては、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。なお、表示パネル４１およびマイクロレンズアレイ４２が、合成画像データＤoutに基づいて立体映像表示を行う「表示部」の一具体例に対応する。

この立体表示装置４では、被写体２の各点からあらゆる方向に発せられる光線を記録しておくことにより、表示の際に、被写体２が発する光線と同じ光線場が再現される。これにより、視聴者５には、実際に被写体２を見ている時と同じ光線が目に入るため、立体映像として視聴可能となる。なお、この立体表示装置４では、撮影時と表示時とでは、レンズアレイ（マイクロレンズアレイ１２，４２）が逆側となるため、要素画像ごとに、上下左右の位置を反転する処理（上記実施の形態で説明した画像反転処理）が必要となる。

また、上記実施の形態の撮像装置１により生成された合成画像データＤoutが表示されるため、実画像中の実距離と関連付けられた２次元画像を含む立体画像を、実際に立体映像表示することが可能となる。

なお、本適用例では、立体映像表示方法の一例としてＩＰ方式を用いて説明したが、その他、左右の眼にそれぞれ異なる画像を提示するようにしてもよい。

以上、第１〜第３の実施の形態、ならびにそれらの適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等で説明した画像反転処理は、第２の並び替え処理後だけでなく、合成画像生成部１４４における任意の処理段階で行うことが可能である。すなわち、合成画像生成部１４４は、撮像データＤ１、第１の並び替え処理後の撮像データＤ２、合成画像データＤ４、または第２の並び替え処理後の合成画像データＤ５に対して、画像反転処理を行うことが可能である。また、このような画像反転処理は、上記適用例で説明したような立体映像表示を目的としない場合には、行わないようにしてもよい。

また、合成画像生成部１４４は、第１の並び替え処理および画像合成処理の際に、挿入画像データＤ３内の領域に応じて複数のリフォーカス係数（例えば、リフォーカス係数α１，α２，α３，…）を用いて、合成画像データＤ４，Ｄ５を生成するようにしてもよい。具体的には、挿入画像データＤ３を部分的に順次挿入することにより、挿入画像データＤ３内でリフォーカス係数を変化させるようにしてもよい。このように構成した場合、挿入画像データＤ３内で、任意の奥行き分布をつけることが可能となる。

また、上記実施の形態等では、開口絞り１０の位置を撮像レンズ１１の撮像対象物側（入射側）に配置した構成としているが、これに限定されず、撮像レンズ１１の像側（出射側）あるいは、撮像レンズ１１内部に設けられた構成であってもよい。

さらに、上記実施の形態等では、画像処理部１４，１４Ａ，１４Ｂを、撮像装置１の構成要素の一つとして説明したが、必ずしもこれらの画像処理部１４，１４Ａ，１４Ｂが撮像装置の内部に設けられている必要はない。具体的には、例えば立体表示装置４内において、画像処理部を撮像装置とは別に設けておくと共に、その画像処理部によって、撮像装置で得られた撮像データに対して画像処理を施すようにすることも可能である。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 マイクロレンズアレイのＦナンバーを説明するための図である。 図１に示した画像処理部の概略構成を表す機能ブロック図である。 図１に示した撮像素子上の受光領域を表す平面図である。 撮像素子上で受光される光線について説明するための図である。 第１の実施の形態に係るリフォーカス係数の算出処理および画像合成処理を表す流れ図である。 撮像データＤ１とリフォーカス係数との関係について説明するための図である。 撮像画像データＤ２と挿入画像データＤ３との画像合成処理について説明するための図である。 合成画像データＤ４に対する並び替え処理および画像反転処理について説明するための図である。 合成画像データＤ５とリフォーカス係数との関係について説明するための図である。 リフォーカス演算処理について説明するための図である。 第２の実施の形態に係る画像処理部の概略構成を表す機能ブロック図である。 第２の実施の形態に係るリフォーカス係数の算出処理および画像合成処理を表す流れ図である。 ２つの視差画像に基づく位相差検出動作について説明するための模式図である。 ２つの視差画像による画素相関演算について説明するための模式図である。 撮像レンズから測定対象までの距離の算出方法について説明するための図である。 距離情報とリフォーカス係数との関係について説明するための図である。 第３の実施の形態に係る画像処理部の概略構成を表す機能ブロック図である。 第３の実施の形態に係るリフォーカス係数の算出処理および画像合成処理を表す流れ図である。 本発明の撮像装置の一適用例に係る表示装置（立体表示装置）の全体構成を表す図である。

符号の説明

１…撮像装置、１０…開口絞り、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２０…リフォーカス面、１３…撮像素子、１３−１…受光領域、１３Ｄ…再構築画素領域、１３０…撮像面、１４，１４Ａ，１４Ｂ…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３，１４３−１，１４３−２…リフォーカス係数算出部、１４３Ａ…距離情報抽出部、１４３Ｂ…リフォーカス係数設定部、１４４…合成画像生成部、１４５…ノイズ低減処理部、１４６…輪郭強調処理部、１４７…ホワイトバランス処理部、１４８…ガンマ補正処理部、１５…撮像素子駆動部、１６…制御部、２…撮像対象物（被写体）、４…立体表示装置、４１…表示パネル、４２…マイクロレンズアレイ、５…視聴者、ｆ１，ｆ２…焦点距離、Ｓout…制御信号、Ｄ０，Ｄ１〜Ｄ２…撮像データ、Ｄ３…挿入画像データ、Ｄ４，Ｄ５，Ｄout…合成画像データ、ｄ…距離情報、α，α０〜α２，（１／α），（１／α１）…リフォーカス係数、Ｐ…画素、Ｆ_ＭＬ，Ｆ_ＭＬＡ…Ｆナンバー（Ｆ値）、ＤＲ，ＤＬ…視差画像（任意視点画像）、Ａ１，Ｂ１…部分画像、ＬＯ…光軸、Ｌ１…光線、ＬＲ，ＬＬ…視差画像の光線、φＲ，φＬ…視差画像の位相、Δφ…位相差。

Claims (10)

1. 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間にこの撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
   前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データに対して所定の２次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と
   を備えた画像処理装置。
2. 前記リフォーカス係数算出部は、前記撮像データに基づいて、前記リフォーカス係数を算出する
   請求項１に記載の画像処理装置。
3. 前記リフォーカス係数算出部は、
   前記撮像データに基づいて、前記撮像レンズから前記撮像画像内における任意の基準位置までの距離情報を抽出する距離情報抽出部と、
   前記距離情報抽出部により抽出された距離情報に基づいて、前記リフォーカス係数を設定するリフォーカス係数設定部とを有する
   請求項２に記載の画像処理装置。
4. 前記距離情報抽出部は、前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成すると共に、これら複数の視差画像のうち少なくとも２つの視差画像間の位相差を検出し、検出された位相差に基づいて、前記距離情報を算出する
   請求項３に記載の画像処理装置。
5. 前記リフォーカス係数算出部は、指定された前記撮像レンズから前記リフォーカス面までの距離情報に基づいて、前記リフォーカス係数を算出する
   請求項１に記載の画像処理装置。
6. 前記合成画像生成部は、前記第１の並び替え処理および前記画像合成処理の際に、前記２次元画像データ内の領域に応じて複数のリフォーカス係数を用いることにより、前記合成画像データを生成する
   請求項１に記載の画像処理装置。
7. 前記合成画像生成部は、前記フォーカス係数算出部により算出されたリフォーカス係数の逆数からなるリフォーカス係数を用いて、前記合成画像データに対して第２の並び替え処理を行う
   請求項１ないし請求項６のいずれか１項に記載の画像処理装置。
8. 前記合成画像生成部は、前記撮像データ、前記第１の並び替え処理後の撮像データ、前記合成画像データ、または前記第２の並び替え処理後の合成画像データに対して、前記マイクロレンズの撮像領域ごとに、画像反転処理を行う
   請求項７に記載の画像処理装置。
9. 撮像レンズと、
   受光光線に基づいて撮像データを取得する撮像素子と、
   前記撮像レンズと前記撮像素子との間で撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイと、
   前記撮像素子により得られた撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
   前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データに対して所定の２次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と
   を備えた撮像装置。
10. 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間にこの撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに対応する撮像画像内における指定された奥行き面をリフォーカス面とするリフォーカス係数を算出するリフォーカス係数算出部と、
    前記リフォーカス係数算出部により算出されたリフォーカス係数を用いて、前記撮像データに対して第１の並び替え処理を行うと共に、その第１の並び替え処理後の撮像データに対して所定の２次元画像データを挿入する画像合成処理を行うことにより、合成画像データを生成する合成画像生成部と、
    前記合成画像生成部により生成された合成画像データに基づいて立体映像表示を行う表示部と
    を備えた表示装置。

Images