JP2015213243A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】光源を移動させて撮影を行うことなく、簡便に光源の位置を仮想的に移動させた画像を取得する。
【解決手段】同一の被写体Ｐに対して異なる撮影方向から取得された複数枚の画像の対応点を一致させるように画像を変形する変換手段１６と、該変換手段１６により変換された複数枚の画像から鏡面反射成分を分離するとともに鏡面反射成分が除去された画像を生成する分離手段２０と、該分離手段２０により分離された複数枚の画像の鏡面反射成分の内の少なくとも１つと、鏡面反射成分が除去された画像とを合成する画像再構成手段２１とを備える画像処理装置２を提供する。
【選択図】図１

Description

本発明は、画像処理装置および撮像装置に関するものである。

従来、複数の視点位置で撮影した画像群から任意の視点位置の画像を生成する画像処理方法が知られている（例えば、特許文献１参照。）。
この画像処理方法により生成される任意の視点位置の画像は、照明位置が固定された画像となっている。

物質の質感を構成する１つの要素として光沢感があり、主に、物質の表面における鏡面反射成分と拡散反射成分との割合によって光沢感が感じられることが知られている。

特開平１０−９７６４２号公報

しかしながら、鏡面反射成分と拡散反射成分との割合は被写体の角度に依存する反射率特性によって異なるため、そのような反射率特性を取得するためには撮像系のみならず光源をも移動させながら撮影を行う必要があり、非常に手間がかかるという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、光源を移動させて撮影を行うことなく、簡便に光源の位置を仮想的に移動させた画像を取得することができる画像処理装置および撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、同一の被写体に対して異なる撮影方向から取得された複数枚の画像の対応点を一致させるように画像を変形する変換手段と、該変換手段により変換された複数枚の画像から鏡面反射成分を分離するとともに鏡面反射成分が除去された画像を生成する分離手段と、該分離手段により分離された複数枚の画像の鏡面反射成分の内の少なくとも１つと、鏡面反射成分が除去された画像とを合成する画像再構成手段とを備える画像処理装置を提供する。

本態様によれば、同一の被写体を異なる方向から撮影して得られた視差を有する複数枚の画像が、変換手段によって対応点を一致させるように変形された後に、分離手段によって鏡面反射成分と該鏡面反射成分が除去された画像とに分離される。これにより、鏡面反射成分のみを抽出した複数枚の画像と、鏡面反射成分が除去された画像とが生成されるので、画像再構成手段によって、鏡面反射成分が除去された画像に、いずれかの鏡面反射成分を合成することにより、光源を移動することなく、光源位置を仮想的に変更した画像を生成することができる。

上記態様においては、前記分離手段が、前記変換手段により変換された複数枚の変換後画像から選択された基準画像とその他の変換後画像との差分画像を生成する差分画像生成手段と、該差分画像生成手段により生成された差分画像に基づいて閾値を設定する閾値設定手段と、該閾値設定手段によって設定された前記閾値によって複数の前記変換後画像から鏡面反射成分を抽出する反射成分分離手段と、該反射成分分離手段によって抽出された鏡面反射成分を変換後画像から除去し、除去後の画像を補間処理して鏡面反射成分が除去された画像を生成する除去画像生成手段とを備えていてもよい。

このようにすることで、差分画像生成手段の作動により、基準画像とその他の変換後画像との差分画像が生成される。鏡面反射成分の位置や形状は視点の位置に応じて大きく変化するため、差分画像によって鏡面反射成分の多くを抽出することができる。そして、生成された差分画像において、画素値が大きい画素が鏡面反射成分を表していると推定されるので、閾値設定手段によって差分画像に基づいて閾値を設定し、反射成分分離手段によって、複数の変換後画像から閾値によって鏡面反射成分を抽出することができる。また、除去画像生成手段によって鏡面反射成分を変換後画像から除去すると、除去した部分が穴あきとなるので、補間処理によって穴あき部分を埋めることにより鏡面反射成分が除去された画像を生成することができる。

また、上記態様においては、前記閾値設定手段が、前記複数枚の差分画像の最大画素値を画素毎に抽出し、最大画素値のヒストグラムに基づいて前記閾値を設定してもよい。
このようにすることで、鏡面反射成分を多く含む差分画像を複数枚用意し、全ての画素の最大画素値を用いたヒストグラムを生成することにより、ヒストグラムの分岐点によって簡易に閾値を設定することができる。

また、上記態様においては、前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択されたいずれか１つの鏡面反射成分とを加算してもよい。
このようにすることで、鏡面反射成分が除去された画像に、任意の視点位置における鏡面反射成分を加算することで、仮想的に光源位置を選んで任意の方向から照明した場合の画像を生成することができる。

また、上記態様においては、前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択された複数の鏡面反射成分とを加算してもよい。
このようにすることで、鏡面反射成分が除去された画像に、任意の視点位置における複数の鏡面反射成分を加算することで、仮想的に光源の数および位置を選んで任意の方向から照明した場合の画像を生成することができる。

また、上記態様においては、前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択された相互に重なる位置に配置される複数の鏡面反射成分とを加算してもよい。
このようにすることで、画像中における鏡面反射成分の領域を増大させて、鏡面反射成分の焦点位置を仮想的にずらした画像を生成することができる。

また、本発明の他の態様は、同一の被写体に対して撮影方向の異なる複数枚の画像を取得する画像取得手段と、上記いずれかの画像処理装置とを備える撮像装置を提供する。
本態様によれば、画像取得手段によって取得された同一の被写体に対して撮影方向の異なる複数枚の画像が画像処理装置によって処理されることにより、仮想的に光源の位置を変更した画像を生成することができる。

上記態様においては、前記画像取得手段が、光軸に交差する方向にアレイ状に配列された複数台のカメラを備えていてもよい。
このようにすることで、複数台のカメラによって視差を有する複数枚の画像を簡易に取得することができる。

また、上記態様においては、前記画像取得手段が、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影する撮像素子と、該撮像素子と前記撮像レンズとの間に配置され光軸に交差する方向に複数のマイクロレンズを２次元的に配列してなるマイクロレンズアレイとを備えていてもよい。
このようにすることで、単眼の撮像レンズを用いてワンショットで複数枚の視差画像がアレイ状に配列された画像を簡易に取得することができる。

本発明によれば、光源を移動させて撮影を行うことなく、簡便に光源の位置を仮想的に移動させた画像を取得することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置および撮像装置を示す全体構成図である。 図１の画像処理装置の変換部を示すブロック図である。 図２の変換部における変形部の動作を説明する図である。 図１の画像処理装置の分離部を示すブロック図である。 図４の分離部における差分算出部の動作を説明する図である。 図４の分離部における最大値算出部の動作を説明する図である。 図４の分離部における閾値設定部の動作を説明する図である。 図４の分離部における鏡面反射分離部の動作を説明する図である。 図４の分離部における補間部の動作を説明する図である。 図１の画像処理装置の画像再構成部の動作の一例を説明する図である。 図１の画像処理装置の画像再構成部の動作の他の例を説明する図である。 複数の鏡面反射成分を合成する動作を説明する図である。 図１の画像処理装置の画像再構成部の動作の他の例であって、図１２において合成された鏡面反射成分を使用する場合を説明する図である。 図１の画像処理装置および撮像装置の変形例を示す全体構成図である。

本発明の一実施形態に係る撮像装置１および画像処理装置２について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、カメラであって、画像取得部３と、画像処理装置２と、これらを制御する制御部４と、外部入力を受け付ける外部Ｉ／Ｆ部５とを備えている。

画像取得部３は、光源Ｓから発せられ、被写体Ｐにおいて反射した光を集光する撮像レンズ６と、絞り７と、撮像レンズ６によって集光された光を撮影する撮像素子８と、該撮像素子８と撮像レンズ６との間に配置され、撮像レンズ６の光軸に交差する方向に複数のマイクロレンズを２次元的に配列してなるマイクロレンズアレイ９と、撮像レンズ６を光軸方向に移動させるＡＦモータ１０と、絞り７の開口径を変化させる絞り用モータ１１と、撮像素子８により取得された画像信号をデジタル信号に変換するＡ／Ｄ変換部１２と、変換されたデジタル信号を格納するバッファ１３と、撮像制御部１４とを備えている。

外部Ｉ／Ｆ部５を介して、ＩＳＯ感度や露出などの撮影条件を設定し、図示しないシャッタボタンを半押しにすることで、プリ撮影モードに入り、撮像素子８によりプリ撮影が行われるようになっている。プリ撮影により取得されたプリ撮影画像信号は、Ａ／Ｄ変換部１２によりデジタル信号に変換されてバッファ１３に格納され、撮像制御部１４に転送される。
撮像素子８は、例えば、ＲＧＢ原色系の単板ＣＣＤである。撮像素子８としては、ＣＭＯＳを採用してもよい。

撮像制御部１４は、プリ撮影画像信号に基づいて焦点距離を算出し、ＡＦモータ１０を駆動して撮像レンズ６を光軸方向に移動させて被写体Ｐに合焦させるようになっている。また、撮像制御部１４は、プリ撮影画像信号中の輝度レベルや図示しない輝度センサを用いて取得された輝度レベルに応じて、入射光量の調整のための絞り７の開口寸法や撮像素子８の電子シャッタ速度を算出するようになっている。

そして、外部Ｉ／Ｆ部５を介してシャッタボタンが全押しされることにより本撮影が行われるようになっている。この際に、撮像制御部１４において求められた焦点距離や露光条件に基づいてＡＦモータ１０、絞り用モータ１１および撮像素子８が制御されるとともに、これらの撮像時の情報は制御部４に転送されるようになっている。

マイクロレンズアレイ９は、被写体Ｐの実像が結像される位置に配置されている。そしてマイクロレンズアレイ９において結像された実像は、さらに撮像素子８に投影されるようになっている。これにより、撮像素子８によって、複数の視差画像がアレイ状に並べられた画像信号を取得することができる。撮像素子８によって取得された画像信号は、Ａ／Ｄ変換部１２によってデジタル信号に変換された後にバッファ１３に格納されるようになっている。

画像処理装置２は、バッファ１３に記憶された単板状態の画像信号を読み込んで、公知のデモザイキング処理およびホワイトバランス処理を行って、各画素においてＲＧＢの三板状態の画像信号を生成する信号処理部１５を備えている。
また、画像処理装置２は、信号処理部１５において処理された画像信号を変換する変換部１６を備えている。

変換部１６は、図２に示されるように、信号処理部１５から送られてきた画像信号を格納するバッファ１７と、該バッファ１７から転送された複数枚の視差画像に対して局所領域毎に公知のマッチング処理を行うマッチング部１８と、画像信号間の対応点を一致させるように射影変換を行う変形部１９とを備えている。

マッチング部１８は、複数枚の視差画像の中から１枚の基準画像を設定し、その基準画像に対する他の視差画像のマッチング処理を行うようになっている。マッチング処理によって複数枚の視差画像と基準画像との対応点が求められる。
そして、図３に示されるように、複数枚の視差画像の内の任意の画像における４点の座標をそれぞれ（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）、（ｘ_４，ｙ_４）とし、基準画像における上記４点の対応点の座標をそれぞれ（ｘ′_１，ｙ′_１）、（ｘ′_２，ｙ′_２）、（ｘ′_３，ｙ′_３）、（ｘ′_４，ｙ′_４）とした場合に、任意の視差画像の座標（ｘ，ｙ）の変形部１６による変換後の座標（ｘ′，ｙ′）は射影変換行列を用いて数１のようになる。

ここで、ａ_１１〜ａ_３３は射影変換行列の行列要素を表しており、２枚の画像間における４点の座標関係が分かれば倍率の自由度を除いて、一意に求めることができる。倍率は例えば１に設定する。マッチング部１６において、各視差画像と基準画像との間において４点の座標関係が求められるので、変形部１６においては、基準画像以外の全ての視差画像について、数１の射影変換行列を求めることができ、数１を用いて基準画像以外の視差画像の射影変換を行うことにより基準画像への位置合わせが行われる。

また、画像処理装置２は、変換部１６において変換された複数枚の変換後画像から鏡面反射成分と、該鏡面反射成分が除去された画像とを分離する分離部２０と、該分離部２０により分離された複数枚の鏡面反射成分の内の少なくとも１以上と、鏡面反射成分が除去された画像とを合成する画像再構成部２１とを備えている。

分離部２０は、図４に示されるように、変換部１６から転送されてきた変換後画像を格納するバッファ２２と、バッファ２２に格納された基準画像と他の変換後画像との差分画像を生成する差分算出部２３と、該差分算出部２３により生成された差分画像から最大値画像を生成する最大値算出部２４と、最大値算出部２４により生成された最大値画像から閾値ｔを抽出する閾値設定部２５と、該閾値設定部２５により抽出された閾値ｔによって、各変換後画像から鏡面反射成分を分離する鏡面反射分離部２６と、鏡面反射成分が分離された基準画像を補間して鏡面反射成分が除去された画像を生成する補間部２７とを備えている。

差分算出部２３は、下式（２）に従って、基準画像から他の変換後画像を減算することにより複数枚の差分画像を生成するようになっている。
Ｄｉ（ｘ，ｙ）＝｜Ｋ（ｘ，ｙ）−Ｓｉ（ｘ，ｙ）｜ （２）
ここで、Ｄｉ（ｘ，ｙ）は、ｉ番目の差分画像の画像信号、Ｋ（ｘ，ｙ）は基準画像の画像信号、Ｓｉ（ｘ，ｙ）はｉ番目の変換後画像の画像信号をそれぞれ示している。

この差分算出部により、図５に示されるように、複数枚の変換後画像中から選んだ１枚の基準画像から他の変換後画像が減算され、他の変換画像中の画素値の大きな領域の内、基準画像の画素値の大きな領域とは重ならない領域が変換後画像毎に差分画像として生成される（図５の差分画像における白抜きの部分が差分領域である。）。
最大値算出部２４は、差分算出部２３により生成された複数の差分画像に基づいて、対応する画素毎に画素値の最大値を下式（３）に従って算出する。

Ｍ（ｘ，ｙ）＝ｍａｘ（Ｄｉ（ｘ，ｙ），∀ｉ） （３）
ここで、Ｍ（ｘ，ｙ）は、最大値画像の画像信号を示している。

この最大値算出部２４により、図６に示されるように、複数の差分画像の各画素における最大値のみを集めた最大値画像が生成される。
閾値設定部２５は、図７に示されるように、最大値画像の画像信号のヒストグラムを作成し、公知の判断分析法を用いて、ヒストグラムの分岐点を算出し、閾値ｔとして設定するようになっている。

鏡面反射分離部２６は、図８に示されるように、閾値設定部２５において設定された閾値ｔを用いて、基準画像を含めた複数の変換後画像に対して閾値ｔ以上の成分を鏡面反射成分としてその他の成分から分離するようになっている。また、鏡面反射分離部２６は、基準画像について、同様にして鏡面反射成分を分離したその他の成分を補間部２７に送るようになっている。

補間部２７は、送られてきた基準画像のその他の成分の中の鏡面反射成分が取り除かれた領域を図９に示されるように補間し、補間後画像を生成するようになっている。補間の方法は、公知のバイリニア法やバイキュービック法を用いてもよいし、次の文献におけるＩｍａｇｅ Ｉｎｐａｉｎｔｉｎｇを用いてもよい。
“Image Inpainting”, Bertalmio, M. and Sapariro, G. and Caselles, V. and Ballestar, C., Proceeding of the 27^th annual conference on Computer graphics and interactive techniques, pp.417-424,(2000)

鏡面反射分離部２６において分離された複数の鏡面反射成分および補間部２７において補間処理された補間後画像は、画像再構成部２１に転送される。
画像再構成部２１は、外部Ｉ／Ｆ部５からの入力に従って指定された鏡面反射成分と補間後画像とを加算して合成するようになっている。

画像再構成部２１において、補間後画像に対して合成する鏡面反射成分を変更することにより、図１０に示されるように、実際には光源Ｓの位置を移動させなくても、仮想的に光源Ｓ位置を変化させた合成画像を取得することができるという利点がある。
また、外部ｉ／Ｆ部５からの入力によって、合成される鏡面反射成分が複数指定された場合には、実際には光源Ｓの数は１つであっても、図１１に示されるように、仮想的に複数の光源Ｓを配置して撮影したような合成画像を取得することができる。

さらに、図１２に示されるように、指定された鏡面反射成分の上下左右に隣接して相互に重複する複数の鏡面反射成分を合わせて、図１３に示されるように、補間後画像に加算することで、鏡面反射成分の焦点位置を仮想的にずらした画像を生成することができる。視差のずれた複数の鏡面反射成分を同時に合成することで、焦点をずらしたのと同じ効果を得ることができる。
画像処理装置２はコンピュータにより実現することができる。

なお、本実施形態においては、画像処理装置２が撮像装置１に備えられている場合について説明したが、視差の異なる複数の画像を取得する撮像装置１とは独立した外部のコンピュータによって画像処理装置２を実現することにしてもよい。
また、本実施形態においては、マイクロレンズアレイ９上に被写体Ｐの実像を結像させた場合を例示したが、これに代えて、図１４に示されるように、被写体Ｐの実像を撮像レンズ６とマイクロレンズアレイ９との間に結像させ、マイクロレンズアレイ９によって撮像素子８上に再度結像させることにしてもよい。

また、本実施形態においては、複数の視差画像を取得するためにマイクロレンズアレイ９を採用したが、これに代えて、光軸に交差する方向にアレイ状に複数のカメラ（図示略）を配置してもよい。また、単一のカメラ（図示略）を光軸に交差する方向に移動させながら複数回にわたって撮影することにしてもよい。

また、本実施形態においては、鏡面反射成分を分離するための閾値ｔを取得するために、最大値画像のヒストグラムから公知の判断分析法によって閾値ｔを抽出したが、これに代えて、ユーザが設定した任意の閾値ｔを使用してもよいし、ヒストグラムにおける画素値として、数２に示されるように、ＹＣｂＣｒ信号に変換したＹ記号を用いてもよい。また、Ｇ信号をそのまま用いてもよい。

Ｐ 被写体
１ 撮像装置
２ 画像処理装置
３ 画像取得部（画像取得手段）
６ 撮像レンズ
８ 撮像素子
９ マイクロレンズアレイ
１６ 変換部（変換手段）
２０ 分離部（分離手段）
２１ 画像再構成部（画像再構成手段）
２３ 差分算出部（差分画像生成手段）
２５ 閾値設定部（閾値設定手段）
２６ 鏡面反射分離部（反射成分分離手段）
２７ 補間部（除去画像生成手段）

Claims (9)

1. 同一の被写体に対して異なる撮影方向から取得された複数枚の画像の対応点を一致させるように画像を変形する変換手段と、
   該変換手段により変換された複数枚の画像から鏡面反射成分を分離するとともに鏡面反射成分が除去された画像を生成する分離手段と、
   該分離手段により分離された複数枚の画像の鏡面反射成分の内の少なくとも１つと、鏡面反射成分が除去された画像とを合成する画像再構成手段とを備える画像処理装置。
2. 前記分離手段が、前記変換手段により変換された複数枚の変換後画像から選択された基準画像とその他の変換後画像との差分画像を生成する差分画像生成手段と、該差分画像生成手段により生成された差分画像に基づいて閾値を設定する閾値設定手段と、該閾値設定手段によって設定された前記閾値によって複数の前記変換後画像から鏡面反射成分を抽出する反射成分分離手段と、該反射成分分離手段によって抽出された鏡面反射成分を変換後画像から除去し、除去後の画像を補間処理して鏡面反射成分が除去された画像を生成する除去画像生成手段とを備える請求項１に記載の画像処理装置。
3. 前記閾値設定手段が、前記複数枚の差分画像の最大画素値を画素毎に抽出し、最大画素値のヒストグラムに基づいて前記閾値を設定する請求項２に記載の画像処理装置。
4. 前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択されたいずれか１つの鏡面反射成分とを加算する請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択された複数の鏡面反射成分とを加算する請求項１から請求項３のいずれかに記載の画像処理装置。
6. 前記画像再構成手段は、鏡面反射成分が除去された画像と、複数枚の画像の鏡面反射成分から選択された相互に重なる位置に配置される複数の鏡面反射成分とを加算する請求項１から請求項３のいずれかに記載の画像処理装置。
7. 同一の被写体に対して撮影方向の異なる複数枚の画像を取得する画像取得手段と、
   請求項１から請求項６のいずれかに記載の画像処理装置とを備える撮像装置。
8. 前記画像取得手段が、光軸に交差する方向にアレイ状に配列された複数台のカメラを備える請求項７に記載の撮像装置。
9. 前記画像取得手段が、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影する撮像素子と、該撮像素子と前記撮像レンズとの間に配置され光軸に交差する方向に複数のマイクロレンズを２次元的に配列してなるマイクロレンズアレイとを備える請求項７に記載の撮像装置。

Images