JP2017010115A - 画像解像度変換装置、画像解像度変換方法及びコンピュータプログラム - Google Patents

Abstract

【課題】複数の地点で撮影されたライトフィールドカメラ画像を用いた超解像処理をより簡易に実現すること。【解決手段】異なる視点から同一の被写体を撮像した複数のライトフィールド画像を取得する画像取得部と、補正対象のライトフィールド画像の画素の輝度値を、他のライトフィールド画像の画素のうち、補正対象の画素と同一の光線を取得している画素であって、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素の輝度値に基づいて補正する画像補正部と、画像補正部によって補正されたライトフィールド画像を複数用いて超解像処理を実行してより高い解像度の画像を生成する超解像部と、を備える画像解像度変換装置である。【選択図】図１

Description

本発明は、画像解像度変換技術に関する。

撮像された画像に対して超解像処理を行うことによって、撮像時の解像度以上の解像度を持つ画像を生成することが広く知られている。超解像処理を行う際に複数の異なる撮影地点で撮像された画像を用いることによって、より精細な画像を得ることができる。このような技術は、マルチフレーム超解像と呼ばれている（非特許文献１参照）。マルチフレーム超解像では、所望の高解像度画像が理想信号として扱われる。理想信号がカメラの撮像系からなる観測行列とかけあわされることで、観測信号としての撮像画像が得られる、という観測モデルが想定されている。この観測モデルに対して、観測信号及び観測行列の情報から理想信号を推定することによって、超解像処理が実現される。

しかし、実際のレンズにはケラレやレンズひずみといった劣化の特性がある。そのため、これらの劣化を含めると観測行列が複雑になってしまう。そのため、これらの推定は不良設定逆問題として知られており、解が局所解に落ちたり、膨大な計算時間を要するなど多くの課題が残されている。また、デプス推定を用いることで超解像を行う手法も提案されている。しかしながら、デプスを正確に求めることは実シーンでは難しい。そのため、このような手法は応用できる範囲が限られてしまう（非特許文献２参照）。

Farsiu, Sina, et al. "Fast and robust multiframe super resolution." Image processing, IEEE Transactions on 13.10 (2004): 1327-1344. 福嶋慶繁, 石橋豊. "超解像処理による自由視点画像の画質改善." 電子情報通信学会論文誌 D 93.9 (2010): 1700-1703.

マルチフレーム超解像技術において、観測行列が複雑であるために観測モデルを用いた逆問題の解法が難しくなるという課題がある。
上記事情に鑑み、本発明は、複数の地点で撮影されたライトフィールドカメラ画像を用いた超解像処理をより簡易に実現することを目的としている。

本発明の一態様は、異なる視点から同一の被写体を撮像した複数のライトフィールド画像を取得する画像取得部と、補正対象のライトフィールド画像の画素の輝度値を、他のライトフィールド画像の画素のうち、補正対象の画素と同一の光線を取得している画素であって、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素の輝度値に基づいて補正する画像補正部と、前記画像補正部によって補正された前記ライトフィールド画像を複数用いて超解像処理を実行してより高い解像度の画像を生成する超解像部と、を備える画像解像度変換装置である。

本発明の一態様は、上記の画像解像度変換装置であって、前記画像補正部は、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素として、前記光線が通過したマイクロレンズの中心との距離がより短い画素を選択する。

本発明の一態様は、異なる視点から同一の被写体を撮像した複数のライトフィールド画像を取得する画像取得ステップと、補正対象のライトフィールド画像の画素の輝度値を、他のライトフィールド画像の画素のうち、補正対象の画素と同一の光線を取得している画素であって、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素の輝度値に基づいて補正する画像補正ステップと、前記画像補正ステップにおいて補正された前記ライトフィールド画像を複数用いて超解像処理を実行してより高い解像度の画像を生成する超解像ステップと、を有する画像解像度変換方法である。

本発明の一態様は、上記の画像解像度変換装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、複数の地点で撮影されたライトフィールドカメラ画像を用いた超解像処理をより簡易に実現することが可能となる。

画像解像度変換装置１０の構成を示すブロック図である。 画像補正部１０２の処理の流れの具体例を示すフローチャートである。 ズレ量の概略を示す図である。 最適な画素値を選択するための処理の概念を示す図である。 画像超解像部１０３の処理の流れの具体例を示すフローチャートである。 画像超解像部１０３が取得する観測行列の具体例を示す図である。

以下、図面を参照して、本発明の一実施形態による画像解像度変換装置を説明する。図１は画像解像度変換装置１０の構成を示すブロック図である。画像解像度変換装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。画像解像度変換装置１０のＣＰＵは、画像解像度変換装置１０のメモリに予め記憶されている画像解像度変換プログラムを実行する。ＣＰＵが画像解像度変換プログラムを実行することによって、画像解像度変換装置１０は、画像取得部１０１、画像補正部１０２及び画像超解像部１０３を備える装置として機能する。なお、画像解像度変換装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像解像度変換プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像解像度変換プログラムは、電気通信回線を介して送信されてもよい。

画像取得部１０１は、複数のライトフィールド画像を入力する。ライトフィールド画像は、同一の被写体を僅かに異なる視点で撮像された複数の画像（以下「要素画像」という。）を、視点の位置に応じて配置することによって形成される画像である。ライトフィールド画像は、例えばプレノプティックカメラによって撮像されてもよい。プレノプティックカメラは、メインレンズと撮像素子との間にマイクロレンズアレイを有するカメラである。プレノプティックカメラで撮像された場合、マイクロレンズアレイを構成する一つ一つのマイクロレンズに応じて撮像された画像が要素画像である。この場合、要素画像はマイクロレンズ画像と呼ばれることもある。以下の説明では、画像取得部１０１は、プレノプティックカメラによって撮像されたライトフィールド画像を取得することを想定して説明する。

複数のライトフィールド画像は、撮像時の視点位置が異なる画像である。カメラの光軸と垂直方向にプレノプティックカメラが移動し撮像するという動作が複数回繰り返し行われることによって、複数のライトフィールド画像が取得される。

画像補正部１０２は、複数のライトフィールド画像を補正する。図２は、画像補正部１０２の処理の流れの具体例を示すフローチャートである。

まず、画像補正部１０２は、各ライトフィールド画像について、撮像時のカメラの位置を推定する。ここで、カメラの位置とは、例えば、ライトフィールド画像を撮影した位置を表す１×３行列Ｔと、その視線方向の回転を表す３×３行列Ｒのパラメータのことである。これらの行列は、公知である透視投影行列の並進成分・回転成分として表現されるものであるため、ここでは詳細な説明を省略する。

カメラの位置は、例えば、ライトフィールド画像から得られたマイクロレンズ画像（要素画像）に対してStructure from Motionを行うことによって推定されてもよい。また、既存形状の物体を用いたカメラキャリブレーションを利用して推定されてもよい。カメラを水平方向に等間隔に動かしながら複数地点で撮影する場合には、カメラの位置を既知とすることができる。

次に、画像補正部１０２は、複数のライトフィールド画像のズレ量を測定する（Ｓ１０１）。図３は、ズレ量の概略を示す図である。ズレ量は、基準とする画像１（３０１）に対して、他の画像ｍ（３０２）があるとしたときに、Δｍ,ｘとΔｍ,ｙによって表される量である。画像補正部１０２は、画像１（３０１）と画像ｍ（３０２）とが重複する領域（以下「重複領域」という。：３０３）に含まれる画素の輝度値の類似度が最も高い位置ずれ量を取得する。類似度の尺度としては、輝度差の総和（ＳＡＤ：Sum of Absolute Difference）、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）、正規化相互相関(ＺＮＣＣ：Zero-mean Normalized Cross-Correlation)等が用いられる。

次に、画像補正部１０２は、基準となる画像座標系に対して複数のライトフィールド画像を重ねる（ステップＳ１０２）。複数のライトフィールド画像は、それぞれ画像座標系が独立している。そこで、画像補正部１０２は、ステップＳ１０２において測定された各画像のズレ量を用いて、画像座標系を基準となる画像座標系に揃える。

ステップＳ１０１及びステップＳ１０２の処理の具体例は以下のとおりである。まず、基準となるライトフィールド画像（以下「基準画像」という。）が一つ設定される。次に、基準画像上に、ｍ（ｍは自然数であり、入力画像数−１と同数である）枚のライトフィールド画像が重ね合わせられる。そして、その重複領域３０３に含まれる全ての画素の画素値が、基準画像の画素値と最も似たところを、ズレ量Δｍ，ｘ、Δｍ，ｙを変えながら探索していく。

この処理により、ライトフィールド画像上での最適な位置ずれ量Δｍ，ｘ、Δｍ，ｙを算出することができる。そして、その位置ずれ量Δｍ，ｘ、Δｍ，ｙに従い、基準画像となるライトフィールド画像以外のライトフィールド画像を、基準画像と同じ画像空間に重ね合わせていく。このような処理によって、複数のライトフィールド画像についてズレ量が得られる。

次に、画像補正部１０２は、全ての画素について、座標が同じである複数の画素（以下「重複画素」という。）の中か最適な画素値を選択する。そして、画像補正部１０２は、重複画素それぞれの画素値を、選択された最適な画素値に置換する。重複画素の中から選択された最適な画素値に置換することによって、ケラレ成分やレンズ歪等の劣化に関わる成分を除去することができる。

図４は、最適な画素値を選択するための処理の概念を示す図である。図４の例では、出力したい画像（補正対象の画像：４０１）における補正対象の画素（４０５）に対して、重複画素を持つ候補画像が３つあると仮定している。まず、画像補正部１０２は、候補画像Ａ（４０２）、候補画像Ｂ（４０３）及び候補画像Ｃ（４０４）の各画素から、補正対象の画素（４０５）に対して同一の光線を取得している画素（４０６、４０７及び４０８）のイメージ座標を判定する。画像補正部１０２は、判定された各画素について、各々の画素に到達した光が通過したマイクロレンズの中心との距離（４０９、４１０及び４１１）を算出する。画像補正部１０２は、算出された距離のうち、最も短い距離の画素の画素値を最適な画素値として選択する。図４の具体例では、画素４０７の画素値が最適な画素値として選択される。画像補正部１０２は、補正対象の画素（４０５）の画素値を、選択された画素値に補正する。

マイクロレンズの中心から最も距離の近い画素は、ケラレ成分やレンズ歪等の劣化の影響を最も受けにくい画素である。そのため、補正対象の画素の画素値を、このような画素の画素値に置換することによって、ケラレ成分やレンズ歪等の劣化の影響が小さい画素値に補正することが可能となる。そのため、このように補正された後のライトフィールド画像を用いて画像超解像処理を行う際には、ケラレ成分やレンズ歪等の劣化を無視して、より単純な処理を用いて高精度の画像超解像処理を実現することが可能となる。なお、マイクロレンズの中心から最も距離の近い画素に限らず、ケラレ成分やレンズ歪等の劣化の影響が小さい画素の画素値を選択できる手法であれば他の手法によって最適な画素値が選択されてもよい。

画像超解像部１０３は、画像補正部１０２によって補正されたライトフィールド画像（以下「補正ライトフィールド画像」という。）を用いて高解像度の画像を生成する。具体的には、画像超解像部１０３は、まず、補正ライトフィールド画像を繰り返し計算の初期値として入力する。画像超解像部１０３は、これらの画像が撮像された際の観測行列を入力し、逆問題を解く。このような処理（超解像処理）の実行によって、画像超解像部１０３は高解像度の画像を取得する。

図５は、画像超解像部１０３の処理の流れの具体例を示すフローチャートである。以下、図５を用いて画像超解像部１０３の処理の流れについて改めて説明する。

まず、画像超解像部１０３は、複数の補正ライトフィールド画像を取得する（ステップＳ２０１）。次に、画像超解像部１０３は、観測行列を取得する（ステップＳ２０２）。図６は、画像超解像部１０３が取得する観測行列の具体例を示す図である。観測行列は、ダウンサンプルの要素Ｄ、画素レベルのブラー要素Ｈ及び入力視点画像間のズレ量Ｆを示す。

次に、画像超解像部１０３は、利用画像を示す理想信号Ｘを更新する（ステップＳ２０３）。更新処理について詳細に説明する。画像超解像部１０３は、以下の式に基づいて理想信号Ｘを更新していく。理想信号Ｘは、画像超解像部１０３が取得すべき高解像度の画像を示す信号である。観測信号Ｙは、実際に取得されている画像（本実施形態では補正ライトフィールド画像）を示す信号である。ｎはステップ数を示す。Ａは観測行列を示す。Ｉは単位行列を示す。βは収束のステップを示す。λは画像の滑らかさの拘束の強さを示す。αはBilateral Total Variation（ＢＴＶ）の距離に関する減衰のパラメータを示す。Ｓは平行移動量パラメータを示す。本実装形態では、更新方法として、ノイズにロバストな方法が適用される。ただし、更新方法として他の方法が適用されてもよい。

次に、画像超解像部１０３は、更新された理想信号Ｘを用いて、Ｙ＝ＤＨＦＸの関係式から、Ｙを算出する。Ｙは観測信号であるため、正しく理想信号Ｘが復元されている場合には、算出された観測信号Ｙと入力画像とは等しくなる。したがって、理想信号Ｘがより精度良く復元される程、観測信号Ｙと入力画像との差分が小さくなる。画像超解像部１０３は、ステップＳ２０３において理想信号Ｘを更新する度に、観測信号Ｙと入力画像との類似度を表す評価値を算出する。算出される評価値は、観測信号Ｙと入力画像との差分が小さい程大きな値をとる。画像超解像部１０３は、ステップＳ２０３における更新処理を既定回数繰り返したか、又は、評価値が閾値以上の値になった場合に（ステップＳ２０４-ＹＥＳ）、処理を終える。一方、ステップＳ２０３における更新処理の繰り返し回数が既定回数未満である場合、且つ、評価値が閾値未満の値である場合（ステップＳ２０４-ＮＯ）は、画像超解像部１０３はステップＳ２０３の処理を実行する。

なお、ステップＳ２０３及びステップＳ２０４の処理は最急降下法と呼ばれる計算方式である。画像超解像部１０３が行う処理は、この処理に限定される必要は無く、他の最適化計算手法が適用されてもよい。

１０…画像解像度変換装置， １０１…画像取得部， １０２…画像補正部， １０３…画像超解像部

Claims (4)

1. 異なる視点から同一の被写体を撮像した複数のライトフィールド画像を取得する画像取得部と、
   補正対象のライトフィールド画像の画素の輝度値を、他のライトフィールド画像の画素のうち、補正対象の画素と同一の光線を取得している画素であって、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素の輝度値に基づいて補正する画像補正部と、
   前記画像補正部によって補正された前記ライトフィールド画像を複数用いて超解像処理を実行してより高い解像度の画像を生成する超解像部と、
   を備える画像解像度変換装置。
2. 前記画像補正部は、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素として、前記光線が通過したマイクロレンズの中心との距離がより短い画素を選択する、請求項１に記載の画像解像度変換装置。
3. 異なる視点から同一の被写体を撮像した複数のライトフィールド画像を取得する画像取得ステップと、
   補正対象のライトフィールド画像の画素の輝度値を、他のライトフィールド画像の画素のうち、補正対象の画素と同一の光線を取得している画素であって、ケラレ成分やレンズ歪等の劣化の影響をより受けにくい画素の輝度値に基づいて補正する画像補正ステップと、
   前記画像補正ステップにおいて補正された前記ライトフィールド画像を複数用いて超解像処理を実行してより高い解像度の画像を生成する超解像ステップと、
   を有する画像解像度変換方法。
4. 請求項１又は２に記載の画像解像度変換装置としてコンピュータを機能させるためのコンピュータプログラム。

Images