JP2018036898A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 仮想視点画像内のオブジェクトの画質劣化を抑制する。【解決手段】複数のカメラで撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置であって、各カメラによる撮像画像から得たオブジェクトの形状を表す形状情報に基づき、カメラそれぞれで得られた撮像画像に対応するデプス画像を生成するデプス画像生成部、生成したデプス画像に基づき、対応する撮像画像における被写体の境界領域を検出する検出部、検出部で検出した撮像画像における境界領域に基づき、当該撮像画像の各画素位置の仮想視点画像を生成のための寄与度を表す画素マップを生成する画素マップ生成部、複数のカメラで撮像して得られた撮像画像、及び、各撮像画像に対応する画素マップに基づき、仮想視点画像を生成する出力画像生成部とを有する。【選択図】 図１

Description

本発明は、複数の視点位置から撮像した画像に基づき、設定した仮想視点からの画像を生成する技術に関するものである。

複数のカメラで撮像した画像から、オブジェクト（例えば人物等）の立体モデルを求め、本来はカメラが存在しない任意の視点（以下、仮想視点）における画像（以下、仮想視点画像）を、複数の撮像画像から生成する技術が知られている（特許文献１）。

この際、仮想視点画像内のオブジェクトの形状を立体モデルから求め、その形状が示す領域内をテクスチャマッピングして生成する。このテクスチャマッピングに利用する画素の色は、仮想視点の視線方向に近い実画像（以下、参照画像という）を、高い重みを付けて参照して求める。

特許第５０１１２２４号公報

複数のカメラの位置及び視線方向、並びに焦点距離等のカメラパラメータは既知であるものの、或る程度の誤差が含まれることは避け難い。従って、複数のカメラから求めたオブジェクトの立体モデルも、自ずと誤差が含まれることになる。この結果、仮想視点画像内のオブジェクト、特にそのオブジェクトの輪郭（エッジ部）に位置する画素の色を決定する際に参照する参照画像内の画素が、必ずそのオブジェクト内に位置するとは限らない。例えば仮想視点画像内の人物の顔のエッジ部の画素の色を求める際の参照画像の該当する画素が、その人物の顔から外れた画素（例えば床を表す画素）となってしまうことが起こり得る。このような状況になると、生成される仮想視点画像内のオブジェクト（特にその輪郭）が不自然な色となって、画質劣化は避けられない。

本発明はかかる問題に鑑みなされたものであり、これまでよりも、仮想視点画像内のオブジェクトの画質劣化を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置であって、
前記撮像画像から得たオブジェクトの形状を表す形状情報に基づき、前記撮像手段それぞれで得られた撮像画像に対応するデプス画像を生成する第１生成手段と、
前記第１生成手段で生成したデプス画像に基づき、対応する撮像画像における被写体の境界領域を検出する検出手段と、
前記検出手段で検出した撮像画像における境界領域に基づき、当該撮像画像の各画素位置の、前記仮想視点画像を生成するための寄与度を表す画素マップを生成する第２生成手段と、
前記複数の撮像手段で撮像して得られた撮像画像、及び、前記画素マップに基づき、前記仮想視点画像を生成する第３生成手段とを有する。

本発明によれば、従来技術と比較し、仮想視点画像内のオブジェクトの画質劣化を抑制することが可能となる。

実施形態における画像処理システムの構成図。 実施形態における画像処理装置の機能ブロック構成図。 実施形態における仮想視点画像を生成するまでの一連の処理を示すフローチャート。 デプス境界の検出処理を示すフローチャート。 デプス境界の検出原理を説明するための図。 実施形態に有効画素マップの生成処理を示すフローチャート。 シルエット画像の生成原理を説明するための図。 有効画素マップの生成原理を説明するための図。 重み画素マップの生成処理を示すフローチャート。 重みマップの生成原理を説明するための図。 他の重みマップの生成原理を説明するための図。 仮想視点画像の生成処理を示すフローチャート。 仮想視点画像の生成処理を説明するための図。 仮想視点画像を生成する際に参照する視点の決定に係るフローチャート。 実施形態のコンセプトを説明するための図。

以下図面に従って本発明に係る実施形態を詳細に説明する。

図１は実施形態における画像処理システムの撮像環境と構成を示している。図示の如く、本システムは複数のカメラ１０１、各カメラで撮像した画像を受信、蓄積、仮想視点画像を生成する情報処理装置１０２、モニタ１０３、キーボードやマウス等のユーザからの指示入力部１０４で構成される。そして、実施形態では、図示の如く、背景画像となる床１０７上にオブジェクト１０５、１０６が位置している例を示している。なお、図示ではカメラが１０台であることを示しているが、この数に特に制限はない。ただし、四方の各辺に少なくとも複数あることが望まれる。また、図示ではオブジェクト１０５は人物、オブジェクト１０６はボールを想定しているが、オブジェクトの種類や数にも制限はない。図示はあくまで例示であると認識されたい。

情報処理装置１０２は、パーソナルコンピュータ等に代表される装置と同様の構成である。つまり、装置の制御を司るＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等の外部記憶装置を有する。また、外部記憶装置にはＯＳ（オペレーティングシステム）や、画像処理装置として機能するためのアプリケーションプログラムが格納されている。そして、ＯＳがＲＡＭ上にロードされ、そのＯＳが稼働中の下でアプリケーションがＲＡＭ上にロードされ、実行されることで、情報処理装置が画像処理装置として機能することになる。

各カメラ１０１の設置位置、視線方向、並びにカメラパラメータ（焦点距離等）に係る情報（以下、入力視点情報という）が、情報処理装置が有する外部記憶装置に保持されているものとする。また、オブジェクトを排除した状態で各カメラ１０１で撮像した画像（背景画像）も外部記憶装置に保持されているものとする。

図２は、情報処理装置１０２のＣＰＵがアプリケーションプログラムを実行して、画像処理装置として機能している場合の機能ブロック構成図である。なお、図示の構成の全部がプログラムで実現するのではなく、その一部がハードウェアで実現しても構わない。

実施形態における画像処理装置は、入力視点情報取得部２０１、入力画像取得部２０２、背景画像取得部２０３を有する。また、画像処理装置は、形状生成部２０４、デプス画像生成部２０５、デプス境界検出部２０６、有効画素マップ生成部２０７、重み画素マップ生成部２０８、出力視点情報取得部２０９、出力画像生成部２１０を有する。

上記構成における動作を説明する前に、本実施形態におけるコンセプトを説明する。

位置、視線方向が既知の複数のカメラでオブジェクトを含む画像を撮像すると、周知の技術により、オブジェクトの３次元の形状を表す形状情報を得ることができる。３次元空間でのオブジェクトの形状が定義できるわけであるから、各カメラで撮像した画像に対応するデプス画像を演算で求めることができることを意味する。なお、ここで言うデプス画像とは、カメラの視点とオブジェクトの表面上の点との間の距離を表す画素の集合である。また、同じ理由で、任意の視点位置と視線方向から見たデプス画像を生成することもできるのは理解できよう。

デプス画像内の隣接する２画素に着目したとき、その画素値の差が小さいということは、それらの画素が表す位置が視点からほぼ同距離にあることを意味する。逆に、２画素の画素値の差が大きいということは、一方の画素と視点との距離と、他方の画素と視点との距離との差が大きいことを意味する。従って、デプス画像内の隣接画素の差分から、画素が背景に属する画素かオブジェクトに属する画素かを判定することができる。

今、図１５に示す仮想視点画像１５００を生成すべく、その仮想視点画像１５００に対応するデプス画像に基づき、仮想視点画像における画素１５００ａの画素値（色）を決定する場合を考察する。仮想視点画像１５００の仮想視点位置／視線方向に最も近い視点位置／視線方向の撮像画像が符号１５０１で示す画像であり、画素１５００ａに対応する画素が画素１５０１ａであったとする。形状情報は正確であれば、画素１５０１ａはオブジェクト内に存在するので、この画素１５０１ａの画素値（色）を、画素１５００ａの画素値とすれば良い。しかし、形状情報や視点情報に誤差があって、画素１５００ａに対応するのが、画素１５０１ａではなく、それから例えば２画素だけ離れた画素１５０１ｂとして判定され、たまたま画素１５０１ｂがオブジェクト外に位置しているとする。この場合、画素１５００ａは意図した色にはならない。

本発明者らは、オブジェクト内にあり、且つオブジェクトの境界から離れる位置にある対応画素ほど、仮想視点画像に寄与する度合いが高いとして扱えば、誤差が存在したとしても、上記の問題の発生を抑制できると考えた。つまり、撮像画像１５０２の場合の対応画素が画素１５０２ａとなるはずが、形状情報に誤差があり数画素ずれて画素１５０２ｂとなったとしても、その画素１５０２ｂがオブジェクト内に存在するので、画素１５００ａの色が不自然になるのを抑制できる。つまり、仮想視点画像の視点位置、視線方向に対して最も近いというよりも、或る程度は離れた位置、視線方向の画像を参照画像とするものである。

上記を達成するためには、オブジェクト内の、デプス画像が表すエッジに近い画素は、参照しない（仮想視点画像に対する寄与率が低い）とすれば良いことがわかる。この条件に従えば、画像１５０１内の対応画素１５０１ａはオブジェクト１５０１のエッジに近いので、この画像１５０１は非参照画像として決定する。そして、画像１５０２内の対応画素１５０２ａはオブジェクト１５０２内であって、エッジから或る程度離れて位置するので、画像１５０２は参照画像として用いる。

以上が本実施形態における仮想視点画像の画素値を決定するコンセプトである。以下の説明は、具体的な構成と処理である。なお、以下の説明において、出現する各種画像（デプス画像、デプス境界画像、有効画素マップ等）は、情報処理装置が有するＲＡＭに確保、格納されるものとして説明する。

図３は図２の構成における仮想視点画像の生成処理の全体の流れを示すフローチャートである。以下、同図に従って実施形態の画像処理装置の動作を説明する。

Ｓ３０１にて、入力画像取得部２０２は、オブジェクト１０５，１０６が存在する状態での、カメラ１０１それぞれが撮像した画像データを取得する。そして、Ｓ３０２にて、入力視点情報取得部２０１は、外部記憶装置に保持された入力視点情報を取得する。次に、Ｓ３０３にて、形状生成部２０４は、入力視点情報、各カメラからの画像データ、並びに、外部記憶装置に予め保持された各カメラ１０１で撮像した背景画像データに基づき、オブジェクト１０５，１０６の３次元の被写体形状データを生成する。なお、被写形状データの生成法は周知であるので、その説明は省略する。

この後、Ｓ３０４にて、デプス画像生成部２０５が、生成した被写形状データに基づいて、カメラ１０１のそれぞれの視点と視線方向で撮像した画像に対応するデプス画像を、カメラの台数分生成する（詳細後述）。ここで言うデプス画像とは、先に説明したように、視点からの距離の程度を表す画素の集合である。

Ｓ３０５にて、デプス画像境界検出部２０６が、各デプス画像の境界領域を検出する（詳細後述）。そして、Ｓ３０６にて、有効画素マップ生成部２０７は、カメラ１０１が既に撮像した背景画像を取得する。有効画素マップ生成部２０７は、Ｓ３０７にて、各カメラの視点位置及び視線方向で撮像した背景画像及びオブジェクトを含む画像、並びに、デプス境界に基づき、有効画素マップを生成する（詳細後述）。そして、Ｓ３０８にて、重み画素マップ生成部３０８は、有効画素マップから重み画素マップを生成する。Ｓ３０９にて、出力視点情報取得部２０９が、仮想視点位置及び仮想視線方向を、指示入力部１０４を介して取得する。最後に、Ｓ３１０にて、出力画像生成部２１０が、入力した仮想視点位置及び仮想視線方向から見た仮想視点画像を、各カメラが撮像したオブジェクトを含む画像、被写体形状データ、及び、重み画素マップに基づき生成し、出力する（詳細後述）。

次に、デプス境界検出部２０６によるＳ３０５の処理を図４のフローチャートに従って説明する。なお、説明に先立ち、デプス画像の全画素が、非境界画素を示す値で初期化されたデプス境界画像が予め用意されているものとする。境界か非境界化の情報を持てば良いので、このデプス境界画像の画素は２値（１ビット）で良い。

Ｓ４０１にて、デプス境界検出部２０６は、或る１つのカメラの視点位置と視線方向のデプス画像を取得し、Ｓ４０２にて、着目画素をデプス画像内の所定位置に設定する。例えば、ラスタースキャン順に走査する場合には、初期位置はデプス画像の左上隅位置である。次いで、Ｓ４０３にて、デプス境界検出部２０６は、着目画素の画素値（デプス情報）を取得し、Ｓ４０４にてデプス境界検出部２０６は、その画素値に基づき境界判定のための閾値を決定する。具体的には、デプス値が大きいほど閾値も大きくする。たとえば、デプス値を引数とする関数を用意しても良いし、デプス値を閾値に変換するためのテーブルを利用しても構わない。

次に、Ｓ４０５にて、デプス境界検出部２０６は、着目画素を囲む近傍画素（例えば着目画素を中心とするＭ×Ｎ画素の領域）に、着目画素との差の絶対値と閾値とを比較し、閾値を超える画素が存在するか否かを判定する。存在した場合、Ｓ４０６にて、着目画素はデプス画像の境界近傍に位置する画素となるので、デプス境界検出部２０６はデプス境界画像の該当する位置に、境界画素を示す値を書き込む。

この後、処理はＳ４０７に進み、デプス境界検出部２０６は、着目デプス画像の全画素について処理したか否かを判定し、否の場合には、Ｓ４０２に戻って、次の位置の画素を着目画素として決定し、上記処理を繰り返す。

一方、着目デプス画像の全画素についての境界判定を終えたと判定した場合、処理はＳ４０８に進む。このＳ４０８にて、デプス境界検出部２０６は、カメラ１０１で撮像した画像に対応する全デプス画像について境界判定を終えたか否かを判定し、否の場合には、次のデプス画像についての処理を行うべく、Ｓ４０１からの処理を繰り返すことになる。

上記の処理において、近傍画素とする範囲を３×３画素とした場合、デプス画像の例を図５（ａ）、生成されるデプス境界画像の例を図５（ｂ）に示す。近傍画素を定義する範囲のＭ，Ｎは、着目画素のデプス値に依存して変えても良い。

以上の結果、カメラ１０１が撮像した画像それぞれに対応する、デプス境界画像が得られる。

次に、有効画素マップ生成部２０７による有効画素マップの生成処理（図３のＳ３０７）を、図６のフローチャートに従って説明する。

有効画素マップ生成部２０７は、Ｓ６０１にて、或る１つのカメラ用のデプス画像から生成したデプス境界画像を取得し、Ｓ６０２にて、着目カメラで撮像したオブジェクトが含まれる入力画像及び同カメラで撮像した背景画像を取得する。有効画素マップ生成部２０７は、Ｓ６０３にて、これらからオブジェクトと背景とを区別するシルエット画像（２値）を生成する。

図７（ａ）は入力画像を、同図（ｂ）は背景画像である。オブジェクトが存在しない場合、両者の同じ座標位置の画素が同じ値となる。ただし、誤差を考慮して、画素の差分の絶対値が予め設定された許容誤差以内の場合にはオブジェクト無しと判定し、許容誤差を超えた場合にはオブジェクト有りと判定する。図７（ｃ）は、この判定結果を画素とするシルエット画像を示している。図示の場合、白画素がオブジェクト内を、黒画素がオブジェクト外を表している。

Ｓ６０４にて、有効画素マップ生成部２０７は、着目画素をデプス境界画像内の所定位置に設定する。例えば、ラスタースキャン順に走査する場合には、初期位置はデプス境界画像の左上隅位置である。次いで、Ｓ６０５にて、有効画素マップ生成部２０７は、シルエット画像内の、着目画素と同じ位置の画素を画素値（シルエット情報）を取得する。そして、有効画素マップ生成部２０７は、着目画素がデプス境界に位置し、且つ、シルエット内にあるという条件を満たすか否かを判定する。この条件を満たす場合、有効画素マップ生成部２０７は、有効画素マップの該当する位置の画素を無効画素に設定する（Ｓ６０７）。すなわち、該当する画素を、仮想視点画像の画素値を決定する際の非参照画素とする。一方、この条件を満たさない場合、有効画素マップ生成部２０７は、有効画素マップ内の該当する画素を有効画素に設定する（Ｓ６０８）。すなわち、その画素を、仮想視点画像の画素値を決定する際に参照可能な画素とする。

この後、処理はＳ６０９に進み、有効画素マップの全画素を決定したか否かを判定し、否の場合には、Ｓ６０４に戻って、次の位置の画素を着目画素として決定し、上記処理を繰り返す。

一方、有効画素マップの全画素の値の決定を終えたと判定した場合、処理はＳ６１０に進む。このＳ６１０にて、全てのカメラの撮像した画像に対する有効マップを生成したか否かを判定し、否の場合には、次の有効画素マップを生成すべく、Ｓ６０１からの処理を繰り返すことになる。

図８（ａ）はデプス境界画像、同図（ｂ）はシルエット画像、そして、同図（ｃ）は有効画素マップの例である。図８（ｃ）に示すように、シルエット内にあって、デプス境界に位置する画素は無効画素として設定されることになる。

次に、重み画素マップ生成部２０８による重み画素マップの生成処理（図３のＳ３０８）を、図９のフローチャートに従って説明する。

重み画素マップ生成部２０８は、Ｓ９０１にて、１つのカメラ用のデプス境界画像を取得する。そして、重み画素マップ生成部２０８は、Ｓ９０２にて、取得したデプス境界画像内の所定位置に着目画素を設定する。例えば、ラスタースキャン順に走査する場合には、初期位置はデプス境界画像の左上隅である。

次に、重み画素マップ生成部２０８は、Ｓ９０３にて、着目画素位置から最も近いデプス境界をサーチし、そのデプス境界までの距離を算出する。そして、Ｓ９０４にて、重み画素マップ生成部２０８は、算出した距離に応じた着目画素の重みを、重み画素マップにおける画素値と格納する。

Ｓ９０５にて、重み画素マップ生成部２０８は、全画素についての重みを決定したか否かを判定する。否の場合には、処理をＳ９０２に戻して、次の画素を着目画素として設定する。一方、着目カメラ用の重み画素マップの生成を終えた場合には、Ｓ９０６にて、全カメラ用の重み画素マップの生成を終えたか否かを判定し、否の場合には処理をＳ９０１に戻す。

図１０（ａ）はデプス画像を示し、同図（ｂ）は重み画素マップ、同図（ｃ）は距離と重みとの関係を示している。この重み画素マップ内の所望とする位置の画素の値を調べるだけで、その画素位置がデプス境界からどの程度離れているかを容易に判定することが可能となる。

なお、デプス境界までの距離の算出は、着目画素から最寄りのデプス境界を見つけ出す処理を、デプス境界の画素を除く全画素について行うことになり、演算量は無視できない。そこで、モルフォロジー処理を用いてデプス境界までの距離を算出する画素範囲を限定して処理を高速化しても良い。例えば、算出したい距離までの画素サイズのフィルタを用いて膨張処理を行い、膨張した領域のみデプス境界までの距離を算出すればよい。

また、モルフォロジー処理を用いてデプス境界画像から重み画素マップを生成しても良い。例えば、重み画素マップの画素が８ビットで表されるものとする。そして、重み画素マップ内の、デプス境界に位置する画素を最低寄与率とする０、デプス境界外の画素を例えば２５５（８ビットの最大値）をセットする。

図１１（ａ）はデプス境界画像（有効画素マップでも良い）し、このデプス境界画像に対して、値“２５５”よりも小さい画素値に対して、３×３画素サイズのフィルタを用いて膨張処理を行う。この際、１回目で膨張することになった画素には１回目であることを示す値“１”を重み画素マップの画素として上書きする。図１１（ｂ）は、この段階での重み画素マップを示している。そして、２回目の膨張処理を行った場合には、２回目であることを示す値を重み画素マップの画素として上書きしていく。以下、この処理を適当な回数繰り返す。この結果、重み画素マップの画素値は、デプス境界からの距離に応じた値となるので、図１０に示すのと実質的に同じ効果の重み画素マップを高速に生成することができる。

上記処理で得られる重み画素マップ内の画素値は、オブジェクトの境界（無効画素）からの距離を表しているが、仮想視点画像に寄与する寄与度を表していると見ることもできる。

次に、出力画像生成部２１０による仮想視点画像の生成処理（図３のＳ３１０）を、図１２のフローチャートに従って説明する。

出力画像生成部２１０は、Ｓ１２０１にて、出力視点情報取得部２０９から出力視点情報（仮想視点位置と仮想視線方向を含む）を取得する。そして、Ｓ１２０２にて、これから作成する仮想視点画像の所定位置に着目画素を設定する。ラスタースキャン順に生成するのであれば、着目画素の初期位置は左上隅の位置となる。次いで、Ｓ１２０３にて、出力画像生成部２１０は、着目画素に対する、入力視点（１つのカメラの撮像した視点位置と視線方向）の変換行列を算出する。Ｓ１２０４にて、出力画像生成部２１０は、着目画素に対応する、入力視点の対応画素（座標）を算出する。Ｓ１２０５では、出力画像生成部２１０は、入力視点と出力視点の光線方向のなす角度を算出する。Ｓ１２０６にて、出力画像生成部２１０は、入力視点用の重み画素マップを参照して、対応画素におけるデプス境界からの距離を取得する。

Ｓ１２０７にて、出力画像生成部２１０は、全入力視点（全カメラ）に対する上記処理を行ったか否かを判定し、否の場合には、次の入力視点に対する処理を行うべく、処理をＳ１２０３に戻す。

全視点に対する上記処理を終えると、出力画像生成部２１０は、Ｓ１２０８にて、各視点のなす角度及び距離に基づいて複数の入力視点を決定する。そして、Ｓ１２０９にて、入力画像と重み画素マップを用いて着目画素の画素値を決定する。

この後、仮想視点画像の全画素が生成されたか否かを判定し、否の場合には、次の画素を着目画素とするため、処理をＳ１２０２に戻す。Ｓ１２１０にて、全画素が生成できたと判断した場合、出力画像生成部２１０は、生成した仮想視点画像をモニタ１０３に出力、又は／及び画像ファイルとして外部記憶装置に出力する。

図１３に基づき、出力画像（仮想視点画像）における着目画素（図示の黒丸）の決定処理を説明する。出力画像の着目画素に対する、各視点の対応する画素が図示の白丸であったとする。本実施形態では、各白丸の無効画素までの距離は、重み画素マップを参照することで得られる。そこで、距離が閾値以上のＮ個（実施形態では２つとする）を用いて、着目画素の画素値を決定する。

図１４は、Ｓ１２０８における処理の具体例である。まず、出力画像生成部２１０は、Ｓ１４０１にて、無効画素までの距離（寄与度でもある）が閾値以上の入力視点数を算出する。そして、Ｓ１４０２にて、出力画像生成部２１０は、入力視点の数が２以上あるか否かを判定し、２以上ある場合にはＳ１４０３に、無い場合にはＳ１４０４に処理を分岐する。Ｓ１４０３にて、出力画像生成部２１０は、無効画素までの距離が閾値以上の入力視点の候補の中から、出力視点とのなす角度が小さい視点を優先して決定する。一方、Ｓ１４０４に処理が進んだ場合には、着目画素の色が不自然になる可能性が否定できないが、着目画素の画素値を決定しなければならばいので、全入力視点の中から、無効画素までの距離が大きい視点を優先して決定する。

なお、２つの対応画素から着目画素の画素値を決定する場合には次式に従えば良い。

以上説明したように本実施形態によれば、複数視点からの画像から生成する仮想視点画像におけるオブジェクトの境界の画質劣化を、これまでよりも抑制することが可能になる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…カメラ、１０２…情報処理装置、１０３…モニタ、１０４…指示入力部、１０５，１０６…オブジェクト、１０７…床、２０１…入力視点情報取得部２０１、２０２…入力画像取得部、２０３…背景画像取得部、２０４…形状生成部２０４、２０５…デプス画像生成部、２０６…デプス境界検出部、２０７…有効画素マップ生成部、２０８…重み画素マップ生成部、２０９…出力視点情報取得部、２１０…出力画像生成部

Claims (8)

1. 複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置であって、
   前記撮像画像から得たオブジェクトの形状を表す形状情報に基づき、前記撮像手段それぞれで得られた撮像画像に対応するデプス画像を生成する第１生成手段と、
   前記第１生成手段で生成したデプス画像に基づき、対応する撮像画像における被写体の境界領域を検出する検出手段と、
   前記検出手段で検出した撮像画像における境界領域に基づき、当該撮像画像の各画素位置の、前記仮想視点画像を生成するための寄与度を表す画素マップを生成する第２生成手段と、
   前記複数の撮像手段で撮像して得られた撮像画像、及び、前記画素マップに基づき、前記仮想視点画像を生成する第３生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第２生成手段は、
   オブジェクトの無い背景画像とオブジェクトが含まれる画像との差分からオブジェクトと背景とを区別するためのシルエット画像を生成し、
   デプス画像と前記シルエット画像とから、オブジェクト内の境界画素と非境界画素とを区別するための第１のマップを生成し、
   該第１のマップに基づき境界画素を寄与率が最低とし、境界画素からの距離に応じた寄与率を表す値を持つ第２のマップを、前記画素マップとして生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２生成手段は、
   前記第１のマップに対してモルフォロジー処理を行うことで前記第２のマップを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、
   デプス画像内の着目画素の値に応じて閾値を決定し、当該閾値と、前記着目画素と隣接画素との差分とを比較することで、オブジェクトの境界領域を検出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第３生成手段は、
   生成しようとする仮想視点画像における着目画素を画素値を求めるとき、撮像画像それぞれの画素マップの中で、前記着目画素に対応する位置の寄与度が予め設定した閾値を超える画素マップが複数存在した場合、閾値を超える撮像画像の中から、生成する仮想視点とのなす角度が小さい２つの画像を用いる
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第３生成手段は、
   生成しようとする仮想視点画像における着目画素を画素値を求めるとき、撮像画像それぞれの画素マップの中で、前記着目画素に対応する位置の寄与度が予め設定した閾値を超える画素マップが２つに満たない場合、すべての撮像画像の中から、寄与度の高い上位２つの画像を用いる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 複数の撮像手段で撮像した撮像画像から、設定した仮想視点位置から見た仮想視点画像を生成する画像処理装置の制御方法であって、
   前記撮像画像から得たオブジェクトの形状を表す形状情報に基づき、前記撮像手段それぞれで得られた撮像画像に対応するデプス画像を生成する第１生成工程と、
   前記第１生成工程で生成したデプス画像に基づき、対応する撮像画像における被写体の境界領域を検出する検出工程と、
   前記検出工程で検出した撮像画像における境界領域に基づき、当該撮像画像の各画素位置の、前記仮想視点画像を生成するための寄与度を表す画素マップを生成する第２生成工程と、
   前記複数の撮像手段で撮像して得られた撮像画像、及び、前記画素マップに基づき、前記仮想視点画像を生成する第３生成工程と
   を有することを特徴とする画像処理装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images