JP2011060116A

JP2011060116A - 画像処理装置

Info

Publication number: JP2011060116A
Application number: JP2009210737A
Authority: JP
Inventors: Tomonori Masuda; 智紀増田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-09-11
Filing date: 2009-09-11
Publication date: 2011-03-24
Also published as: US20110063420A1

Abstract

【課題】ステレオ画像から求めたオクルージョン領域における視差の誤りを精度よく補正可能にする。
【解決手段】ステレオ画像として撮影された左右の画像から対応する画素間のずれ（視差）を示す視差マップを作成し、その視差マップから視差が急変する視差輪郭を求める（ステップＳ１０、Ｓ１２）。この視差輪郭を挟んで対向する一対の探索ウインドウを設定し（ステップＳ１４）、その一対の探索ウインドウ内にある各画像の画像輪郭の強度（勾配）のうち、勾配の大きい方の画像に対応する探索ウインドウをオクルージョン領域を含む探索ウインドウとして判別し（ステップＳＳ１６、１８）、オクルージョン領域が存在すると判別された探索ウインドウ内のオクルージョン領域の視差を、他方の探索ウインドウ側の視差に補正する（ステップＳ２０、Ｓ２２）。
【選択図】図６

Description

本発明は画像処理装置に係り、特にステレオ画像から視差を求める画像処理装置に関する。

ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点の画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。

上記中間視点の画像を生成するためには、視点の異なる２つの画像のうちの一方の画像を基準にして、基準の画像の各画素毎にその画素に対応する他方の画像の画素との画素ずれ（視差）を算出し、１画面分の視差のマップ（視差マップ）を作成する必要がある。

視差マップを作成する場合に、視点の異なる２つの画像間には、一方の画像には存在するが、他方の画像には存在しない死角になる領域（オクルージョン領域）があり、このオクルージョン領域では視差を算出することができないという問題がある。

従来、この問題を解決するために特許文献１に記載の発明は、オクルージョン領域において、物体の輪郭を挟んで左右に探索ウインドウを設定し、左右の探索ウインドウ内の視差の分散を求め、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在すると見なし、そのオクルージョン領域の視差を、分散の大きい方の探索ウインドウの視差内の遠くを示す視差で補正するようにしている。

特開平９−２７９６９号公報

特許文献１に記載の発明は、オクルージョン領域は、左右の画像の同一画素での対応が異なるということを利用して、オクルージョン領域を判別して視差を仮想的に代入した上で、物体の輪郭を挟んで左右に設定した探索ウインドウ内の視差の分散から、分散の大きい方の探索ウインドウ側にオクルージョン領域が存在するとしている。しかしながら、オクルージョン領域が左右の画像の同一画素での対応が異なるとは限らず、オクルージョン領域の視差（視差が検出できないために仮想的に代入した視差）も分散の算出に使用するため、算出される分散値に信頼性がないという問題がある。

本発明はこのような事情に鑑みてなされたもので、ステレオ画像から求めた視差の誤りを精度よく補正することができる画像処理装置を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、ステレオ画像として撮影された第１の画像と第２の画像とを取得する画像取得手段と、前記画像取得手段により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量及びずれ方向を示す視差を算出する視差算出手段と、前記視差算出手段により算出された視差を示す視差マップから視差が急変する視差輪郭を抽出する視差輪郭抽出手段と、前記視差輪郭抽出手段により抽出された視差輪郭に接し、該視差輪郭を挟んで対向する一対の探索ウインドウを設定するウインドウ設定手段であって、前記一対の探索ウインドウを前記視差輪郭に沿って順次移動させるウインドウ設定手段と、前記ウインドウ設定手段により設定された一対の探索ウインドウ内にある前記第１の画像に基づいてオクルージョン領域を含む探索ウインドウを判別するウインドウ判別手段と、前記ウインドウ判別手段により判別された探索ウインドウ内のオクルージョン領域の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正する視差補正手段と、を備えたことを特徴としている。

即ち、ステレオ画像として撮影された第１の画像及び第２の画像から対応する画素間のずれ（視差）を示す視差マップを作成し、その視差マップから視差が急変する視差輪郭を求めるようにしている。この視差輪郭に隣接してオクルージョン領域が存在する可能性があり、また、オクルージョン領域では正確な視差を算出することができず、誤った視差が設定されることになるが、少なくとも視差輪郭の検出は可能である。そして、視差輪郭を挟んで対向する一対の探索ウインドウを設定し、その一対の探索ウインドウ内にある第１の画像に基づいてオクルージョン領域を含む探索ウインドウを判別するようにしている。このように、一対の探索ウインドウ内にある第１の画像の特徴に基づいて一対の探索ウインドウのうちのいずれの探索ウインドウ側にオクルージョン領域が含まれているかを判別するため、オクルージョン領域を適正に判別することができる。そして、オクルージョン領域が存在する探索ウインドウ内のオクルージョン領域の視差を、他方の探索ウインドウ側の視差に基づいて補正することで、オクルージョン領域における視差の誤りを精度よく補正することができるようにしている。

請求項２に示すように請求項１に記載の画像処理装置において、前記視差算出手段は、前記第１の画像の注目画素を基準とする所定のブロックサイズの画像と前記第２の画像とのブロックマッチングにより前記第１の画像の注目画素に対応する第２の画像上の画素を検出し、両画素間の視差を算出することを特徴としている。尚、オクルージョン領域では、ブロックマッチングによるブロック間の一致度の評価ができず、算出される視差に誤りが生じるが、第１、第２の画像間で相互に画像が存在している部分（大部分）では、適正な視差を算出することができる。

請求項３に示すように請求項２に記載の画像処理装置において、前記探索ウインドウのサイズは、前記視差算出手段による視差算出時の所定のブロックサイズと同一であることを特徴としている。

請求項４に示すように請求項１から３のいずれかに記載の画像処理装置において、前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像から画像輪郭を抽出する画像輪郭抽出手段を有し、前記画像輪郭抽出手段により抽出された画像輪郭が大きい方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴としている。

視差が急変する視差輪郭に隣接してオクルージョン領域が存在する可能性があり、また、オクルージョン領域が存在する場合には、その近傍に近景側と遠景側の画像の境界となる輝度（色）の画像の輪郭が存在する。そこで、上記一対の探索ウインドウにて画像輪郭を探索し、画像輪郭が大きい方の画像に対応する探索ウインドウを、オクルージョン領域を含む探索ウインドウとして判別するようにしている。

請求項５に示すように請求項４に記載の画像処理装置において、前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の前記画像輪郭と前記視差輪郭との間の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴としている。即ち、前記画像輪郭と視差輪郭との間がオクルージョン領域となるため、このオクルージョン領域の視差を他方の探索ウインドウ側の視差に基づいて補正するようにしている。

請求項６に示すように請求項１から３のいずれかに記載の画像処理装置において、前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像をそれぞれ左右に２分割した分割画像の一致度を算出する一致度算出手段を有し、前記一致度算出手段により算出された一致度が低い方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴としている。

オクルージョン領域が含まれる探索ウインドウ内の画像は、そのオクルージョン領域に対応する画像とそれ以外の画像との間に相関がないため、左右に２分割した分割画像の一致度が低くなる。そこで、一致度が低い方の画像に対応する探索ウインドウを、オクルージョン領域を含む探索ウインドウとして判別するようにしている。尚、一対の探索ウインドウの各画像での左右の分割画像の一致度が共に高い場合には、これらの探索ウインドウ内にはオクルージョン領域が存在しないと判断することができる。

請求項７に示すように請求項６に記載の画像処理装置において、前記一致度算出手段は、前記２分割した分割画像のパターンマッチング、又はヒストグラムマッチングにより一致度を算出することを特徴としている。

請求項８に示すように請求項１から３のいずれかに記載の画像処理装置において、前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像のコントラストを算出するコントラスト算出手段を有し、前記コントラスト算出手段により算出されたコントラストが大きい方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴としている。

請求項９に示すように請求項８に記載の画像処理装置において、前記コントラスト算出手段は、前記切り出した各画像の画素値の分散又は標準偏差を、コントラストの大きさを示す指標として算出することを特徴としている。

オクルージョン領域が含まれる探索ウインドウ内の画像は、画像輪郭等が存在するとともに、オクルージョン領域に対応する画像とそれ以外の画像との間に相関がないため、分散又は標準偏差が大きくなる。そこで、分散又は標準偏差が大きい方の画像に対応する探索ウインドウを、オクルージョン領域を含む探索ウインドウとして判別するようにしている。

請求項１０に示すように請求項５から９のいずれかに記載の画像処理装置において、前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の視差であって、左右に２分割した視差のうちの前記視差輪郭側の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴としている。

請求項１１に示すように請求項５から９のいずれかに記載の画像処理装置において、前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の画像から画像輪郭を抽出する手段を有し、前記抽出した画像輪郭と前記視差輪郭との間の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴としている。

本発明によれば、ステレオ画像から作成された視差マップから視差が急変する視差輪郭を求め、この視差輪郭を挟んで対向する一対の探索ウインドウを設定し、その一対の探索ウインドウ内にある画像に基づいてオクルージョン領域を含む探索ウインドウを判別するようにしたため、オクルージョン領域を適正に判別することができ、また、オクルージョン領域が存在する探索ウインドウ内のオクルージョン領域の視差を、他方の探索ウインドウ側の視差に基づいて補正することで、オクルージョン領域における視差の誤りを精度よく補正することができる。

図１（Ａ）及び（Ｂ）はそれぞれ近景に主要被写体（人物）がいるシーンを異なる２視点からステレオ撮影した場合の左画像及び右画像を示す図である。図２は視差輪郭、画像輪郭及びオクルージョン領域等の関係を示す図である。図３は視差輪郭が重畳表示された左画像上に一対の探索ウインドウを設定した状態を示す図である。図４は左画像上で一対の探索ウインドウを視差輪郭に沿って移動させながらオクルージョン領域の視差の誤りを補正する補正作業イメージを示す図である。図５は本発明に係る第１の実施形態の画像処理装置を示すブロック図である。図６は上記第１の実施形態の画像処理装置の処理手順を示すフローチャートである。図７は本発明に係る第２の実施形態の画像処理装置を示すブロック図である。図８は上記第２の実施形態の画像処理装置の処理手順を示すフローチャートである。図９は視差輪郭を挟んで設定される一対の探索ウインドウ内を２分割した状態を示す図である。図１０は本発明に係る第３の実施形態の画像処理装置を示すブロック図である。図１１は上記第３の実施形態の画像処理装置の処理手順を示すフローチャートである。図８は上記第３の実施形態の変形例を示すフローチャートである。

以下、添付図面に従って本発明に係る画像処理装置の実施の形態について説明する。

まず、本発明の概要について説明する。

図１（Ａ）及び（Ｂ）はそれぞれ近景に主要被写体（人物）がいるシーンを、異なる２視点からステレオ撮影した場合の左画像及び右画像である。

これらの左画像及び右画像のうちの一方の画像（例えば、左画像）を基準にして、左画像の各画素に対する他方の画像（右画像）の対応する画素を求める。

この対応する画素の求める方法としては、例えばブロックマッチング法を適用することができる。

左画像から任意の画素を基準に切り出した所定のブロックサイズのブロックと右画像のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。

ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。

このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。

上記［数１］式の演算を、右画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。

そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間のずれ量及びずれ方向を示す視差（左右の画像が水平状態で撮影されている場合には、ずれ方向は正負で表すことができる）を求める。

上記のようにして左画像の全ての画素について、対応する画素との視差を求めることにより、１画面分の視差を示す視差マップを作成する。

本発明は、図２に示すように作成した視差マップから視差が急変する視差輪郭１０を抽出する。この視差輪郭１０と、基準の左画像上の画像の輝度（色）の輪郭１０（以下、「画像輪郭」という）との間には、左右の画像の一方の画像には存在するが、他方の画像には存在しない死角になる領域（オクルージョン領域）があり、このオクルージョン領域の画素については対応する画素がないため、ＳＳＤ値が極小となる探索対象の画素がなく、視差を正確に算出することができない。例えば、探索領域内で算出されたＳＳＤ値が最小値となる位置の画素は、探索対象の画素ではないため、オクルージョン領域において算出される視差は正確なものではない。

図３は左画像上に視差輪郭１０を重畳表示した図である。本発明は、図３に示すように視差輪郭１０に接するとともに、視差輪郭１０を挟んで一対の探索ウインドウ１６Ｌ、１６Ｒを設定する。これらの探索ウインドウ１６Ｌ、１６Ｒのサイズは、例えば、前述のブロックマッチング法で対応画素を探索する場合のブロックのサイズと同一のサイズにする。尚、上記一対の探索ウインドウ１６Ｌ，１６Ｒ内にある基準の画像（この例では、左画像）をそれぞれ切り出し、これらの画像の特徴量に基づいて探索ウインドウ１６Ｌ，１６Ｒのうちのいずれの探索ウインドウが、オクルージョン領域を含む探索ウインドウかを判別する。

そして、前記判別された探索ウインドウのオクルージョン領域内の視差を、判別されなかった他方の探索ウインドウ側の視差に基づいて補正（置き換えて）、視差マップ中のオクルージョン領域の視差の誤りを補正する。

図４は前記一対の探索ウインドウ１６Ｌ，１６Ｒを、視差輪郭１０に沿って移動させながら、オクルージョン領域の視差の誤りを補正する補正作業イメージを示している。

［第１の実施形態］
次に、本発明に係る画像処理装置の第１の実施形態について説明する。

図５は本発明に係る第１の実施形態の画像処理装置２０−１を示すブロック図である。

この画像処理装置２０−１は、例えばパーソナル・コンピュータ、ワークステーション等により構成されており、主として画像入力部２２と、信号処理部２４−１とから構成されている。

画像入力部２２は、ステレオ画像として撮影された左画像及び右画像を取り込むもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取手段やネットワークを通じてＭＰファイルを取得する手段が対応する。

信号処理部２４−１は、主として視差演算部３０、視差輪郭抽出部３２、画像輪郭抽出部３４、及び視差補正部３６から構成されている。

以下、信号処理部２４−１の各部の処理動作について、図６に示すフローチャートを参照しながら説明する。

視差演算部３０は、画像入力部２２から入力した視点の異なる左画像及び右画像に基づいて視差演算を行う（図６のステップＳ１０）。この実施形態では、左画像を基準にして、左画像の各画素に対する右画像の対応する画素を求める。対応する画素の探索は、前述したブロックマッチング法を使用する。そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間の視差を算出し、１画面分の視差を示す視差マップを作成する。

視差輪郭抽出部３２は、上記生成された視差マップから視差が急変する視差輪郭を抽出する（図６のステップＳ１２）。尚、予め視差輪郭抽出用の閾値を設定しておき、視差マップ内の隣接する視差の差分が、前記設定され閾値を越える箇所を抽出することで視差輪郭を抽出することができる。また、前記閾値は、本発明により作成された視差マップを使用し、ステレオ画像の中間視点の画像を生成して所望の視点のステレオ画像を出力する画像出力手段における画像サイズ（立体写真プリントのプリントサイズや立体画像表示手段の画面サイズ）に応じて決定することが好ましい。

画像輪郭抽出部３４は、図３に示したように視差輪郭抽出部３２により抽出された視差輪郭１０に対して、その視差輪郭１０に接するとともに、視差輪郭１０を挟んで一対の探索ウインドウ１６Ｌ、１６Ｒを設定する（図６のステップＳ１４）。そして、一対の探索ウインドウ１６Ｌ，１６Ｒ内にある左画像中の画像をそれぞれ切り出し、これらの画像からそれぞれ画像輪郭の強度（勾配）を算出する（図６のステップＳ１６）。

視差補正部３６は、前記算出した画像輪郭の強度（勾配）が大きい方の画像を切り出した探索ウインドウが、オクルージョン領域を含む探索ウインドウとして判別し（図６のステップＳ１８）、その判別結果に応じてオクルージョン領域の視差を補正する。

即ち、左側の探索ウインドウ１６Ｌにより切り出された画像の画像輪郭の強度（勾配）が大きい場合には、左側の探索ウインドウ１６Ｌ内の領域のうち、視差輪郭の左側かつ画像輪郭の右側の領域をオクルージョン領域と判別し、この判別したオクルージョン領域の視差を、右側の探索ウインドウ１６Ｒ側の視差に置き換える（図６のステップＳ２０）。一方、右側の探索ウインドウ１６Ｒにより切り出された画像の画像輪郭の強度（勾配）が大きい場合には、右側の探索ウインドウ１６Ｒ内の領域のうち、視差輪郭の右側かつ画像輪郭の左側の領域をオクルージョン領域と判別し、この判別したオクルージョン領域の視差を、左側の探索ウインドウ１６Ｌ側の視差に置き換える（図６のステップＳ２２）。

上記視差輪郭抽出部３２、画像輪郭抽出部３４及び視差補正部３６は、図４に示すように一対の探索ウインドウ１６Ｌ，１６Ｒを視差輪郭に沿って移動させながら、オクルージョン領域の視差補正を行うとともに、視差マップ中の全ての視差輪郭について、前記探索ウインドウ１６Ｌ，１６Ｒを設定し、同様の処理を行う（ステップＳ１４〜Ｓ２４）。

［第２の実施形態］
次に、本発明に係る画像処理装置の第２の実施形態について説明する。

図７は本発明に係る第１の実施形態の画像処理装置２０−２を示すブロック図であり、図８はその処理手順を示すフローチャートである。尚、図７及び図８において、図５及び図６に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図７において、第２の実施形態の画像処理装置２０−２は、図５に示した第１の実施形態の画像処理装置２０−１の画像輪郭抽出部３４の代わりに、一致度比較部４０が設けられている点で相違する。

信号処理部２４−２内の一致度比較部４０は、視差輪郭１０を挟んで設定された一対の探索ウインドウ１６Ｌ、１６Ｒにより切り出した各画像を、図９に示すように左右に２分割した分割画像を求め（図８のステップＳ３０）、各探索ウインドウ１６Ｌ，１６Ｒ内の分割された左右の分割画像の一致度を算出する（図８のステップＳ３２）。この一致度は、左右の分割画像のパターンマッチング、又はヒストグラムマッチングにより算出することができる。

そして、視差補正部３６は、各探索ウインドウ１６Ｌ，１６Ｒごとに算出された一致度のうち、一致度が低い方の探索ウインドウが、オクルージョン領域を含む探索ウインドウとして判別し（図８のステップＳ３４）、その判別結果に応じてオクルージョン領域の視差を補正する。

即ち、左側の探索ウインドウ１６Ｌにより切り出された画像を分割した分割画像の一致度が低い場合には、左側の探索ウインドウ１６Ｌ内の領域のうちの右半分の領域をオクルージョン領域と判別し、この判別したオクルージョン領域の視差を、右側の探索ウインドウ１６Ｒ側の視差に置き換える（図８のステップＳ３６）。一方、右側の探索ウインドウ１６Ｒにより切り出された画像を分割した分割画像の一致度が低い場合には、右側の探索ウインドウ１６Ｒ内の領域のうちの左半分の領域をオクルージョン領域と判別し、この判別したオクルージョン領域の視差を、左側の探索ウインドウ１６Ｌ側の視差に置き換える（図８のステップＳ３８）。尚、この実施形態では、探索ウインドウの半分の領域をオクルージョン領域としてその視差を補正するようにしたが、図６のフローチャートのステップＳ２０、Ｓ２２で説明したように視差輪郭と画像輪郭との間のオクルージョン領域を求め、このオクルージョン領域の視差を補正するようにしてもよい。

［第３の実施形態］
次に、本発明に係る画像処理装置の第３の実施形態について説明する。

図１０は本発明に係る第３の実施形態の画像処理装置２０−３を示すブロック図であり、図１１はその処理手順を示すフローチャートである。尚、図１０及び図１１において、図７及び図８に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０において、第３の実施形態の画像処理装置２０−３は、図７に示した第２の実施形態の画像処理装置２０−２の一致度比較部４０の代わりに、コントラスト比較部５０が設けられている点で相違する。

信号処理部２４−３内のコントラスト比較部５０は、視差輪郭１０を挟んで設定された一対の探索ウインドウ１６Ｌ、１６Ｒにより切り出した各画像のコントラストを算出する。この実施形態では、画像のコントラストは、探索ウインドウ内の画像の画素値（輝度値）の分散又は標準偏差を算出し、この算出した分散又は標準偏差を画像のコントラストの大きさを示す指標とする（図１１のステップＳ４０）。

そして、視差補正部３６は、各探索ウインドウ１６Ｌ，１６Ｒごとに算出された分散又は標準偏差のうち、分散又は標準偏差（コントラスト）が大きい方の探索ウインドウが、オクルージョン領域を含む探索ウインドウとして判別し（図１１のステップＳ４２）、その判別結果に応じてオクルージョン領域の視差を補正する。

図１２は上記第３の実施形態の変形例を示すフローチャートであり、図１１のフローチャート中のステップ１４の処理の代わりに、ステップ５０の処理を行う点で、第３の実施形態と相違する。

図１２のステップＳ５０では、図９に示すように視差輪郭１０に対して、その視差輪郭１０に接するとともに、視差輪郭１０を挟んで一対の探索ウインドウ１６Ｌ、１６Ｒの半分のサイズのウインドウを設定する。ステップＳ４０では、前記設定された半分のサイズのウインドウの２つの分散又は標準偏差値を算出するようにしている。

尚、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…視差輪郭、１２…画像輪郭、１４…オクルージョン領域、１６Ｌ，１６Ｒ…探索ウインドウ、２０−１、２０−２、２０−３…画像処理装置、２２…画像入力部、２４−１、２４−２、２４−３…信号処理部、３０…視差演算部、３２…視差輪郭抽出部、３４…画像輪郭抽出部、３６…視差補正部、４０…一致度比較部、５０…コントラスト比較部

Claims

ステレオ画像として撮影された第１の画像と第２の画像とを取得する画像取得手段と、
前記画像取得手段により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量及びずれ方向を示す視差を算出する視差算出手段と、
前記視差算出手段により算出された視差を示す視差マップから視差が急変する視差輪郭を抽出する視差輪郭抽出手段と、
前記視差輪郭抽出手段により抽出された視差輪郭に接し、該視差輪郭を挟んで対向する一対の探索ウインドウを設定するウインドウ設定手段であって、前記一対の探索ウインドウを前記視差輪郭に沿って順次移動させるウインドウ設定手段と、
前記ウインドウ設定手段により設定された一対の探索ウインドウ内にある前記第１の画像に基づいてオクルージョン領域を含む探索ウインドウを判別するウインドウ判別手段と、
前記ウインドウ判別手段により判別された探索ウインドウ内のオクルージョン領域の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正する視差補正手段と、
を備えたことを特徴とする画像処理装置。
前記視差算出手段は、前記第１の画像の注目画素を基準とする所定のブロックサイズの画像と前記第２の画像とのブロックマッチングにより前記第１の画像の注目画素に対応する第２の画像上の画素を検出し、両画素間の視差を算出することを特徴とする請求項１に記載の画像処理装置。
前記探索ウインドウのサイズは、前記視差算出手段による視差算出時の所定のブロックサイズと同一であることを特徴とする請求項２に記載の画像処理装置。
前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像から画像輪郭を抽出する画像輪郭抽出手段を有し、前記画像輪郭抽出手段により抽出された画像輪郭が大きい方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の前記画像輪郭と前記視差輪郭との間の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴とする請求項４に記載の画像処理装置。
前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像をそれぞれ左右に２分割した分割画像の一致度を算出する一致度算出手段を有し、前記一致度算出手段により算出された一致度が低い方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記一致度算出手段は、前記２分割した分割画像のパターンマッチング、又はヒストグラムマッチングにより一致度を算出することを特徴とする請求項６に記載の画像処理装置。
前記ウインドウ判別手段は、前記第１の画像から前記一対の探索ウインドウ内の画像をそれぞれ切り出し、該切り出した各画像のコントラストを算出するコントラスト算出手段を有し、前記コントラスト算出手段により算出されたコントラストが大きい方の画像に対応する探索ウインドウを、前記オクルージョン領域を含む探索ウインドウとして判別することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記コントラスト算出手段は、前記切り出した各画像の画素値の分散又は標準偏差を、コントラストの大きさを示す指標として算出することを特徴とする請求項８に記載の画像処理装置。
前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の視差であって、左右に２分割した視差のうちの前記視差輪郭側の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴とする請求項５から９のいずれかに記載の画像処理装置。
前記視差補正手段は、前記ウインドウ判別手段により判別された探索ウインドウ内の画像から画像輪郭を抽出する手段を有し、前記抽出した画像輪郭と前記視差輪郭との間の視差を、前記判別されなかった他方の探索ウインドウ側の視差に基づいて補正することを特徴とする請求項５から９のいずれかに記載の画像処理装置。