JP2014096062A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】複数の画像から視差、奥行を算出するに際し、高い精度で視差を計算し、かつ並列化により大幅に計算時間が短縮し、高速な奥行の算出を可能にする。
【解決手段】視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を計算し、水平方向、垂直方向及び視差方向のコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成し、その各コストに含まれる雑音成分を除去する際に、物体境界を保存しながら平滑化するフィルタリングを行い、基準画像上座標にて事前に得られた画素単位視差またはサブピクセル視差を初期視差として、前記サブピクセル視差レベルのコストボリュームの特定範囲内で最小コストを与えるサブピクセル視差を求め、さらに奥行を求める。
【選択図】図６

Description

本発明は、視差のある複数の画像に基づいて被写体の奥行を求める画像処理方法及び画像処理装置に関する。

被写体を異なる位置から撮像した視差のある複数の画像から画像処理により視差を求め、奥行情報を取得することができ、従来種々の手法によるものが用いられている。このように被写体に対する奥行情報を求めることは、近年において、ロボットの動作制御、交通手段の走行制御、生産現場における加工対象物との距離測定等に利用可能であり、種々の形態の活用がなされてきている。

被写体を異なる位置から撮像して得られた画像における視差について、図１、２のような場合で説明すると、図１は円柱体ａ、直方体ｂ、円錐体ｃからなる被写体を２つの並置されたカメラＡ１、Ａ２で撮像する状況を斜視図で示したものである。これを撮像することにより、図２のような２枚の画像が得られる。（ａ）は左画像であり、（ｂ）は右画像であるが、左カメラＡ１の画像（ａ）に対して、右カメラＡ２の画像（ｂ）において手前にある物が左方にずれた状態になっており、このずれが視差となっている。手前にある物ほど視差が大きくなり、左右の画像から視差を求めることにより奥行を算出することができる。

視差のある複数の画像から画像処理により視差を求め、奥行情報を取得する技術に関し、次のような文献に開示されている。特許文献１には、２枚のステレオ画像における画素単位のペア探索を行った後に、視差の得られている画素に関して視差値の周辺でサブピクセル単位のペア探索を行った結果に基づいて視差を更新する視差推定方法について記載されており、特許文献２には、一対の撮像画素における相関特性を有する画素ブロック対のズレ量を算出する画像処理において、隣接した画素の輝度値を補間することにより補間データを生成し、補間データに基づいてサブピクセルレベルのステレオマッチングを行い、サブピクセルレベルの視差群で構成された距離画像を得ることについて記載されている。

特許文献３には、互いに相関する画像対を用いてステレオマッチングを行うステレオ画像処理において、画像対の各画素間に周辺画素のデータを用いて生成した仮想的な画素を挿入し、拡張した解像度の分解能で互いの対応位置を特定し、ステレオマッチングの精度を高めることについて記載され、特許文献４には、ステレオ撮像系により撮像されたステレオ画像ペアから視差を計算し、ペアの一方の画素の領域において画素を補間した領域を使用して視差を計算し、正規化された視差を用いて視差類似評価を行い、視差が類似する場合に正規化視差の平均から被写体までの距離を検出するようにした距離取得装置について記載されている。

非特許文献１には、画素単位でコストボリュームを生成し、コストボリュームに対しフィルタリングを行い、最小コストを与える視差を採用する画素単位視差計算手法について記載されている。

特開２００３−１６４２７号公報 特開２００３−１５０９３９号公報 特開２００５−２５０９９４号公報 特開２０１１−１８５７２０号公報

C. Rhemann et al., Fast cost-volume filtering for visual correspondence and beyond, CVPR 2011, pp.3017-3023

視差のある複数の画像に基づいて被写体までの奥行を算出するために、複数の画像から視差を求め、その視差から奥行を求める手法が用いられる。デジタルデータとして表される視差のある複数の画像から視差を求めるに際し、各画像についての画素値を用い、画素単位の視差を求めるという視差計算手法では、奥行の微細な変化が表現できない。そのため、非特許文献１のように画素単位で視差を求めるのではなく、与えられたデジタル画像をもとに、サブピクセルレベルの視差を計算する手法を用いるのがよいので、特許文献１、２においては、サブピクセルレベル視差の取得が試みられている。ここでは、左右画像間の画素対応時の雑音を除去する際に、物体境界を考慮せずに、矩形領域でのブロックマッチングを用いて類似度（または非類似度）を計算している。このために、取得される視差情報に物体境界が反映されないために、得られる視差の精度が低いという問題点があった。
一方、非特許文献１では、左右画像から、事前に計算したコストボリュームに対して、ガイデッドフィルターを用いてフィルタリングを行うことにより、並列実装の枠組みの中で、物体境界を保存しながら雑音を除去することに成功していたが、画素単位の視差しか求めることができないため、解像度という意味で、得られる視差の精度に問題があった。

本発明においては、複数の画像から視差、奥行を算出するに際し、高い精度で視差を計算し、かつ並列化により大幅に計算時間が短縮でき、高速な奥行判断を有する分野に適用可能であるようにすることを目的とするものである。

本発明は、前述した課題を解決すべくなしたものであり、本発明による被写体の奥行を求める画像処理方法は、視差のある複数の画像に基づいて被写体の奥行を求める画像処理方法であって、
視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を計算することで、水平方向、垂直方向及び視差方向のコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成することと、
サブピクセル視差レベルのコストボリュームの各コストに含まれる雑音成分を除去する際に、基準画像上の画素値が類似する周辺座標間でより大きな重みを与えることにより被写体の境界を保存しながら平滑化するフィルタリングを行うことと、
基準画像上座標にてあらかじめ得られた画素単位視差またはサブピクセル視差を初期視差として、サブピクセル視差レベルのコストボリュームの特定範囲内で最小コストを与えるサブピクセル視差を求め、該視差からさらに奥行を求めることと、
からなるものである。

また、前記視差のある複数の画像が被写体について視差のある画像を撮像装置により撮像することにより取得されるものであるようにしてもよい。

本発明による被写体の奥行を求める画像処理装置は、
視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を計算することで、水平方向、垂直方向及び視差方向のコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成するコストボリューム生成部と、
前記サブピクセル視差レベルのコストボリュームの各コストに含まれる雑音成分を除去する際に、基準画像上の画素値が類似する周辺座標間でより大きな重みを与えることにより被写体の境界を保存しながら平滑化するフィルタリングを行うフィルター部と、
基準画像上座標にてあらかじめ得られた画素単位視差またはサブピクセル視差を初期視差として、前記サブピクセル視差レベルのコストボリュームの特定範囲内で最小コストを与えるサブピクセル視差を求める視差探索部と、
前記求められた視差からさらに奥行を算出する奥行算出部と、
からなるものである。

また、被写体について視差のある複数の画像を撮像する撮像装置を備え、該撮像装置により取得された視差のある複数の画像についてサブピクセル視差を求めるようにしてもよい。

本発明の被写体の奥行を求める画像処理の方法及び装置は、被写体の撮像により得られた視差のある複数の画像について、サブピクセル視差レベルのコストボリュームを生成し、物体の境界を保存しながらコストの雑音を低減し視差を求め、それにより奥行を算出するものである。コストボリュームを用いた視差の計算は、従来は画素単位で行われるのみであったが、本発明においては、サブピクセル視差レベルのコストボリュームを生成し、それを用いて視差を計算することにより、高い精度で視差、奥行を算出することができる。それとともに、演算処理を行う処理として並列実装により計算時間を短縮し処理時間を短くすることが可能である。

被写体を２つの並置されたカメラで撮像する状況を示す斜視図である。 図１に示される被写体を撮像して得られた画像を示し、（ａ）は左画像であり、（ｂ）は右画像である。 コストボリュームのコストの算出についての説明に関連する図である。 コストボリュームを表示した例を示す図である。 サブピクセル視差レベルのコストボリュームにおいて正確な視差を求める視差探索について例示する図である。 本発明による被写体の奥行を求める画像処理方法のフロー図である。 本発明による被写体の奥行を求める画像処理装置の構成を示す図である。

本発明による被写体の奥行を求める画像処理方法及び画像処理装置においては、被写体について撮像された視差のある複数の画像に対して補間処理を行うことで、サブピクセル視差レベルのコストボリュームを生成し、フィルタリングの手法を用いて物体境界を考慮しながらコストに含まれる雑音を低減し、サブピクセル視差探索を行ってサブピクセル視差、奥行を算出するという形態をとる。画像に含まれる視差が明らかになれば、撮影時のカメラの特性及びカメラの位置に基づいて奥行情報が復元できる。まず、最初に、サブピクセル視差レベルのコストボリュームについて説明する。

サブピクセル視差レベルのコストボリュームは、画素単位で求められるコストボリュームを、本発明においてさらにサブピクセルレベルにまで拡張して求めたものである。視差のある複数のデジタル形式の画像をもとに視差、奥行を算出するために、基準画像と参照画像とから対応する画素について異なる視差を想定したコストを求めることによって、画像の水平方向、垂直方向及び視差方向の３次元のコストボリュームを形成する。このコストボリュームに対して、雑音除去した後に、最小コストを与えるサブピクセル視差を探索する。なお、画素単位のコストボリュームに基づいた画素単位の視差探索については非特許文献１にも述べられている。

（ａ）サブピクセル視差レベルのコストボリュームの生成
コストボリューム（cost volume）は、視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を求めてこれをコストとし、画像についての視差ｄを求めるための特徴量を表すものとして画像での水平方向、垂直方向、視差方向である（x, y, d）の空間におけるコストの分布をコストボリュームとして考えるものである。ここでは、簡単のために左右にカメラを並べて撮影したステレオ画像対を想定することにして、左画像と右画像のそれぞれを基準画像、参照画像と呼ぶこととする。言うまでもなく、上下方向や斜め方向にカメラを並べた場合についても、同様の説明は可能である。

コストボリュームは、基準画像と参照画像との対応する画素についての画素値がどの程度に相違しているかを表すコストを水平方向、垂直方向、視差方向に分布させたものであり、０からＮ−１までの画素単位の視差を想定した場合に、コストボリュームは視差方向にＮ層を有する。サブピクセルレベルの視差を想定した場合には、サブピクセル解像度をＳＰＤＲとすると、コストボリュームの層数は（Ｎ−１）×ＳＰＤＲ＋１となる。例えば、ＳＰＤＲ＝１はサブピクセル視差を想定しない画素単位の解像度の場合であり、ＳＰＤＲ＝２は０．５画素の視差解像度を想定する場合となる。

画素単位のコストボリュームＣ_x,y,dは、基準画像における座標（x, y）の画素値Ｉ_x,yと参照画像における水平方向にｄだけずれた座標の画素値Ｉ′_x-d,yとについての次の関係式で表される。

ここで、第１項目は基準画像上の座標（x, y）に対して、視差ｄを仮定した場合の参照画像上の対応座標（x−d，y）と間の画素値の絶対値を表し、第２項目は横軸方向の一次微分画素値の対応誤差の絶対値を表している。grad_xは画素値の水平方向の傾き（変化分）を求めるための演算子であり、αは画素値と傾きの誤差のバランスをとるためのパラメータであり、τ_１，τ_２は打ち切り値であり、minは内側に含む数値の小さい方の値を選択する関数である。

画像Ｉ及びＩ′がカラー画像の場合には、それぞれのチャンネル毎に演算を行った後に合計を求める、または、一度グレイ画像に変換してから上記演算を行えばよい。コストボリュームＣ_x,y,dは画像Ｉにおける座標（x, y）の画素が参照画像Ｉ′で同じ座標からｄだけ左方向にずれた画素とどれだけ相違しているかを表している。なお、コスト計算のための式（１）の定義中のノルムとして、二乗のような累乗や絶対値の計算をする場合や、水平方向だけでなく垂直方向の一次微分を考慮する場合も自然な拡張として考えられる。さらに、非類似度（cost distance, dissimilarity）ではなく類似度（similarity）で表現することもできるが、この場合はサブピクセル視差を最終決定する際に、最小コストを有する視差を探索するのではなく、最大類似度を有する視差を探索するというように若干の変更が生じる。

図３よりコストボリュームのコストを求める過程を説明すると、図１のように各々水平に配置されたカメラＡ１、Ａ２で被写体を撮影する場合を考え、得られた画像の一方、例えば左カメラの画像Ｉを基準画像とし、他方の右カメラの画像Ｉ′を参照画像とする。各カメラが水平に配置されている場合、視差は画像において水平方向（ｘ方向）に現れるのであり、基準画像の座標（x, y）の画素と、対応する位置の参照画像の座標（x, y）の画素とを対比し、次に座標（x−1，y）の画素と対比し、その次に座標（x−2，y）の画素と対比するという形で、それぞれコストを算出する。ｘ，ｙ座標については、隣り合う画素の中心間距離を単位としている。

各画素について求められたコストは（x, y, d）の３次元的分布をなし、その全体がコストボリュームである。図４は、視差のある特定の画像について、あるｙ座標の画素の画素値から求められコストボリュームのｘ方向及び視差方向の分布を例示したものである。
与えられた画像について求められた式（１）の形のＣ_x,y,dを初期値とし、さらに
によりフィルタリングを行ったものをＣ′_x,y,dとする。このフィルタリングの重みＷ_{x,y,x’,y’}は基準画像上の座標（x, y）と周辺の複数の座標（x’, y’）との画素値類似度と座標近接度で決まるものである。

式（２）におけるＷ_{x,y,x’,y’}は境界を考慮できる重み関数を用いるが、非特許文献１に見られるガイデッドフィルター（Guided Filter）を用いた場合、参照画像上の複数の矩形窓における平均と分散とによる統計的相似性に基づいて２つの画素（x, y）と（x’, y’）の間の重みを決めるものであり、
で表される。ここで、μ_ｋおよびσ_ｋ ^２はサイズｒ^２をもつ座標ｋ＝（x_k, y_k）に位置する矩形窓ω_ｋに含まれる画素値の平均および分散をそれぞれ表す。

画素値類似度については、座標（x, y）と周辺座標（x’, y’）が同じ物体または同じ境界領域に属していれば画素値が類似するので、重みＷ_{x,y,x’,y’}が大きくなるように寄与し、異なる物体または異なる境界領域に属していれば画素値が相違するので重みＷ_{x,y,x’,y’}が小さくなるように寄与する。座標近接度については、座標（x, y）と周辺座標（x’,y’）とが近接していれば重みＷ_{x,y,x’,y’}が大きくなるように寄与する。式（１）として表される座標（x, y）の画素についてのコストボリュームＣ_{x, y, d}にフィルタリングを行ったＣ′_x,,y,dに関して視差を表すものとして本来の視差に相当するもの、すなわち視差として最適となるものを選定するという形で視差の探索を行う。

式（１）は画素単位でのコストボリュームを規定するものであるが、本発明においては、奥行をより微細に表現するために、サブピクセル視差レベルのコストボリュームを考える。撮像により得られたデジタル画像は画素ごとに定まる画素値の総体であり、画素より細かいレベルでは本来の画素値はないが、補間手法を用いてサブピクセル座標の画素値を定め、それに基づいてサブピクセル視差レベルのコストボリュームを生成する。

隣り合った画素単位の視差レイヤーの間に何枚のサブピクセルレイヤーを仮定するかを表すものとして、視差サブピクセル視差解像度ＳＰＤＲを導入し、ＳＰＤＲ＝１は画素単位視差レイヤーの間にサブピクセルレイヤーを含まない場合を表し、ＳＰＤＲ＝２は１枚のサブピクセルレイヤーを含むことを表すというようにする。サブピクセル視差レベルのコストボリュームは、式（１）を修正した次式
で与えられる。

ここで、Ｉ_x,y、Ｉ′_x,yはそれぞれ基準画像と参照画像とにおける座標（x, y）における画素値を表し、ｄは整数値パラメータで［0 : (想定される最大画素単位視差−１) ×SPDR］の範囲の値となる。すなわち、Ｃ_x,y,dは座標（x, y）においてサブピクセル視差ｄ／ＳＰＤＲを想定した場合のコストを表す。grad_xは画素値のｘ方向の傾きであり、αは画素値と傾きの誤差のバランスをとるためのパラメータであり、τ_１，τ_２は打ち切り値である。サブピクセル座標での画素値Ｉ′_x-d/SPDR,yは隣接する画素単位座標、またはそれを含む周辺の画素単位座標での画素値から補間により求められるものである。

（ｂ）サブピクセル視差レベルのコストボリュームに対するフィルタリング
式（４）で定まる初期コストボリュームに対し、式（２）のような形でのフィルタリングを行う。この場合のガイデッドフィルターは式（３）で表されるものである。高いコントラストテクスチャの矩形窓においては分散σ_ｋ ^２が大きくなってＷ_{x,y,x’,y’}は一定になり、低いコントラストテクスチャの矩形窓においてはσ_ｋ ^２が小さくなってＷ_{x,y,x’,y’}は両者の統計的相似性に敏感になる。すなわち、低いコントラストテクスチャの矩形窓において鮮明なエッジがあるならば、エッジに対して同じ側にある２つの画素間には大きな重みが課せられ、エッジを跨った２つの画素間には小さな重みが課せられる。結果として、基準画像のエッジ位置に基づいてコストボリュームを平滑化することになる。パラメータεは分散σ_ｋ ^２の効果をコントロールする。

式（３）の形のガイデッドフィルターにより初期コストボリュームＣ_x,y,dからフィルター後のコストボリュームＣ′_x,y,dが求められるのであるが、実際上は式（３）の代わりに、次の式（５）〜（７）を用いて計算することで、並列局所演算として実装できる。
カラー画像の場合には、ａ_kは３次元のベクターとなり、Ｕは３×３の単位行列、Σ_kは３×３の共分散行列になる。なお、矩形領域における平均や分散の計算は、ＳＡＴ（Summed Area Table: サムドエリアテーブル）法を用いて効率よく計算でき、計算負荷はＯ（ｎ）となる。

このようにサブピクセル視差レベルのコストボリュームに対し適切な重みを有する平滑化フィルターを同じ視差層のコストに適用することで、コストに含まれる雑音成分を低減する。この時に、基準画像上の画素値が類似している周辺座標間でより大きな重みを用いてコスト平滑化を行うことで、物体境界を保存しながらコストに含まれる雑音を低減する境界保存フィルタリングとすることができる。なお、境界保存フィルターとしては、必ずしもここで述べたガイデッドフィルターを用いなければならないわけではない。例えば、バイラテラルフィルター（Bilateral Filter）も一般によく知られる境界保存フィルターの一つであり、ガイデッドフィルターの代わりに用いることが可能である。

（ｃ）サブピクセル視差の探索
当初の基準画像、参照画像から各画素について初期視差を設定し、視差方向に最小のコストを与えるサブピクセル視差をその周辺で探索する。初期視差は適宜設定されるものであるが、既存の画素単位の視差計算方法で得られた視差を用いることができる。例えば、サブピクセル視差レベルのコストボリューム上の視差方向の画素単位視差のみのコストを調べて最小コストを与える画素単位視差を初期視差とする。これは勝者総取り（ＷＴＡ: Winner Take All）方式として、基準画像上の座標（x, y）毎に、
により決定される。このように画素単位で得られた視差を初期視差とするのが安定性や信頼性の面では妥当と考えられるが、実際の方法として、大まかには合っているが高精度ではないサブピクセル視差を初期視差として設定するのがよい場合もある。視差の探索に際しては、これらのいずれかの方法を採用してあらかじめ初期視差を設定するものとする。

次に、設定された初期視差をもとに、正確なサブピクセル視差を求めるという形で視差探索を行う。図５は、単純な例として、壁の手前に丸い物体がある場合について、視差探索を表すものである。白丸は水平方向（ｘ方向）における各画素についての初期視差を表し、垂直方向の線分は黒丸で表される求めたいサブピクセル視差を探すための探索領域範囲を表し、探索領域としては、初期視差を基準として±０．５画素の範囲を検討することが妥当であることが実験結果から判明しているが、より広い領域として例えば±１画素としてもよい。図５は、ＳＰＤＲ＝４であって画素間に３枚のサブレイヤーがある場合のものであり、視差探索により白丸の初期視差から、黒丸で表される求めるべき視差が得られる。

〔奥行を求める画像処理のフロー〕
図６は、本発明による被写体の奥行を求める画像処理方法における各ステップを示すフロー図である。最初に、ある被写体について複数のカメラにより撮像し、視差のある複数の画像を取得する。次に、取得された複数の画像の１つを基準画像とし、他を参照画像として、各画像について、各画素単位座標間に所定数のサブピクセル座標を設定し、所定の補間手法によりサブピクセル座標における画素値を求める。次に、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとし、基準画像上座標の画素値と参照画像上サブピクセル座標の補間視画素値の対応誤差を計算して、式（４）による水平方向及び視差方向のコストＣ_x,y,dを計算し、このように得られたコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成する。

次に、各画素、サブピクセル座標について求められたコストボリュームに対して、式（５）、（６）、（７）により、基準画像上の画素値が類似する周辺座標間でより大きな重みを与えることにより被写体の境界を保存しながら平滑化するフィルタリングを行うことでコストＣ′_x,y,dを求める。次に、フィルタリング後の画素単位のコストボリュームについて、初期視差を設定し、勝者総取り方式により視差方向の特定範囲内でサブピクセル視差レベルのコストを探索し、最小コストとなるサブピクセル視差を求める視差とする。次に、求められた視差から奥行を算出する。なお、複数の視差のある画像について、複数のカメラにより被写体を撮像するものについて示したが、予め作成されている複数の視差のある画像データに基づいて視差、奥行を求める場合についても、画像処理手順としては同様である。

〔奥行を求める画像処理装置〕
図７は、本発明による被写体の奥行を求める画像処理装置の構成を示すものである。図７において、Ａ１、Ａ２は複数の並置されたカメラであり（図示の例では２台のカメラを用いているが、３台以上のカメラとしてもよい）、撮像により被写体について視差のある画像を取得するものである。１は取得された複数の画像の画像データから奥行を算出する処理装置全体を示す。画像取得部２においては、カメラＡ１、Ａ２により撮像された被写体についての複数の画像を取得し、この画像の画像データは元画像記憶部３に蓄積される。補間データ生成部４では、取得された複数の画像の１つを基準画像とし、他を参照画像として、参照画像について、各画素間に所定数のサブピクセル座標を設定し、所定の補間手法によりサブピクセル座標における画素値を求める。

コストボリューム生成部５では、複数の画像についての各座標の画素値と、補間により求められたサブピクセル座標における画素値とについて、式（４）の形でコストＣ_x,y,dを求める形でコストボリュームを生成する。フィルター部６では、画素単位視差、および、サブピクセル視差を想定して求められたコストボリュームに対して、式（５）、（６）、（７）により、基準画像の物体境界に基づいてコストボリュームを平滑化するようにフィルタリングを行ったコストＣ′_x,y,dを求める。

視差探索部７では、フィルタリング後の画素単位のコストボリュームについて、初期視差を設定し、勝者総取り方式により視差方向の特定範囲内でサブピクセル視差レベルのコストを探索し、最小コストとなるサブピクセル視差を求める視差とする。奥行算出部８では、求められた視差から奥行を算出する。なお、左右のカメラで被写体を撮像し複数の視差のある画像を取得する例について示したが、予め取得されている複数の視差のある画像データに基づいて視差、奥行を求める場合についても、画像処理を行う装置としては同様に構成されるものである。

本発明は、測量、車両の運転補助、ロボットの自立走行、安全監視設備、工場内生産ラインにおける計測制御のような広い範囲の技術分野において、画像処理により物体の奥行、位置関係を算出する技術として適用されるものである。

Ａ１，Ａ２ カメラ

Claims (4)

1. 視差のある複数の画像に基づいて被写体の奥行を求める画像処理方法であって、
   視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を計算することで、水平方向、垂直方向及び視差方向のコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成することと、
   前記サブピクセル視差レベルのコストボリュームの各コストに含まれる雑音成分を除去する際に、基準画像上の画素値が類似する周辺座標間でより大きな重みを与えることにより被写体の境界を保存しながら平滑化するフィルタリングを行うことと、
   基準画像上座標にてあらかじめ得られた画素単位視差またはサブピクセル視差を初期視差として、前記サブピクセル視差レベルのコストボリュームの特定範囲内で最小コストを与えるサブピクセル視差を求め、該視差からさらに奥行を求めることと、
   からなることを特徴とする被写体の奥行を求める画像処理方法。
2. 前記視差のある複数の画像が、被写体について視差のある画像を撮像装置により撮像することにより取得されるものであることを特徴とする請求項１に記載の被写体の奥行を求める画像処理方法。
3. 視差のある複数の画像の１つを基準画像、他を参照画像とし、基準画像上の画素が有する可能性があるサブピクセル視差候補のコストとして、基準画像上座標の画素値と参照画像上サブピクセル座標の補間画素値の対応誤差を計算することで、水平方向、垂直方向及び視差方向のコストを３次元的に並べたサブピクセル視差レベルのコストボリュームを生成するコストボリューム生成部と、
   前記サブピクセル視差レベルのコストボリュームの各コストに含まれる雑音成分を除去する際に、基準画像上の画素値が類似する周辺座標間でより大きな重みを与えることにより被写体の境界を保存しながら平滑化するフィルタリングを行うフィルター部と、
   基準画像上座標にてあらかじめ得られた画素単位視差またはサブピクセル視差を初期視差として、前記サブピクセル視差レベルのコストボリュームの特定範囲内で最小コストを与えるサブピクセル視差を求める視差探索部と、
   前記求められた視差からさらに奥行を算出する奥行算出部と、
   からなることを特徴とする被写体の奥行を求める画像処理装置。
4. 被写体について視差のある複数の画像を撮像する撮像装置を備え、該撮像装置により取得された視差のある複数の画像についてサブピクセル視差を求めるようにしたことを特徴とする請求項３に記載の被写体の奥行を求める画像処理装置。