JP2007037011A - 画像処理装置 - Google Patents

Abstract

【課題】 本発明の目的は、撮像手段の異常を正確に判定することが可能な画像処理装置を提供すること。
【解決手段】 本発明の物体検出装置は、複数の撮像手段２Ｒ，２Ｌによる複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、各画像の特徴点を抽出する特徴点抽出手段と、特徴点の数を計測する特徴点数計測手段と、特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、対応点の数を計測する対応点数計測手段と、を備え、対応点検出手段は画像の所定領域のみ対応点を検索し、特徴点の点数に対する対応点の点数が所定基準未満である場合に、撮像手段の光軸が異常であると判定することを特徴としている。
【選択図】 図１

Description

本発明は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、撮像手段の異常を正確に判定することのできる物体検出装置に関する。

複数の入力画像、即ち通常、ステレオ画像と呼ばれる一対の画像に基づいて、視差を利用して物体の位置を検出する画像処理装置が知られており、下記［特許文献１］にも開示がある。下記［特許文献１］に記載のものでは、ステレオカメラによって取得したステレオ画像上の小領域に注目して対応点（ステレオ画像の右画像と左画像とで同一部分を示す点）を探索したときの差分値Ｓと呼ばれる値の最小値が所定値以上の場合には、前記小領域をノイズ（上記公報中では雑音と呼ばれている）として除去し、除去したノイズの数量が所定量を超えたときに光学系（ステレオカメラ）の異常として警報信号が出力される。
特開平１１−１０８６６０号公報

しかし、［特許文献１］に記載のものでは、抽出した特徴点（入力画像中において画像処理上特徴となる点）の対応点を探索するとき、室内駐車場等では、画像に特徴部分が少なく、特徴点数が減少し、対応点の数も減少するため、異常でないのに異常と判定してしまうおそれがある。また、対応点数が少ない理由が、光学系の撮像機能（例えば、映像信号線の断線など）が原因か光軸のズレが原因か判別できない。従って、本発明の目的は、撮像手段の異常を正確に判定することが可能な物体検出装置を提供することにある。

請求項１に記載の画像処理装置は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、各画像の特徴点を抽出する特徴点抽出手段と、特徴点の数を計測する特徴点数計測手段と、特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、対応点の数を計測する対応点数計測手段と、を備え、対応点検出手段は画像の所定領域のみ対応点を検索し、特徴点の点数に対する対応点の点数が所定基準未満である場合に、撮像手段の光軸が異常であると判定することを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、複数の撮像手段はその光軸が平行となるよう設置され、対応点検出手段は、上述した平行な方向の所定領域の長さが、平行な方向と直交する方向の長さよりも長いことを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、異常と判定した場合には、画像での垂直方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。

請求項４に記載の画像処理装置は、複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出するもので、各画像の特徴点を抽出する特徴点抽出手段と、特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、対応点の情報に基づいて、検出した対応点が異常対応点か否かを判定する異常対応点判定手段と、異常対応点の数を計測する異常対応点数計測手段と、特徴点の数を計測する特徴点数計測手段又は対応点の数を計測する対応点数計測手段と、を備え、特徴点数又は対応点数に対する異常対応点数が所定基準以上である場合に、撮像手段の光軸が異常であると判定することを特徴としている。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、異常対応点数計測手段は、視差の値がマイナスの値である対応点数の数を異常対応点数とすることを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像処理装置において、異常と判定した場合には、画像での水平方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。

請求項７に記載の発明は、請求項４に記載の画像処理装置において、検出した対応点の三次元座標系における高さを算出する高さ算出手段を備え、異常対応点数計測手段は、高さの値がマイナスの値を持つ対応点数の数を異常対応点数とすることを特徴としている。

請求項８に記載の発明は、請求項７に記載の画像処理装置において、異常と判定した場合には、画像での垂直方向で、複数の撮像手段の光軸が正常な位置関係にないと判定することを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像処理装置において、特徴点はエッジ点であることを特徴としている。エッジ点とは、画像の明度変化率が局所的に最大値となる（極大値となる）点（場所：位置）のことである。

「特徴点を検出＝撮像手段の機能が正常（信号線断線などでは特徴点が検出できない）」、「対応点を検出＝カメラ光軸位置が正常」と考えると、特徴点が多い場合、即ち、撮像手段の機能が正常に機能していると判断できる場合のみ、撮像手段の光軸位置の状態を判別することになるため、請求項１に記載の画像処理装置によれば、撮像手段の光軸の位置ズレ（方向ズレ）を確実に検出することが可能となる。なお、所定領域についてのみ対応点を検出するため、光軸がずれていると、対応点が定まらない（複数の入力画像で対応する所定領域の位置自体がずれてしまうため）。

ここで、複数の撮像手段を、その光軸が平行となるよう設置し、この平行な方向の所定領域の長さが、平行な方向と直交する方向の長さよりも長い所定領域を対応点検出手段が検索することが好ましい。平行な方向に視差が発生するため、平行な方向の探索範囲を長くして、理論上ずれることのない前記平行な方向と直交する方向の長さを短くした、長方形の探索範囲とする。また、ここで、水平方向のみ対応点を探索した際に異常であると判定される場合には、複数の撮像手段間が垂直方向に正常な位置関係にないと判定することで、複数の撮像手段の垂直方向の位置ズレを正確に検出することができる。

また、請求項４に記載の画像処理装置によれば、「特徴点を検出＝撮像手段の機能が正常」、「対応点を検出＝カメラ光軸位置が正常」と考え、撮像手段の機能が正常に機能していると判断できる場合のみ、撮像手段の光軸位置の異常を判定することができる。ただし、対応点の検出には誤差が伴うため、ゼロよりも大きい所定基準以上とする。

ここで、複数の撮像手段の光軸方向が交差するように方向ズレを起こしていた場合には、視差が通常はとり得ないマイナスの値となるため、マイナス視差を持つ対応点の割合によって撮像手段の異常を判定することができる。視差は、左右の画像の同じ位置にあるときゼロで、カメラの位置関係によって、あり得る視差の方向を正と決めている。このようにして視差の正負を決めているため、カメラ位置が正常であれば通常はマイナス視差は生じ得ない。また、複数の撮像手段の光軸方向が正常時よりも上方に向いてしまった場合には、対応点の三次元座標系（実空間）における高さが、マイナスの値をとる割合が増加する（撮像手段前方が平坦であれば、通常マイナスの値はとり得ない）。このため、高さの値がマイナスの値を持つ対応点の割合によって撮像手段の異常を判定することができる。高さは、所定のレベル（通常は、地表レベル）をゼロとし、その上方（地中でなく地上にあるということ）を正と決めている。このようにして高さの正負を決めているため、カメラ位置が正常であれば通常はマイナス高さは生じ得ない。

以下、図面を参照しつつ本発明の画像処理装置の一実施形態について説明する。本実施形態の物体検出装置は、図１に示されるように、車両１に搭載されている。物体検出装置は、画像取得部（撮像手段）２Ｒ，２Ｌと、この取得した画像に各種フィルタをかけて処理する画像処理部３（特徴点抽出手段・特徴点計測手段・対応点検出手段・対応点計測手段・異常対応点判定手段・異常対応点計測手段）とを備えている。画像取得部は、横方向に一定間隔を設けて配設された一対のＣＣＤカメラ２Ｒ，２Ｌである。画像処理部は、ＣＣＤカメラで取得した一対の入力画像に基づいて各種演算を行うもので、ＣＰＵやＧＰＵ、ＲＯＭ・ＲＡＭなどを備えたＥＣＵ３である。

一対のＣＣＤカメラ２Ｒ，２Ｌは、車両１の車室内のルームミラー前方に埋設されている。一対のＣＣＤカメラ２Ｒ，２Ｌは、同一の性能・仕様を持ったものであり、それらの設置間隔や焦点距離などは予めＥＣＵ３内のＲＯＭなどに記憶されている。一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常であれば、車両１が平坦路上に置かれたときに路面に平行に配設されている。また、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常時には、互いに平行で、かつ、車両１の前後方向中心線に対しても平行である。

対象物の検出に際しては、まず、一対のカメラ２Ｒ，２Ｌによって前方画像を取得する。一対のカメラ２Ｒ，２Ｌは所定の間隔を置いて設置されているため、撮像された一対の画像は全く同じ画像とはならず、二つの画像間にはいわゆる肉眼での視差に相当するズレ（以下、このズレも視差と言う）が生じる。即ち、二つの画像上において同一のものを示す点（以下、この一対の点を対応点と呼ぶ）に関する視差は、カメラ２Ｒ，２Ｌからの方向及び距離に応じて異なる。そこで、画像上の位置（二次元座標軸上の座標：通常何れか一方の画像を基準とする）と視差とから、実際の三次元空間（これに対応する三次元座標軸）上の座標が算出可能となる。

入力された画像から、一対の対応点を探索することとなるが、この場合、入力画像中で特徴を持った点（特徴点）を用いて一対の対応点を探索する。本実施形態では、この特徴点としてエッジ点を用いる。エッジ点とは、画像の明度変化率が局所的に最大値となる（極大値となる）点（場所：位置）のことである。エッジ点は、画像処理の上で検出しやすく、対応点を探索する上で都合がよい。

図２に、本実施形態の物体検出装置の異常判定制御のフローチャートを示す。以下、図２を参照しつつ、異常判定制御について説明する。まず、ＣＣＤカメラ２Ｒ，２Ｌを用いて、ステレオ画像を取得する（ステップ２００）。次いで、一対のステレオ画像からエッジ点（特徴点）を抽出すると共に各エッジ点ごとに対応点を探索し、各対応点ごとに視差を算出する（ステップ２０５）。なお、通常、画像内のエッジ点に対して対応点は５０％程度が探索される。しかし、ＣＣＤカメラ２Ｒ，２Ｌが正しくセッティングされていないと（光軸位置がずれていると）、対応点は算出されにくくなり、この割合は低下する。

本発明の様に２台のカメラ２Ｌ、２Ｒの光軸が平行となるよう設置した場合、光軸に異常がなければ、対応点は画像の垂直方向（＝Ｙ軸：前記平行な方向と直交する方向）でほぼ同じ値を、画像の水平方向（＝Ｘ軸：前記平行な方向と平行な方向）でズレ（視差）を持って検出される。よって、本実施例では、対応点を検索する所定領域の垂直方向の長さを、水平方向の長さよりも十分小さく設定している。具体的には、水平方向に長辺をもつ長方形が探索方向に設定される。このとき、２台のカメラ２Ｌ、２Ｒが垂直方向で正常な位置にないと、垂直方向で探索する領域が狭いため、対応点が検出されにくくなる。本発明ではこのことを利用して、並行に設置した複数台の撮像手段の対応点を検索する所定領域の垂直方向の長さを水平方向よりも小さく設定して十分な対応点が検出できない時には、２台のカメラ２Ｌ、２Ｒの光軸が画像の垂直方向で正常な位置関係にないと判断する。

また、このとき、異常判定制御に関しては、対応点（エッジ点）の探索は、例えば、所定の探索領域（所定領域）についてのみ行う。仮に、一対のＣＣＤカメラ２Ｒ，２Ｌの水平方向の光軸が平行でないような場合、入力画像全体で対応点を探索すると、通常よりも視差が大きく（あるいは小さく）なっても対応点は探索できてしまう。そこで、対応点（エッジ点）を探索する領域を所定領域に制限する。なお、この所定領域は、入力画像に応じて、その位置や面積を変更してもよい。例えば、入力画像に応じて、エッジ点が多い範囲を狙って所定範囲を設定するなどしても良い。

視差の算出は以下のように行う。ステレオ座像の一方の画像を二値化処理し、第一対象物画像を抽出する。次に、他方の画像（グレースケール画像）に対して第一対象物画像に対応する画像（対応画像）を探索する所定領域（探索領域）を設定し、この第一対象画像と探索領域中の物体画像との相関演算を実行することにより、第一対象画像に対する対応画像を第二対象画像として抽出する。そして、一方の画像の第一対象画像の重心位置と、他方の画像の第二対象画像の重心位置との差から視差を画素数などで求める。

図３に、視差算出の図を示す。ここでは、右画像を基準として、左画像中に対応点を探索する場合を例に説明する。右画像中の注目している小領域と相関の高い（類似度の高い）小領域を、左画像の所定領域から探索する。まず、左画像において、右画像のテンプレート座標（Ｘ）を基準に右方向に（Ｘ−２からＸ＋１２８）を探索する。なお、ここでは、Ｙ座標方向は１ピクセル（座標Ｙ）分だけ探索している。このように探索することで、図３右側に示されるように、左画像中に対応点を探索でき、このときの図に示される視差が得られる。

このとき、対応点が探索されたＸ座標がＸ−２又はＸ−１であれば、マイナス視差であるということになる。カメラ２Ｒ，２Ｌのズレを評価するため、マイナス視差も計算する。また、上述したように、右画像を基準にして左画像を探索する場合には、通常視差が発生する方向（右方向）に大きく探索範囲を設定した。これを、左画像を基準にして右画像を探索する場合は、探索範囲を（Ｘ＋２〜Ｘ−１２８）：左方向・Ｙ座標は１ピクセル分とすればよい。

上述した場合は、Ｙ座標方向１ピクセル分だけ探索範囲としたが、複数ピクセル分探索しても良い。例えば、探索範囲のＹ軸方向の幅を３ピクセルとする場合は、まず、右画像のテンプレート座標（Ｘ，Ｙ−１）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索し、次に、右画像のテンプレート座標（Ｘ，Ｙ）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索し、さらに、右画像のテンプレート座標（Ｘ，Ｙ＋１）を基準にして、左画像において（Ｘ−２〜Ｘ＋１２８）を探索すればよい。このとき、（Ｘ−２，Ｙ−１），（Ｘ＋１２８，Ｙ−１），（Ｘ−２，Ｙ＋１），（Ｘ＋１２８，Ｙ＋１）を頂点とする範囲が請求項にいう所定領域となる。

ステップ２０５の後、エッジ点数を計測し、この値が所定の閾値０よりも小さいか否かを判断する（ステップ２０７）。ステップ２０７が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ＣＣＤカメラ２Ｒ，２Ｌの信号線が断線しているような、カメラ機能自体に異常がある場合は、エッジ点自体の検出が行われにくくなって上述したエッジ点数は閾値０よりも小さくなるため、カメラ機能自体の異常を検出できる（なお、この処理は発明の本質ではなく、省略しても良い）。

次に、ステップ２０７が否定されるようであれば、（対応点数／エッジ点数）…☆を算出し、この値が所定の第一の閾値１よりも小さいか否かを判定する（ステップ２１０）。ステップ２１０が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。一対のＣＣＤカメラ２Ｒ，２Ｌの光軸位置が上述したように正常な位置になく、対応点が検出されにくくなる。そこで、上述した☆の値は閾値１よりも小さくなるためＣＣＤカメラ２Ｒ，２Ｌの光軸の異常を検出できる。なお、対応点は画像内で（ほぼ）同一高さで探索されるため、ここでは、異常である場合は、左右のステレオ画像で上下（垂直方向）にズレがあると判定される。

一方、ステップ２１０否定される場合は、次に、（マイナス視差の対応点／エッジ点数）を算出し、この値が所定の第二の閾値２以上であるか否かを判定する（ステップ２１５）。上述したように、通常は視差はマイナス値をとることはない。（ただし、実際はステレオマッチングの計算誤差などによって、視差が算出された全体の３％程度のマイナス視差が算出されることがあり、この程度は正常範囲である。）ステップ２１５が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ステップ２１５が肯定されるような場合は、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸が交差するようにずれている（水平方向で光軸が正常な位置にない）と判断できるため、異常を検出できる。

さらに、ステップ２１５否定される場合は、次に、（マイナス高さの対応点／エッジ点数）を算出し、この値が所定の第三の閾値３以上であるか否かを判定する（ステップ２２０）。上述したように、通常は対応点の三次元座標系（実空間）における高さはマイナス値をとることはない。（ただし、車両１前方が下り坂のような場合はマイナス高さが算出されることもあり得る、車両１の水平を測るセンサを搭載し、車両１が水平であるときのみステップ２２０を実行するようにしても良い。）ステップ２２０が肯定されるようであれば、ＣＣＤカメラ２Ｒ，２Ｌに異常が生じていると判定する（ステップ２２５）。ステップ２２０が肯定されるような場合は、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸が上方を向いているようにずれている（垂直方向で光軸が正常な位置にない）と判断できるため、異常を検出できる。ステップ２２０が否定される場合は、異常はないと判定される（ステップ２３０）。なお、各閾値との比較の順番は実施例に限定されず、一部の比較を省略して例えば閾値１だけ、閾値２だけを用いた異常検出も良いし、順番を変更しても良い。

なお、本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では物体検出装置を車両に搭載した例を説明したが、物体検出装置単独で使用しても良いし、ロボットなどに搭載しても良い。また、上述した実施形態では、ステップ２１５及びステップ２２０での割合の算出に際して、分母をエッジ点数としたが、対応点数としても同様の判定を行うことができる（当然閾値は変わる）。さらに、本発明からは外れるが、ステップ２１５及びステップ２２０において、エッジ点数や対応点数の対する割合を算出するのではなく、マイナス視差の対応点数が所定閾値以上であるか、あるいは、マイナス高さの対応点数が所定閾値以上であるかで判定を行うことも可能ではある。しかし、上述したように、エッジ点数や対応点数に対する割合として判定を行った方が判定精度が向上する。

なお、本実施例では、特徴点としてエッジ点を用いているが本発明はこれに限定されず、複数の画像の間で対応点を算出することの出来る特徴をもった点であればよい。たとえば、Ｓｏｂｅｌフィルタ、微分フィルタ、ガボールフィルタなど任意のフィルタを用いて特徴点を抽出しても良い。また本発明における点は画像におけるピクセルに限定されずに特徴を持つ領域を点としても良い。

本発明の物体検出装置の一実施形態を搭載した車両構成図である。 異常判定制御のフローチャートである。 対応点探索を説明する説明図である。

符号の説明

１…車両、２Ｒ，２Ｌ…ＣＣＤカメラ（撮像手段）、３…ＥＣＵ（特徴点抽出手段・特徴点計測手段・対応点検出手段・対応点計測手段・異常対応点判定手段・異常対応点計測手段）。

Claims (9)

1. 複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出する物体検出装置において、
   各画像の特徴点を抽出する特徴点抽出手段と、
   特徴点の数を計測する特徴点数計測手段と、
   特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、
   対応点の数を計測する対応点数計測手段と、を備え、
   前記対応点検出手段は画像の所定領域のみ対応点を検索し、
   特徴点の点数に対する対応点の点数が所定基準未満である場合に、前記撮像手段の光軸が異常であると判定することを特徴とする画像処理装置。
2. 前記複数の撮像手段はその光軸が平行となるよう設置され、前記対応点検出手段は、前記平行な方向の所定領域の長さが、前記平行な方向と直交する方向の長さよりも長いこと、を特徴とする請求項１に記載の画像処理装置。
3. 異常と判定した場合には、画像での垂直方向で、複数の前記撮像手段の光軸が正常な位置関係にないと判定することを特徴とする請求項２に記載の画像処理装置。
4. 複数の撮像手段による複数の画像に基づいて対応点を算出し、算出した対応点に基づいて物体を検出する物体検出装置において、
   各画像の特徴点を抽出する特徴点抽出手段と、
   特徴点の内、複数の画像に共通して存在する特徴点を対応点として検出する対応点検出手段と、
   対応点の情報に基づいて、検出した対応点が異常対応点か否かを判定する異常対応点判定手段と、
   異常対応点の数を計測する異常対応点数計測手段と、
   特徴点の数を計測する特徴点数計測手段又は対応点の数を計測する対応点数計測手段と、を備え、
   特徴点数又は対応点数に対する異常対応点数が所定基準以上である場合に、前記撮像手段の光軸が異常であると判定することを特徴とする画像処理装置。
5. 前記異常対応点数計測手段は、視差の値がマイナスの値である対応点数の数を異常対応点数とすることを特徴とする請求項４に記載の画像処理装置。
6. 異常と判定した場合には、画像での水平方向で、複数の前記撮像手段の光軸が正常な位置関係にないと判定することを特徴とする請求項５に記載の画像処理装置。
7. 検出した対応点の三次元座標系における高さを算出する高さ算出手段を備え、
   前記異常対応点数計測手段は、高さの値がマイナスの値を持つ対応点数の数を異常対応点数とすることを特徴とする請求項４に記載の画像処理装置。
8. 異常と判定した場合には、画像での垂直方向で、複数の前記撮像手段の光軸が正常な位置関係にないと判定することを特徴とする請求項７に記載の画像処理装置。
9. 前記特徴点はエッジ点であることを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。