JP2019113434A - 校正装置、校正方法及び校正プログラム - Google Patents

Abstract

【課題】車両等に搭載されるステレオカメラの設置状態に起因して発生するロール等によるずれに対する自動調整を、演算時間の増大を抑えて、簡便に行うことができる校正装置、校正方法及び校正プログラムを提供する。【解決手段】ステレオ画像撮像装置の設置状態に起因して発生するずれを校正する校正装置において、ステレオ画像撮像装置で撮像される基準画像において輝度が変化するポイントのうち、一定の条件を満たすポイントの数を目標視差数として求める輝度情報抽出部と、ステレオ画像撮像装置で撮像される比較画像及び基準画像を用いて視差を算出する視差演算部と、視差のうち、有効な視差の数を有効視差数として求める視差検査部と、目標視差数と有効視差数の違いを基に、ずれが発生していることを判定するずれ判定部を備える。【選択図】図２

Description

本発明は、車両等に搭載されるステレオカメラの設置状態に起因して発生するずれを自動的に校正する校正装置、校正方法及び校正プログラムに関する。

近年、自動車の安全性向上をアシストする装置として衝突防止装置や車間距離制御装置等を搭載した自動車が販売されており、さらに進んで自動運転の実現を目指した研究開発が盛んに行われている。これらの装置は、前方の自動車等までの距離を自動で計測し、車間距離が短くなると運転者への警告発報等を行い、さらに短くなると衝突回避のためにブレーキやステアリング等の制御を行うものである。つまり、これらの装置において車間距離の自動計測は必須であり、自動運転においても必須な処理である。

車間距離の自動計測では、レーダーやステレオカメラ等が使用されているが、ステレオカメラは、複数の立体物の大きさ、位置、速度等を瞬時に検出し、さらに走行領域の境界となる側壁、路肩、白線等の路面のマークまで的確に検出することができるという利点を有している。

ステレオカメラは複数（通常は２つ）のカメラを１つに纏めたようなもので、複数のレンズで被写体を撮像し、撮像された複数の画像を用いて被写体までの距離を計測する。

ここで、ステレオカメラによる距離の計測について説明する。図１は平行等位に設置された２つのカメラで構成されるステレオカメラによる距離計測の原理を説明するための図である。カメラ１１及び１２は平行等位に距離Ｂだけ離して設置されており（即ち基線長はＢ）、焦点距離は同じｆである。光軸方向は図の真上方向で、カメラ１１及び１２の設置面から光軸方向に距離Ｚだけ離れた位置に被写体Ａを置いた場合、被写体Ａの像は、カメラ１１では光学中心Ｏ_１と被写体Ａを結ぶ直線と撮像面１３との交点であるＰ_１に、カメラ１２では光学中心Ｏ_２と被写体Ａを結ぶ直線と撮像面１４との交点であるＰ_２にそれぞれ結像する。そして、直線ＡＰ_２と平行で光学中心Ｏ_１を通る直線を引き、その直線と撮像面１３との交点をＰ_２’とすると、Ｐ_２’はカメラ１２でのＰ_２と同じ位置であり、Ｐ_１とＰ_２’のずれが視差となる。通常、視差は方向の差を意味し角度で表されることが多いが、ここではＰ_１とＰ_２’の距離Ｄを視差と呼ぶことにする。この距離Ｄ（視差Ｄ）を計測することにより、三角形ＡＯ_２Ｏ_１と三角形Ｏ_１Ｐ_２’Ｐ_１が相似であることから、被写体Ａまでの距離Ｚは下記数１で求めることができる。

このようにしてステレオカメラにより距離を計測するためには、撮像面１３及び１４において交点Ｐ_１及びＰ_２を探索しなければならない。この探索を高速に行うために、通常、光軸が平行になり、撮像面の走査線の方向が一致するように、カメラ１１及び１２を設置する。これにより、撮像面における被写体のずれは走査線の方向にのみ生じることになり、走査線の方向のみに交点Ｐ_１及びＰ_２を探索すれば良いことになり、探索の高速化が図れる。これを実現するためには、撮像面全体において、左右の画像の対応する走査線の高さが高精度に、例えば０．１画素以下の精度で一致していなければならない。しかし、現実のステレオカメラではこのような高精度で２つのカメラの位置を常時保つことは困難である。そこで、ステレオカメラの動作中に２つのカメラの位置関係にずれが生じていないか監視し、ずれを検知した場合は自動的に調整する機能が必要となっている。ずれには左右のカメラの並進や回転による６自由度のずれがあるが、頻繁に発生するずれは回転による３つのずれである。即ち、光軸回りの回転（ロール）による回転ずれ、上下方向の動き（ピッチ）による縦ずれ及び左右方向の動き（ヨー）による横ずれであり、これらのずれを対象として、自動的に校正する方法が提案されている。

例えば、西久保直輝、押田康太郎、岡雄平、実吉敬二、「ＦＰＧＡによるステレオカメラの自動校正」、第２９回日本ロボット学会学術講演会予稿集、東京都、２０１１年９月（非特許文献１）では、互いに直角な２方向にエッジの強い領域を特徴点として検出し、２次元マッチングにより探索を行い、縦ずれ及び回転ずれを校正している。

西久保直輝、押田康太郎、岡雄平、実吉敬二、「ＦＰＧＡによるステレオカメラの自動校正」、第２９回日本ロボット学会学術講演会予稿集、東京都、２０１１年９月

しかしながら、非特許文献１の方法では、探索範囲を２次元とし、特徴点を見つけるまで領域内の探索を続け、特徴点検出後は、領域ベース法による２次元マッチングを行うので、演算量及び演算時間が大きくなるおそれがある。

本発明は上述のような事情よりなされたものであり、本発明の目的は、車両等に搭載されるステレオカメラ（ステレオ画像撮像装置）の設置状態に起因して発生するロール等によるずれに対する自動調整を、演算時間の増大を抑えて、簡便に行うことができる校正装置、校正方法及び校正プログラムを提供することにある。

本発明は、ステレオ画像撮像装置の設置状態に起因して発生するずれを校正する校正装置に関し、本発明の上記目的は、前記ステレオ画像撮像装置で撮像される基準画像において輝度が変化するポイントのうち、一定の条件を満たすポイントの数を目標視差数として求める輝度情報抽出部と、前記ステレオ画像撮像装置で撮像される比較画像及び前記基準画像を用いて視差を算出する視差演算部と、前記視差のうち、有効な視差の数を有効視差数として求める視差検査部と、前記目標視差数と前記有効視差数の違いを基に、前記ずれが発生していることを判定するずれ判定部を備えることにより達成される。

本発明の上記目的は、前記輝度情報抽出部が、前記基準画像において隣接する画素と輝度の差が閾値より大きい画素の数を前記目標視差数とすることにより、或いは、前記視差検査部が、周囲の視差と値の違いが大きい視差を除いた視差の数を前記有効視差数とすることにより、或いは、前記ずれ判定部が、前記目標視差数に対する前記有効視差数の比率が１に近い値の場合、前記ずれが発生していないと判定することにより、或いは、前記基準画像及び前記比較画像に対する画面を複数の領域に分割し、前記輝度情報抽出部は、前記領域毎に前記目標視差数を領域別目標視差数として求め、前記視差演算部は、前記領域毎に前記視差を算出し、前記視差検査部は、前記領域毎の視差を用いて、前記領域毎に前記有効視差数を領域別有効視差数として求め、前記ずれ判定部は、前記領域別目標視差数と前記領域別有効視差数の違いを基に、前記ずれが発生していることを判定することにより、或いは、前記ずれ判定部が、前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、前記領域別比率が全て略同じ値で１より遠い値の場合、ピッチによるずれが発生していると判定し、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、ロールによるずれが発生していると判定することにより、或いは、前記ずれ判定部が前記ピッチによるずれが発生していると判定した場合、前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とすることにより、或いは、前記ずれ判定部が前記ロールによるずれが発生していると判定した場合、前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数を回転有効視差数として求め、前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、前記ロールによる回転量とすることにより、或いは、前記ずれ判定部が、前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、前記領域別比率が全て略同じ値で１より遠い値の場合、又は、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、前記ずれが発生していると判定することにより、或いは、前記ずれ判定部が、前記ずれが発生していると判定した場合、前記基準画像又は前記比較画像をピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数を回転有効視差数として求め、前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、ロールによる回転量とすることにより、或いは、前記ずれ判定部が、前記ロールによる回転量を求めた後に、前記回転量で回転した前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数をシフト有効視差数として求め、前記領域別目標視差数に対する前記シフト有効視差数の比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量により前記ピッチによるずれ量を更新することにより、より効果的に達成される。

また、本発明は、ステレオ画像撮像装置の設置状態に起因して発生するずれを校正する校正方法に関し、本発明の上記目的は、前記ステレオ画像撮像装置で撮像される基準画像において輝度が変化するポイントのうち、一定の条件を満たすポイントの数を目標視差数として求める輝度情報抽出ステップと、前記ステレオ画像撮像装置で撮像される比較画像及び前記基準画像を用いて視差を算出する視差演算ステップと、前記視差のうち、有効な視差の数を有効視差数として求める視差検査ステップと、前記目標視差数と前記有効視差数の違いを基に、前記ずれが発生していることを判定するずれ判定ステップを有することにより達成される。

本発明の上記目的は、前記輝度情報抽出ステップでは、前記基準画像において隣接する画素と輝度の差が閾値より大きい画素の数を前記目標視差数とすることにより、或いは、前記視差検査ステップでは、周囲の視差と値の違いが大きい視差を除いた視差の数を前記有効視差数とすることにより、或いは、前記ずれ判定ステップでは、前記目標視差数に対する前記有効視差数の比率が１に近い値の場合、前記ずれが発生していないと判定することにより、或いは、前記基準画像及び前記比較画像に対する画面を複数の領域に分割し、前記輝度情報抽出ステップでは、前記領域毎に前記目標視差数を領域別目標視差数として求め、前記視差演算ステップでは、前記領域毎に前記視差を算出し、前記視差検査ステップでは、前記領域毎の視差を用いて、前記領域毎に前記有効視差数を領域別有効視差数として求め、前記ずれ判定ステップでは、前記領域別目標視差数と前記領域別有効視差数の違いを基に、前記ずれが発生していることを判定することにより、或いは、前記ずれ判定ステップでは、前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、前記領域別比率が全て略同じ値で１より遠い値の場合、ピッチによるずれが発生していると判定し、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、ロールによるずれが発生していると判定することにより、或いは、前記ずれ判定ステップで前記ピッチによるずれが発生していると判定した場合、前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とすることにより、或いは、前記ずれ判定ステップで前記ロールによるずれが発生していると判定した場合、前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数を回転有効視差数として求め、前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、前記ロールによる回転量とすることにより、或いは、前記ずれ判定ステップでは、前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、前記領域別比率が全て略同じ値で１より遠い値の場合、又は、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、前記ずれが発生していると判定することにより、或いは、前記ずれ判定ステップで前記ずれが発生していると判定した場合、前記基準画像又は前記比較画像をピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数を回転有効視差数として求め、前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、ロールによる回転量とすることにより、或いは、前記ずれ判定ステップで、前記ロールによる回転量を求めた後に、前記回転量で回転した前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数をシフト有効視差数として求め、前記領域別目標視差数に対する前記シフト有効視差数の比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量により前記ピッチによるずれ量を更新することにより、より効果的に達成される。

さらに、本発明の上記目的は、上記の校正方法を実行するための校正プログラムにより達成される。

本発明の校正装置によれば、従来から算出されている輝度の変化及び視差を用いて求められる目標視差数及び有効視差数を基に、ロール等によるずれの発生を判定しているので、構成規模及び演算時間の増大を抑えてずれの校正を行うことができる。更に、画像を移動させながら、ずれの判定時と同様な処理により、ずれている量を求めることが可能であるから、更に演算時間の増大を抑えることができる。

ステレオカメラによる距離の計測の原理を示す概略図である。 本発明の構成例（第１実施形態）を示すブロック図である。 輝度の差分を算出する順番の例を示すイメージ図である。 視差算出での画素の探索範囲の例を示すイメージ図である。 画像を縦方向にずらして視差を算出する場合の例を示すイメージ図である。 画像を回転して視差を算出する場合の例を示すイメージ図である。 特異点除去を行う場合の周囲の画素範囲の例を示すイメージ図である。 本発明の動作例（第１実施形態）の一部を示すフローチャートである。 本発明の動作例（第１実施形態）の一部を示すフローチャートである。 ピッチによるずれ量演算の動作例を示すフローチャートである。 本発明の構成例（第２実施形態）を示すブロック図である。 本発明の動作例（第２実施形態）の一部を示すフローチャートである。 本発明の動作例（第２実施形態）の一部を示すフローチャートである。 本発明の構成例（第３実施形態）を示すブロック図である。 ピッチによるずれ量再演算の動作例を示すフローチャートである。 サブピクセル精度での算出方法を示すイメージ図である。

本発明は、ステレオ画像撮像装置が高精度に設置され、ステレオ画像撮像装置の設置状態に起因して発生するずれが発生していない場合、ステレオ画像撮像装置で撮像された画像において、本来取得されるべき視差の数（目標視差数）と実際に取得された視差の数（有効視差数）は略一致することを利用して、両者が一致しない場合は、ずれが発生していると判定する。一致しないことは、例えば両者の比率から判定する。また、目標視差数として、一方の画像において輝度が変化するポイントのうち、一定の条件、例えば輝度の差が所定の閾値より大きいという条件を満たすポイントの数を採用する。視差の算出において、輝度の差が小さいポイントを正しく探索するのは困難であり、視差を正しく算出するためには、ある程度の輝度の差が必要であることより、上記条件を採用する。有効視差数の算出では、有効な視差を選定するために、不適切な視差を除去する特異点除去を行う。例えば、画素単位で視差を算出した後、ある画素の視差が周囲の画素の視差と大きく異なる場合、その画素の視差は有効視差数としてカウントしない。

また、本発明では、ずれを校正するために、ずれている量（以下、「校正量」とする）を求めることができる。校正量を求めるために、画面を複数（例えば３〜９）の領域に分け、領域毎に目標視差数（領域別目標視差数）及び有効視差数（領域別有効視差数）を算出する。そして、領域別目標視差数と領域別有効視差数の違い、例えば両者の比率（領域別比率）を領域毎に算出し、領域別比率を基にずれの発生及び発生しているずれの種類を判定する。ずれが発生していると判定した場合、一方の画像を所定の間隔又は角度で移動させ、移動後の２つの画像に対する領域別比率を基に校正量を求める。なお、比率ではなく、差分量や差分率等を用いても良い。また、画像を移動させて校正量を求める際に、最尤法を応用して試行回数を減らしても良い。

本発明では、ステレオ画像撮像装置において、撮像画像に対してシェーディング補正、カメラ間感度差補正、歪み補正等が実施されるものとする。シェーディングとは、撮像画像の画面の端にいくほど明るさが減衰してしまう現象のことである。カメラ間感度差とは、同一製品のカメラでも個体差があるので、輝度の検出のされ方に差が生じてしまうことを言う。シェーディング及びカメラ間感度差は、目標視差数や有効視差数の算出に影響を及ぼすおそれがあるので、ステレオ画像撮像装置において補正しておく。また、カメラから得られる画像は、カメラのレンズの影響を受け、画像中心から離れるほど歪み量が大きくなるので、この歪みも補正しておく。

以下に、本発明の実施の形態を、図面を参照して詳細に説明する。なお、本実施形態が対象とするずれは、光軸回りの回転（ロール）によるずれ及び上下方向の動き（ピッチ）によるずれであり、左右方向の動き（ヨー）によるずれは生じていないか、或いは他の手段で補正されているものとする。また、ステレオ画像撮像装置は２つのカメラを備え、２つのカメラは水平方向に設置され、上下方向を縦方向、左右方向を横方向とする。ピッチ及びロールを生ずる回転は微小であるから、画面上には縦ずれ及び回転ずれとして現れる。

本発明に係る校正装置の構成例（第１実施形態）を図２に示す。本構成例での校正装置２０は、画像記憶部２１０、輝度情報抽出部２２０、視差演算部２３０、視差記憶部２４０、視差検査部２５０及びずれ判定部２６０を備え、ステレオ画像撮像装置１０から出力される基準画像及び比較画像を入力し、校正量ＣＡを出力する。

ステレオ画像撮像装置１０は２つのカメラを備え、２つのカメラの焦点距離は同じで、光軸が平行になるように事前に調整されている。この２つのカメラが平行等位になるようにステレオ画像撮像装置１０は設置され、被写体に向かって右側（図１においてカメラ１１の位置に相当）のカメラが撮像する画像を基準画像とし、左側（図１においてカメラ１２の位置に相当）のカメラが撮像する画像を比較画像とする。基準画像及び比較画像は同じタイミングで撮像され、前述のように、補正（シェーディング補正、カメラ間感度差補正、歪み補正等）及びヨーによるずれの校正が施されて、出力される。

ステレオ画像撮像装置１０から出力される基準画像ＳＰ及び比較画像ＣＰは校正装置２０内の画像記憶部２１０に格納される。この基準画像ＳＰ及び比較画像ＣＰに対する校正装置２０による校正量ＣＡの算出方法の概略は以下の通りである。

まず、基準画像ＳＰ及び比較画像ＣＰに対する画面を、縦方向の線により、横方向に並ぶ複数の領域に分割する。本実施形態では５つの領域に分割するが、領域の数は任意に決定して良い。

基準画像ＳＰにおいて、分割された領域毎に横方向に隣接する画素間の輝度の差分を算出し、所定の閾値ＴＤより大きい差分の数を領域別目標視差数ＮＴ_ｎ（ｎ＝１，２，…，５）とする。

一方、基準画像ＳＰ及び比較画像ＣＰを用いて画素単位で視差を求め、更に特異点除去を行い、各領域において残った視差の数を領域別有効視差数ＮＶ_ｎとする。

次に、領域別目標視差数ＮＴ_ｎに対する領域別有効視差数ＮＶ_ｎの比率を領域別比率ＲＴ_ｎとして算出する。領域別比率ＲＴ_ｎが１に近い値ならば、その領域においてずれは発生していないことになる。よって、全ての領域別比率ＲＴ_ｎが１に近い値ならば、ずれは発生していないと判定する（以下、この判定結果を「ずれなし」とする）。逆に、全ての領域別比率ＲＴ_ｎが同じような値で且つ１より遠い値ならば、ピッチによるずれが発生していると判定する（以下、この判定結果を「ピッチ発生」とする）。縦ずれが発生した場合、各領域において同程度のずれの影響が想定されるので、このような判定を行う。また、領域別比率ＲＴ_ｎが１に近い値である領域と１より遠い値である領域が混在する場合は、１に近い値である領域に中心を持つロールによるずれが発生していると判定する（以下、この判定結果を「ロール発生」とする）。回転ずれが発生した場合、回転の中心から離れる程、ずれの影響が大きいと想定されるので、このような判定を行う。

上記の判定結果が「ピッチ発生」の場合、画像全体を縦方向に所定の間隔でずらしながら、画面の中央に位置する領域（中央領域）での領域別有効視差数を算出し、更にその領域での領域別比率を算出し、その領域別比率が最も１に近い値となる場合を探し、その場合までにずらした量をピッチによるずれ量とする。

判定結果が「ロール発生」の場合は、まず上述のピッチ発生の場合と同様の手順によりピッチによるずれ量を求める。そして、そのずれ量に固定して、画面の中心を原点として所定の角度で画像を回転させながら、領域別有効視差数（回転有効視差数）ＮＶ_ｎを算出し、更に領域別比率ＲＴ_ｎを算出し、全ての領域別比率ＲＴ_ｎが１に近い値になる場合（以下、この場合を「合致ケース」とする）を探し、その場合までに回転した角度をロールによる回転量とする。合致ケースがないときは、所定の角度で回転させていった画像のうちの任意の画像を用いて、合致ケースが見つかるまで、上記のピッチによるずれ量の算出及び画像の回転を繰り返す。これは、求められたピッチによるずれ量に固定して画像を回転する際の回転の中心が回転ずれの中心と完全に一致しているとは限らず、両者にずれがある場合、その後の所定の角度での回転によって並進動作が加わってしまい、合致ケースが見つからないことがあり得るために行うものである。回転させた画像を基に再度ピッチによるずれ量を求めることにより、中心位置の精度を高めるようにする。

ピッチによるずれ量及びロールによる回転量が校正量ＣＡとして出力される。

なお、基準画像ＳＰ及び比較画像ＣＰを用いて視差を求める際、画面の右端では基準画像ＳＰに、対応する画素が存在しない箇所があるので、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎの算出において、当該箇所は算出の対象から外すようにする。

上述の校正量ＣＡの算出は、輝度情報抽出部２２０、視差演算部２３０、視差記憶部２４０、視差検査部２５０及びずれ判定部２６０によって実行される。

輝度情報抽出部２２０は領域別目標視差数ＮＴ_ｎを求める。基準画像ＳＰに対して、図３に示されるように、縦方向の線により分割された領域毎に、横方向に隣接する２つの画素間の輝度の差分を順次算出し、大きさ（絶対値）が所定の閾値ＴＤより大きい差分の数をカウントする。そして、全ての画素に対して上記処理が終了したら、各領域におけるカウント数を領域別目標視差数ＮＴ_ｎとする。なお、基準画像ＳＰではなく、比較画像ＣＰを用いて領域別目標視差数ＮＴ_ｎを求めても良い。

視差演算部２３０は、基準画像ＳＰ及び比較画像ＣＰを用いた視差の算出及び校正量ＣＡの算出を行う。

視差の算出では、比較画像ＣＰにおいて、基準画像ＳＰ中の画素ＳＰＥ_ｉｊ（ｉ＝１，２，…，Ｉ、ｊ＝１，２，…，Ｊ。Ｉは横方向の画素数、Ｊは縦方向の画素数）に対応する画素ＦＣＰＥを探索し、画素ＳＰＥ_ｉｊと画素ＦＣＰＥの横方向における位置の差を画素ＳＰＥ_ｉｊに対する視差とする。画素ＦＣＰＥの探索は、図４に示されるように、比較画像ＣＰ中において、画素ＳＰＥ_ｉｊと同じ位置を出発点として、右方向の画素ＣＰＥ_ｉｊを対象として、画素ＳＰＥ_ｉｊの輝度と画素ＣＰＥ_ｉｊの輝度の差の大きさ（絶対値）を算出し、最も差の大きさが小さい画素ＣＰＥ_ｉｊを画素ＦＣＰＥとする。そして、全ての画素に対する視差が算出されたら、視差データＰＡとして出力する。なお、比較画像ＣＰ中の画素に対応する画素を基準画像から探索するようにして、視差を求めても良い。この場合、基準画像での探索は左方向の画素を対象として行うことになる。

校正量ＣＡの算出では、視差演算部２３０は、画像を移動させての視差の算出及び校正量ＣＡの特定を行う。校正量ＣＡの算出に先立ち、ずれ判定部２６０がずれの判定を行い、判定結果Ｊｒを視差演算部２３０に出力する。

視差演算部２３０は、判定結果Ｊｒが「ずれなし」の場合、ずれが発生していないとして、校正量ＣＡを０にして出力するか、又は校正量ＣＡを出力しない。

判定結果Ｊｒが「ピッチ発生」の場合、画像全体を縦方向に所定の間隔ＳＧだけずらして、中央領域での視差の算出を、上述と同様の手順で行う。具体的には、比較画像ＣＰをずらすことにして、図５に示されるように、実線で示される比較画像を一点鎖線で示される比較画像のように所定の間隔ＳＧだけ縦方向にずらすということで、比較画像ＣＰでの画素ＦＣＰＥの探索を、画素ＳＰＥ_ｉｊと同じ位置より縦方向に所定の間隔ＳＧだけずれた位置を出発点として行い、視差を算出する。視差を算出する領域は、図５中のグレーで示されている中央領域のみであり、この領域の視差だけを視差データＰＡとして出力する。その後、画像全体を縦方向に更に所定の間隔ＳＧだけずらして、上記と同様に、中央領域の視差を算出し、視差データＰＡとして出力する。画像全体を所定の回数又は所定の範囲でずらしたら、視差の算出を終了するが、各回での元の位置からのずれた量をずれ量ＳＡ_ｍ（ｍ＝１，２，…，Ｍ。Ｍはずらす回数）として保持しておく。視差算出終了後、ずれ判定部２６０にて領域別比率が最も１に近い値となった回の情報が判定情報Ｊｔとして出力される。よって、判定情報Ｊｔで示された回のずれ量ＳＡ_ｍがピッチによるずれ量であるから、それを校正量ＣＡとして出力する。なお、ずらす方向が一方向で、常に所定の間隔ＳＧだけずらす場合は、ずれ量ＳＡ_ｍを保持せず、判定情報ＪｔからＳＧ×Ｊｔとしてピッチによるずれ量を求めても良い。

判定結果Ｊｒが「ロール発生」の場合は、まず、判定結果Ｊｒが「ピッチ発生」の場合と同様の手順によりピッチによるずれ量を求める。そして、そのずれ量に固定して、画像を画面の中心を原点として所定の角度で回転させ、全ての領域の視差を算出する。例えば、ピッチによるずれ量がＳＡＰの場合、図６（Ａ）に示されるように、実線で示される比較画像を一点鎖線で示される比較画像のようにＳＡＰだけ縦方向にずらし、更に、画面の中心Ｃを原点として、図６（Ｂ）に示されるように、所定の角度ＲＧだけ回転させるということで、比較画像ＣＰでの画素ＦＣＰＥの探索を、画素ＳＰＥ_ｉｊと同じ位置より縦方向にＳＡＰだけずらし、更に所定の角度ＲＧだけ回転した位置を出発点として、横方向より所定の角度ＲＧだけ下に傾斜した走査線上で行い、視差を算出する。全ての領域の視差を算出したら、視差データＰＡとして出力する。その後、ずれ量はＳＡＰで固定したまま、画像全体を更に所定の角度ＲＧだけ回転して、上述と同様に、全ての領域の視差を算出し、視差データＰＡとして出力する。画像全体を所定の回数又は所定の範囲で回転させたら、視差の算出を終了するが、各回での元の位置からの回転した量を回転量ＲＡ_ｋ（ｋ＝１，２，…，Ｋ。Ｋは回転する回数）として保持しておく。視差算出終了後、ずれ判定部２６０にて合致ケースである回の情報が判定情報Ｊｔとして出力される。よって、判定情報Ｊｔで示された回の回転量ＲＡ_ｋがロールによる回転量であるから、それをピッチによるずれ量と共に校正量ＣＡとして出力する。なお、回転する方向が一方向で、常に所定の角度ＲＧだけ回転する場合は、回転量ＲＡ_ｋを保持せず、判定情報ＪｔからＲＧ×Ｊｔとしてロールによる回転量を求めても良い。合致ケースがない場合、ずれ判定部２６０からの判定情報Ｊｔによりその旨が伝えられる。例えば、ずれ判定部２６０は、合致ケースがなかった場合、判定情報Ｊｔを０として視差演算部２３０に出力する。視差演算部２３０は、判定情報Ｊｔより合致ケースがなかったことを検知した場合、保持した回転量の中から任意の回転量（例えば、ＲＡ_１やＲＡ_Ｋ等）を選択し、その回転量で回転させた画像を基に、上述のピッチによるずれ量の算出及び合致ケースの探索を行う。それでも合致ケースがない場合は、他の回転量を選択して同様の処理を繰り返す。

判定結果Ｊｒが「判定不能」の場合、又は「ロール発生」の場合で全ての回転量で探索しても合致ケースが見つからなかった場合は、アラームとしてあげるために、校正量ＣＡを「校正不能」（例えばＣＡ＝最大値）として出力する。

視差演算部２３０から出力される視差データＰＡは、視差記憶部２４０に記憶される。

視差検査部２５０は、視差記憶部２４０に記憶された視差データＰＡに対して特異点除去を行い、除去後に各領域において残った視差の数を領域別有効視差数ＮＶ_ｎとして出力する。特異点除去では、周囲の画素と視差が大きく異なる画素を特異点として除去する。具体的には、例えば図７に示されるように、画素ＳＰＥ_ｉｊの視差の大きさが、グレーで示されている周囲の８つの画素の視差の大きさの平均値に所定の値ＴＰ１を加えた値より大きい場合、或いは平均値より所定の値ＴＰ２を減じた値より小さい場合、画素ＳＰＥ_ｉｊを特異点と認定し、領域別有効視差数ＮＶ_ｎのカウントから外す。なお、周囲の画素の範囲を図７の斜線で示される範囲まで広げても良い。また、平均値ではなく最頻値等を用いても良く、平均値等との比率を基に特異点を認定しても良い。

ずれ判定部２６０は、ずれの判定及び校正量算出での判定情報Ｊｔの生成を行う。

ずれの判定では、まず、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎを用いて領域別比率ＲＴ_ｎ（＝ＮＶ_ｎ／ＮＴ_ｎ）を算出する。そして、全ての領域別比率ＲＴ_ｎが１に近い値（例えば０．８以上）の場合、ずれが発生していないと判定し、判定結果Ｊｒを「ずれなし」（例えばＪｒ＝０）とする。全ての領域別比率ＲＴ_ｎが同じような値（例えば分散が所定値以下）で且つ１より遠い値（例えば０．３以下）の場合、ピッチによるずれが発生していると判定し、判定結果Ｊｒを「ピッチ発生」（例えばＪｒ＝１）とする。領域別比率ＲＴ_ｎとして１に近い値と１より遠い値が混在する場合、ロールによるずれが発生していると判定し、判定結果Ｊｒを「ロール発生」（例えばＪｒ＝２）とする。上記のいずれにも該当しない場合は、判定不能として、判定結果Ｊｒを「判定不能」（例えばＪｒ＝３）とする。なお、判定結果Ｊｒが「ピッチ発生」又は「ロール発生」の場合、領域別目標視差数ＮＴ_ｎは、校正量算出での判定情報Ｊｔの生成で使用するので、保持しておくが、領域別比率ＲＴ_ｎを算出する度に輝度情報抽出部２２０で算出するようにしても良い。

校正量算出での判定情報Ｊｔの生成では、判定結果Ｊｒが「ピッチ発生」の場合は、判定後に視差検査部２５０から順次出力される中央領域の領域別有効視差数ＮＶ_ｎ及び保持しておいた領域別目標視差数ＮＴ_ｎを用いて中央領域の領域別比率ＲＴ_ｎを算出し、保持する。そして、画像全体が所定の回数又は所定の範囲でずらされたら、保持した領域別比率ＲＴ_ｎの中で値が最も１に近い回の情報を判定情報Ｊｔとして出力する。判定結果Ｊｒが「ロール発生」の場合は、まず、判定結果Ｊｒが「ピッチ発生」の場合と同様の手順により判定情報Ｊｔを出力する。その後、続けて視差検査部２５０から順次出力される領域別有効視差数ＮＶ_ｎ及び保持しておいた領域別目標視差数ＮＴ_ｎを用いて全ての領域の領域別比率ＲＴ_ｎを算出し、保持する。そして、画像全体が所定の回数又は所定の範囲で回転させられたら、保持した領域別比率ＲＴ_ｎの中で全て領域の領域別比率ＲＴ_ｎが１に近い値（例えば０．８以上）である合致ケースの回の情報を判定情報Ｊｔとして出力する。合致ケースがなかった場合は、判定情報Ｊｔを０として出力する。

このような構成の校正装置２０の動作例を図８〜図１０のフローチャートを参照して説明する。

ステレオ画像撮像装置１０が撮像した基準画像及び比較画像は、画像記憶部２１０に格納される（ステップＳ１０）。

輝度情報抽出部２２０は、基準画像ＳＰを画像記憶部２１０より読み出し、領域毎に、横方向に隣接する２つの画素間の輝度の差分を算出し、大きさが所定の閾値ＴＤより大きい差分の数をカウントし、領域別目標視差数ＮＴ_ｎを求める（ステップＳ２０）。領域別目標視差数ＮＴ_ｎは、ずれ判定部２６０に入力される。

視差演算部２３０は、基準画像ＳＰ及び比較画像ＣＰを画像記憶部２１０より読み出し、全ての領域において、画素単位に視差を算出し（ステップＳ３０）、視差データＰＡとして出力する。視差データＰＡは視差記憶部２４０に記憶される（ステップＳ４０）。

視差検査部２５０は、視差データＰＡを視差記憶部２４０より読み出し、領域毎に、特異点除去を行い（ステップＳ５０）、残った視差の数を領域別有効視差数ＮＶ_ｎとしてずれ判定部２６０に出力する。

ずれ判定部２６０は、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎを用いて領域別比率ＲＴ_ｎを算出する（ステップＳ６０）。そして、全ての領域別比率ＲＴ_ｎが１に近い値の場合（ステップＳ７０）、判定結果Ｊｒを「ずれなし」とする（ステップＳ８０）。そうではなく、全ての領域別比率ＲＴ_ｎが同じような値で且つ１より遠い値の場合（ステップＳ９０）、判定結果Ｊｒを「ピッチ発生」とし（ステップＳ１００）、１に近い値と１より遠い値が混在する場合（ステップＳ１１０）、判定結果Ｊｒを「ロール発生」とする（ステップＳ１２０）。いずれの場合でもないときは、判定結果Ｊｒを「判定不能」とする（ステップＳ１３０）。判定結果Ｊｒは視差演算部２３０に入力される。

判定結果Ｊｒを入力した視差演算部２３０は、判定結果Ｊｒを確認する（ステップＳ１４０）。

判定結果Ｊｒが「ずれなし」の場合、視差演算部２３０は、校正量ＣＡを０とする（ステップＳ１５０）。

判定結果Ｊｒが「ピッチ発生」の場合、視差演算部２３０、視差記憶部２４０、視差検査部２５０及びずれ判定部２６０により、ピッチによるずれ量を求める（ステップＳ１６０）。ピッチによるずれ量演算については、図１０のフローチャートを参照して説明する。視差演算部２３０は、比較画像ＣＰを所定の間隔ＳＧだけ縦方向にずらして（ステップＳ５１０）、中央領域の視差を算出し（ステップＳ５２０）、視差データＰＡとして視差記憶部２４０に記憶する。この際、元の位置からのずれた量をずれ量ＳＡ_ｍとして保持する（ステップＳ５３０）。視差検査部２５０は、視差記憶部２４０に記憶された視差データＰＡに対して特異点除去を行い（ステップＳ５４０）、中央領域の領域別有効視差数ＮＶ_ｎを求め、ずれ判定部２６０に出力する。ずれ判定部２６０は、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎから中央領域の領域別比率ＲＴ_ｎを算出し（ステップＳ５５０）、保持する。ずらす回数が所定の回数ではない場合（ステップＳ５６０）、更に比較画像ＣＰを所定の間隔ＳＧだけ縦方向にずらして（ステップＳ５１０）、ステップＳ５２０〜Ｓ５５０を繰り返す。ずらす回数が所定の回数になった場合、ずれ判定部２６０は、保持した領域別比率ＲＴ_ｎの中で値が最も１に近い領域別比率ＲＴ_ｎを選出し（ステップＳ５７０）、その時のずらした回数を判定情報Ｊｔとして視差演算部２３０に出力する（ステップＳ５８０）。視差演算部２３０は、判定情報Ｊｔに対応するずれ量ＳＡ_ｍをピッチによるずれ量とし（ステップＳ５９０）、校正量ＣＡに設定する。

判定結果Ｊｒが「ロール発生」の場合、「ピッチ発生」の場合と同様の手順によりピッチによるずれ量ＳＡＰを求める（ステップＳ１７０）。そして、視差演算部２３０は、ＳＡＰだけずらした比較画像ＣＰを所定の角度ＲＧだけ回転させて（ステップＳ１８０）、全ての領域の視差を算出し（ステップＳ１９０）、視差データＰＡとして視差記憶部２４０に記憶する。この際、元の位置からの回転した量を回転量ＲＡ_ｋとして保持する（ステップＳ２００）。視差検査部２５０は、視差記憶部２４０に記憶された視差データＰＡに対して特異点除去を行い（ステップＳ２１０）、領域別有効視差数ＮＶ_ｎを求め、ずれ判定部２６０に出力する。ずれ判定部２６０は、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎから領域別比率ＲＴ_ｎを算出し（ステップＳ２２０）、保持する。回転する回数が所定の回数ではない場合（ステップＳ２３０）、更に比較画像ＣＰを所定の角度ＲＧだけ回転させて（ステップＳ１８０）、ステップＳ１９０〜Ｓ２２０を繰り返す。回転する回数が所定の回数になった場合、ずれ判定部２６０は、保持した領域別比率ＲＴ_ｎを基に合致ケースを探し、合致ケースがあった場合（ステップＳ２４０）、合致ケースでの回転した回数を判定情報Ｊｔとして視差演算部２３０に出力する（ステップＳ２５０）。視差演算部２３０は、判定情報Ｊｔに対応する回転量ＲＡ_ｍをロールによる回転量とし（ステップＳ２６０）、ピッチによるずれ量を設定された校正量ＣＡに追加で設定する。合致ケースがなかった場合、ずれ判定部２６０は判定情報Ｊｔを０にして視差演算部２３０に出力する（ステップＳ２７０）。そして、視差演算部２３０において保持された回転量の中に選択されていない回転量がある場合は（ステップＳ２８０）、視差演算部２３０は、１つの回転量を選択し（ステップＳ２９０）、その回転量で回転させた比較画像を基に、ステップＳ１７０〜２８０を繰り返す。全ての回転量が選択されていた場合は、視差演算部２３０は、校正量ＣＡを「校正不能」とする（ステップＳ３００）。

判定結果Ｊｒが「判定不能」の場合も、視差演算部２３０は、校正量ＣＡを「校正不能」とする（ステップＳ３００）。

校正量ＣＡに値が設定されたら、視差演算部２３０は校正量ＣＡを出力する（ステップＳ３１０）。

なお、領域別目標視差数ＮＴ_ｎ算出の動作（ステップＳ２０）と視差算出から領域別有効視差数ＮＶ_ｎ算出までの動作（ステップＳ３０〜Ｓ５０）は順番が逆でも、並行に実行されても良い。

第１実施形態では、ピッチによるずれが発生したと判定した場合とロールによるずれが発生したと判定した場合とで校正量を求める手順が異なるが、両方のずれは同時に発生することが多いので、両者を区別せずに、同じ手順で、即ち、ロールによるずれが発生したと判定した場合の手順で、校正量を求めても良い。

上述の同じ手順で校正量を求める場合の構成例（第２実施形態）を図１１に示しており、図２に示される第１実施形態の構成例と同じ構成をしており、視差演算部２３０及びずれ判定部２６０が、それぞれ視差演算部３３０及びずれ判定部３６０に代わっている。

ずれ判定部３６０は、ずれ判定部２６０と同様に、ずれの判定及び校正量算出での判定情報Ｊｔの生成を行うが、ずれの判定に違いがある。即ち、ずれ判定部３６０は、全ての領域別比率ＲＴ_ｎが１に近い値の場合は、ずれ判定部２６０と同様にずれが発生していないと判定するが、全ての領域別比率ＲＴ_ｎが同じような値で且つ１より遠い値の場合、又は、領域別比率ＲＴ_ｎとして１に近い値と１より遠い値が混在する場合、ずれが発生していると判定し（以下、この判定結果を「ずれ発生」とする）、ピッチによるずれかロールによるずれか区別しない。よって、判定結果Ｊｒｒが取り得る値は「ずれなし」、「ずれ発生」及び「判定不能」のいずれかとなる。

視差演算部３３０は、視差の算出は視差演算部２３０と同様の手順で行うが、校正量ＣＡの算出は手順が異なる。即ち、判定結果Ｊｒｒが「ずれなし」又は「判定不能」の場合は、視差演算部２３０と同様の処理を行うが、判定結果Ｊｒｒが「ずれ発生」の場合は、視差演算部２３０において判定結果Ｊｒが「ロール発生」の場合と同様の処理を行う。

第２実施形態の動作例のフローチャートを、図８及び図９に示される第１実施形態の動作例のフローチャートに対応して示すと、図１２及び図１３のようになる。なお、ピッチによるずれ量演算の動作例は図１０と同様である。

動作を開始してから領域別比率ＲＴ_ｎを算出するステップＳ６０までは第１実施形態と同じ動作を行う。そして、ずれ判定部３６０は、全ての領域別比率ＲＴ_ｎが１に近い値の場合（ステップＳ７０）、判定結果Ｊｒｒを「ずれなし」とし（ステップＳ８０）。そうではなく、全ての領域別比率ＲＴ_ｎが同じような値で且つ１より遠い値の場合、又は、１に近い値と１より遠い値が混在する場合（ステップＳ９１）、判定結果Ｊｒｒを「ずれ発生」とする（ステップＳ１０１）。いずれの場合でもないときは、判定結果Ｊｒｒを「判定不能」とする（ステップＳ１３０）。判定結果Ｊｒｒは視差演算部３３０に入力される。

判定結果Ｊｒｒを入力した視差演算部３３０は、判定結果Ｊｒｒを確認し（ステップＳ１４０）、判定結果Ｊｒｒが「ずれなし」の場合及び「判定不能」の場合は、第１実施形態と同様の動作を行う（ステップＳ１５０、ステップＳ３００）。判定結果Ｊｒｒが「ずれ発生」の場合は、第１実施形態において「ロール発生」の場合と同様の動作を行う（ステップＳ１７０〜Ｓ３００）。そして、校正量ＣＡに値が設定されたら、視差演算部３３０は校正量ＣＡを出力する（ステップＳ３１０）。

なお、ステップＳ９１での判定を行わず、全ての領域別比率ＲＴ_ｎが１に近い値であるという条件が満たされない場合、即ち、１に近くない値である領域別比率ＲＴ_ｎが存在する場合、判定結果Ｊｒｒを「ずれ発生」としても良い。この場合、「判定不能」との判定結果は不要となる。

第１実施形態においてロールによるずれが発生したと判定した場合、又は第２実施形態においてずれが発生したと判定した場合、縦ずれの校正の精度を上げるために、ロールによる回転量を求めた後に、その回転量に固定して、再度、画像全体を縦方向に所定の間隔でずらしながら、中央領域だけではなく、全領域の領域別有効視差数（シフト有効視差数）ＮＶ_ｎを算出し、更に領域別比率ＲＴ_ｎを算出し、全体の領域別比率ＲＴ_ｎが最も１に近い値になる場合を探し、その場合までのずらし量をピッチによる新たなずれ量としても良い。これは、合致ケースが見つからなかった場合と同様に、中央領域は幅を持っており、ロールによる回転量を求めるときに、回転の中心が必ずしも画面の中心にあるとは限らず、回転により並進動作が加わってしまうので、その分を補正するために行うものである。この場合、回転量は正しく、結果として画面全体の比率が悪くなるので、中央領域だけではなく、全領域の比率を対象とする。

上述の処理を第２実施形態に追加した構成例（第３実施形態）を図１４に示しており、構成は第１実施形態及び第２実施形態の構成例と同じである。

視差演算部４３０は、判定結果Ｊｒｒが「ずれ発生」の場合、ずれ判定部４６０と協調してピッチによるずれ量及びロールによる回転量を求めた後、その回転量に固定して、画像全体を縦方向に所定の間隔ＳＧだけずらして、全ての領域の視差を算出する。全ての領域の視差を算出したら、視差データＰＡとして出力すると共に、ずれ量ＳＡ_ｍを保持する。その後、回転量は固定したまま、画像全体を縦方向に更に所定の間隔ＳＧだけずらして、同様の処理を所定の回数又は所定の範囲だけずらすまで行う。その後、ずれ判定部４６０にて全体の領域別比率ＲＴ_ｎが最も１に近い値になった回の情報が判定情報Ｊｔとして出力されるので、その回のずれ量ＳＡ_ｍをピッチによる新たなずれ量とする。

ずれ判定部４６０は、判定結果Ｊｒｒが「ずれ発生」の場合、第２実施形態の場合と同様の処理を行った後、視差検査部２５０から順次出力される領域別有効視差数ＮＶ_ｎ及び保持しておいた領域別目標視差数ＮＴ_ｎを用いて全ての領域の領域別比率ＲＴ_ｎを算出し、保持する。そして、画像全体が所定の回数又は所定の範囲でずらされたら、保持した全ての領域の領域別比率ＲＴ_ｎの中で値が最も１に近い回、例えば全ての領域の領域別比率ＲＴ_ｎの平均値が最も１に近い回の情報を判定情報Ｊｔとして出力する。

第３実施形態の動作例は、図１２及び図１３に示される第２実施形態の動作例において、ステップＳ２６０でのロールによる回転量決定の後に、ピッチによるずれ量の再演算が加わる。ピッチによるずれ量の再演算の動作例を図１５のフローチャートを参照して説明する。

視差演算部４３０は、ステップＳ２６０で求められた回転量だけ回転した比較画像ＣＰを所定の間隔ＳＧだけ縦方向にずらして（ステップＳ６１０）、全ての領域の視差を算出し（ステップＳ６２０）、視差データＰＡとして視差記憶部２４０に記憶する。この際、元の位置からのずれた量をずれ量ＳＡ_ｍとして保持する（ステップＳ６３０）。視差検査部２５０は、視差記憶部２４０に記憶された視差データＰＡに対して特異点除去を行い（ステップＳ６４０）、領域別有効視差数ＮＶ_ｎを求め、ずれ判定部４６０に出力する。ずれ判定部４６０は、領域別目標視差数ＮＴ_ｎ及び領域別有効視差数ＮＶ_ｎから領域別比率ＲＴ_ｎを算出し（ステップＳ６５０）、保持する。ずらす回数が所定の回数ではない場合（ステップＳ６６０）、更に比較画像ＣＰを所定の間隔ＳＧだけ縦方向にずらして（ステップＳ６１０）、ステップＳ６２０〜Ｓ６５０を繰り返す。ずらす回数が所定の回数になった場合、ずれ判定部４６０は、保持した領域別比率ＲＴ_ｎの中で全ての領域の領域別比率ＲＴ_ｎの平均値が最も１に近い領域別比率ＲＴ_ｎを選出し（ステップＳ６７０）、その時のずらした回数を判定情報Ｊｔとして視差演算部４３０に出力する（ステップＳ６８０）。視差演算部４３０は、判定情報Ｊｔに対応するずれ量ＳＡ_ｍをピッチによる新たなずれ量とし（ステップＳ６９０）、校正量ＣＡに設定されたずれ量と置き換える。

上述の実施形態（第１〜第３実施形態）における処理のうち、横方向に隣接する画素間の輝度の差分算出及び特異点除去は、従来のステレオカメラでの視差画像生成において実施されていることがあり、画像をずらす機能や回転する機能を従来から有している装置もある。よって、そのような処理や機能を有する装置においては、領域別目標視差数及び領域別有効視差数のカウントに基づいた処理を追加するだけでずれの判定及び校正を行うことができるようになるので、新たな構成の追加を抑制し、コストや演算時間の増加を抑えることができる。また、上述の実施形態による処理は、単独で実施するだけではなく、ステレオ画像撮像装置１０から順次画像が出力される場合に、例えば１０フレームに対して１フレームの割合で実施するようにすれば、通常の立体物の検出処理等を阻害することなく、バックグラウンドとして実施することができる。

なお、輝度情報抽出部２２０で使用する閾値ＴＤは固定値ではなく、算出された輝度の差分の平均値を基に決められた値等を用いても良い。また、算出される領域別目標視差数が所定の数より少ない場合、正確なずれ発生の判定及び校正量の算出が行えないとして、「校正不能」としても良い。

視差演算部における画素ＦＣＰＥの探索においては、画素ＳＰＥ_ｉｊの輝度と画素ＣＰＥ_ｉｊの輝度の差の大きさではなく、差の二乗等を用いても良い。更に、視差の算出においては、ずれの精度を上げるために、サブピクセル精度の視差を求めるようにしても良い。例えば、図１６は、図４に示される探索範囲での一部の輝度の差の大きさを模擬した図で、ｓ２において最小の値になっているとする。図１６において、輝度の差の大きさは最小値付近では線形近似できると仮定し、最小値となる位置のｓ２とその前後の位置での値のうち値が大きい方の位置（図１６ではｓ３）を直線で結び（図１６では直線ｓ２ｓ３）、さらに傾きがその直線の傾きと逆符号で値が小さい方の位置（図１６ではｓ１）を通る直線を引き、２つの直線の交点を真の位置とする。この真の位置と画素ＳＰＥ_ｉｊの横方向における位置の差を視差とする。最小値付近での値は、線形近似ではなく、二次曲線等で近似しても良い。

上述の実施形態において、校正量は他の手段で求める等により、校正量は求めずに、ずれの発生の検出のみを行うようにしても良く、更にずれの種類（縦ずれ及び回転ずれ）の特定も不要である場合は、画面を複数の領域に分割しなくても良い。

以上、本発明に係る校正装置について説明したが、本発明は上述の実施形態に限らず、本発明の要旨を逸脱することなく、その他種々の構成、方法を採り得ることは勿論である。例えば、視差演算部及びずれ判定部を１つとした構成としても良い。また、本発明に係る校正装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアにより実装されることも勿論できる。

１０ ステレオ画像撮像装置
１１、１２ カメラ
２０、３０、４０ 校正装置
２１０ 画像記憶部
２２０ 輝度情報抽出部
２３０、３３０、４３０ 視差演算部
２４０ 視差記憶部
２５０ 視差検査部
２６０、３６０、４６０ ずれ判定部

Claims (23)

1. ステレオ画像撮像装置の設置状態に起因して発生するずれを校正する校正装置において、
   前記ステレオ画像撮像装置で撮像される基準画像において輝度が変化するポイントのうち、一定の条件を満たすポイントの数を目標視差数として求める輝度情報抽出部と、
   前記ステレオ画像撮像装置で撮像される比較画像及び前記基準画像を用いて視差を算出する視差演算部と、
   前記視差のうち、有効な視差の数を有効視差数として求める視差検査部と、
   前記目標視差数と前記有効視差数の違いを基に、前記ずれが発生していることを判定するずれ判定部を備えることを特徴とする校正装置。
2. 前記輝度情報抽出部が、前記基準画像において隣接する画素と輝度の差が閾値より大きい画素の数を前記目標視差数とする請求項１に記載の校正装置。
3. 前記視差検査部が、周囲の視差と値の違いが大きい視差を除いた視差の数を前記有効視差数とする請求項１又は２に記載の校正装置。
4. 前記ずれ判定部が、前記目標視差数に対する前記有効視差数の比率が１に近い値の場合、前記ずれが発生していないと判定する請求項１乃至３のいずれかに記載の校正装置。
5. 前記基準画像及び前記比較画像に対する画面を複数の領域に分割し、
   前記輝度情報抽出部は、前記領域毎に前記目標視差数を領域別目標視差数として求め、
   前記視差演算部は、前記領域毎に前記視差を算出し、
   前記視差検査部は、前記領域毎の視差を用いて、前記領域毎に前記有効視差数を領域別有効視差数として求め、
   前記ずれ判定部は、前記領域別目標視差数と前記領域別有効視差数の違いを基に、前記ずれが発生していることを判定する請求項１乃至３のいずれかに記載の校正装置。
6. 前記ずれ判定部が、
   前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、
   前記領域別比率が全て略同じ値で１より遠い値の場合、ピッチによるずれが発生していると判定し、
   １に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、ロールによるずれが発生していると判定する請求項５に記載の校正装置。
7. 前記ずれ判定部が前記ピッチによるずれが発生していると判定した場合、
   前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
   前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とする請求項６に記載の校正装置。
8. 前記ずれ判定部が前記ロールによるずれが発生していると判定した場合、
   前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
   前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、
   前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数を回転有効視差数として求め、
   前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、前記ロールによる回転量とする請求項６に記載の校正装置。
9. 前記ずれ判定部が、
   前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、
   前記領域別比率が全て略同じ値で１より遠い値の場合、又は、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、前記ずれが発生していると判定する請求項５に記載の校正装置。
10. 前記ずれ判定部が、前記ずれが発生していると判定した場合、
    前記基準画像又は前記比較画像をピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
    前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、
    前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数を回転有効視差数として求め、
    前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、ロールによる回転量とする請求項９に記載の校正装置。
11. 前記ずれ判定部が、
    前記ロールによる回転量を求めた後に、前記回転量で回転した前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算部及び前記視差検査部により、前記領域別有効視差数をシフト有効視差数として求め、
    前記領域別目標視差数に対する前記シフト有効視差数の比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量により前記ピッチによるずれ量を更新する請求項８又は１０に記載の校正装置。
12. ステレオ画像撮像装置の設置状態に起因して発生するずれを校正する校正方法において、
    前記ステレオ画像撮像装置で撮像される基準画像において輝度が変化するポイントのうち、一定の条件を満たすポイントの数を目標視差数として求める輝度情報抽出ステップと、
    前記ステレオ画像撮像装置で撮像される比較画像及び前記基準画像を用いて視差を算出する視差演算ステップと、
    前記視差のうち、有効な視差の数を有効視差数として求める視差検査ステップと、
    前記目標視差数と前記有効視差数の違いを基に、前記ずれが発生していることを判定するずれ判定ステップを有することを特徴とする校正方法。
13. 前記輝度情報抽出ステップでは、前記基準画像において隣接する画素と輝度の差が閾値より大きい画素の数を前記目標視差数とする請求項１２に記載の校正方法。
14. 前記視差検査ステップでは、周囲の視差と値の違いが大きい視差を除いた視差の数を前記有効視差数とする請求項１２又は１３に記載の校正方法。
15. 前記ずれ判定ステップでは、前記目標視差数に対する前記有効視差数の比率が１に近い値の場合、前記ずれが発生していないと判定する請求項１２乃至１４のいずれかに記載の校正方法。
16. 前記基準画像及び前記比較画像に対する画面を複数の領域に分割し、
    前記輝度情報抽出ステップでは、前記領域毎に前記目標視差数を領域別目標視差数として求め、
    前記視差演算ステップでは、前記領域毎に前記視差を算出し、
    前記視差検査ステップでは、前記領域毎の視差を用いて、前記領域毎に前記有効視差数を領域別有効視差数として求め、
    前記ずれ判定ステップでは、前記領域別目標視差数と前記領域別有効視差数の違いを基に、前記ずれが発生していることを判定する請求項１２乃至１４のいずれかに記載の校正方法。
17. 前記ずれ判定ステップでは、
    前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、
    前記領域別比率が全て略同じ値で１より遠い値の場合、ピッチによるずれが発生していると判定し、
    １に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、ロールによるずれが発生していると判定する請求項１６に記載の校正方法。
18. 前記ずれ判定ステップで前記ピッチによるずれが発生していると判定した場合、
    前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
    前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とする請求項１７に記載の校正方法。
19. 前記ずれ判定ステップで前記ロールによるずれが発生していると判定した場合、
    前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
    前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、
    前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数を回転有効視差数として求め、
    前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、前記ロールによる回転量とする請求項１７に記載の校正方法。
20. 前記ずれ判定ステップでは、
    前記領域別目標視差数に対する前記領域別有効視差数の比率である領域別比率が全て１に近い値の場合、前記ずれが発生していないと判定し、
    前記領域別比率が全て略同じ値で１より遠い値の場合、又は、１に近い値を有する前記領域別比率及び１より遠い値を有する前記領域別比率が混在する場合、前記ずれが発生していると判定する請求項１６に記載の校正方法。
21. 前記ずれ判定ステップで前記ずれが発生していると判定した場合、
    前記基準画像又は前記比較画像をピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記画面の中央に位置する中央領域における前記領域別有効視差数を求め、
    前記中央領域における前記領域別比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量を、前記ピッチによるずれ量とし、
    前記ずれ量でずらした前記基準画像又は前記比較画像を、前記画面の中心を原点として所定の角度で回転させながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数を回転有効視差数として求め、
    前記領域別目標視差数に対する前記回転有効視差数の比率が全て１に近い値になる場合の前記基準画像又は前記比較画像を回転した角度を、ロールによる回転量とする請求項２０に記載の校正方法。
22. 前記ずれ判定ステップで、前記ロールによる回転量を求めた後に、前記回転量で回転した前記基準画像又は前記比較画像を前記ピッチの方向に所定の間隔でずらしながら、前記視差演算ステップ及び前記視差検査ステップにより、前記領域別有効視差数をシフト有効視差数として求め、
    前記領域別目標視差数に対する前記シフト有効視差数の比率が最も１に近い場合の前記基準画像又は前記比較画像をずらした量により前記ピッチによるずれ量を更新する請求項１９又は２１に記載の校正方法。
23. 請求項１２乃至２２のいずれかに記載の校正方法を実行するための校正プログラム。