JP2017062198A - 幾何歪除去再現装置 - Google Patents

Abstract

【課題】車種毎のフロントガラスの幾何学的な歪みが及ぼす撮像画像への影響を、膨大な工数や経費をかけること無く評価できる幾何歪除去再現装置を提供する。
【解決手段】基準カメラ２ａと比較カメラ２ｂとからなるステレオカメラ２は、その前方にフロントガラスを異なる種類ごとに介在し、或いは介在されていない状態で格子チャートボードを撮像し、幾何テーブル作成部８にて、撮像した画像から格子チャートボードの各格子点の座標を求め、この座標とそれに対応する理想座標との差から幾何歪補正データを格子点毎に記憶する幾何テーブルを作成し、実車走行による走行画像の幾何学的歪を前記幾何テーブルに記憶されている幾何歪補正データで幾何キャリブレーションし、複数種類の保護フードの幾何学的な歪みが及ぼす撮像画像への影響を評価する。
【選択図】図２

Description

本発明は、保護フードとカメラレンズとを通して撮像した画像の幾何学的歪を除去、或いは再現して、保護フードの幾何学的歪による撮像画像への影響を評価する幾何歪除去再現装置に関する。

従来、空間を３次元的に認識する技術として、所定基線長を隔てて配設された２台のカメラからなるステレオカメラで同一対象物を撮像した際の視差から三角測量の原理を利用して距離を求める、いわゆるステレオ法による画像処理が知られている。

このステレオ法による画像処理では、ステレオカメラからの２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、本来、２つの画像間には、視差から生じる対応位置のズレのみが存在することが望ましく、他の光学的な歪み等による位置ズレが存在すると、適正なステレオマッチングを行うことができず、距離情報の精度が低下する。

そのため、本出願人は、特許文献１（特許第３２６１１１５号公報）において、ステレオカメラで撮像した基準画像と比較画像とからなる一対の撮像に基づきステレオマッチング処理により視差を検出し、その視差データを比較画像の所定領域毎の微小実画像データを予め計測して作成した画角修正比積分値テーブルを用いて補正することで、レンズの焦点距離のバラツキ、レンズの幾何学的な歪み（以下、「レンズ歪」と称する）等の影響を排除する技術を提案した。

特許第３２６１１１５号公報

ところで、例えば、車両等の移動体に搭載されているステレオカメラは、レンズ以外にフロントウインドウガラス（以下、「フロントガラス」と略称」を代表とする保護フードを通して撮像画像を得るようにしているため、保護フードによる幾何学的な歪（以下、「ガラス歪」と称する）が視差誤差を発生させやすい。特に、ステレオカメラが車載カメラの場合、フロントガラスは比較的広い範囲で垂直方向、水平方向に歪みが生じている。

その結果、画角修正比積分値テーブルによりレンズ歪等を補正しても、保護フードを通して撮像した画像はガラス歪の影響で等距離面が平面にならないといった不具合が発生し、距離計測精度の低下を招いてしまう。

ところで、フロントガラスは車種毎に相違しており、従って、そのガラス歪も車種毎に相違する。その結果、ガラス歪みによる撮像画像への影響を評価しようとした場合、全ての車種に対して実走行やシミュレーションを行う必要があり、膨大な工数や経費が必要となる不都合がある。

本発明は、上記事情に鑑み、膨大な工数や経費をかけることなく複数種類の保護フードの幾何学的な歪みが及ぼす撮像画像への影響を評価することができると共に、保護フードの幾何的な歪みにより発生する視差誤差を低減させることのできる幾何歪除去再現装置を提供することを目的とする。

本発明による幾何歪除去再現装置は、所定基線長を隔てて配設された２台のカメラを有するステレオカメラと、前記ステレオカメラの前方に配置されて、前記各カメラの対応する格子点にセンタマーカを配設した格子チャートと、前記ステレオカメラと前記格子チャートとの間に介在自在な保護フードと、前記格子チャートを前記各カメラで撮像し、該格子チャートの各格子点の座標を求める特性検出部と、前記特性検出部で求めた前記各格子点の座標とそれに対応する理想座標との差から幾何歪補正データを格子点毎に記憶する幾何テーブルを、前記保護フードが介在されていない状態と、前記保護フードを異なる種類毎に介在させた状態とでそれぞれ作成する幾何テーブル作成部と、前記幾何テーブル作成部で作成した前記幾何テーブルを記憶するデータ記憶部と、前記データ記憶部に記憶されている複数の前記幾何テーブルを組み合わせ、該各幾何テーブルに記憶されている前記幾何歪補正データにて前記ステレオカメラと前記各保護フードとの幾何学的歪を除去し或いは異なる保護フードの幾何学的歪を再現するキャリブレーション演算部とを備える。

本発明によれば、データ記憶部に記憶されている複数の幾何テーブルを組み合わせて、ステレオカメラと各保護フードとの幾何学的歪を除去し或いは再現するようにしたので、ステレオカメラ及び複数種類の保護フードの幾何学的な歪みが及ぼす撮像画像への影響を、膨大な工数や経費をかけることなく評価することができ、更に、ステレオカメラ及び保護フードの幾何的な歪みにより発生する視差誤差を低減させることができる。

格子チャートボードとそれを撮像するステレオカメラの位置関係を示し、（ａ）は正面図、（ｂ）は平面図、（ｃ）は側面図 幾何テーブル作成装置の回路ブロック図 幾何歪除去再現装置の回路ブロック図 （ａ）は基準カメラで撮像した格子チャートボードの基準画像を示す説明図、（ｂ）は比較カメラで撮像した格子チャートボードの比較画像を示す説明図 幾何テーブル作成ルーチンを示すフローチャート （ａ）はレンズ歪を有するレンズを通して撮像した格子画像を示す説明図、（ｂ）はレンズ歪を有するレンズとガラス歪を有するフロントガラスとを通して撮像した格子画像を示す説明図、（ｃ）はガラス歪みを除去した後の画像を示す説明図 （ａ）はレンズ歪を有するレンズを通して撮像した格子画像を示す説明図、（ｂ）はレンズ歪を有するレンズとガラス歪を有するフロントガラスとを通して撮像した格子画像を示す説明図、（ｃ）はガラス歪みを除去した後の画像を示す説明図、（ｄ）は他のフロントガラスを通して撮像した格子画像を示す説明図、（ｅ）は（ｃ）の画像を（ｄ）の画像でキャリブレーションした画像の説明図 従来例を示し、（ａ）はレンズ歪を有するレンズを通して撮像した格子画像を示す説明図、（ｂ）は（ａ）の画像をアフィン補正した後の画像を示す説明図、（ｃ）はガラス歪を有するフロントガラスを通して撮影した画像を示す説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１、図２に示すように、幾何テーブル作成装置１は、ステレオカメラ２と、このステレオカメラ２に接続されている幾何テーブル作成装置４と、格子チャートボードＢｍと、保護フードとしてのフロントガラスＧｆとを備えている。

ステレオカメラ２は実際に車載されるものと同一であり、基準カメラ２ａと比較カメラ２ｂとを有し、この両カメラ２ａ，２ｂがステー２ｃに対し所定基線長を隔てた状態で固定されている。又、フロントガラスＧｆは、ステレオカメラ２が搭載される車種毎に複数枚用意されており、ステレオカメラ２に対する距離、傾き等の位置関係は、実際の車載時と同等に設定される。

又、格子チャートボードＢｍは、ステレオカメラ２に対し、所定に離間した位置に正対されている。この格子チャートボードＢｍの表面には、ステレオカメラ２の基線長の整数分の一の間隔で格子点を等間隔に配した格子パターンが記載されており、ステレオカメラ２の基線が格子チャートボードＢｍのほぼ中央の水平方向の格子点に一致され、且つ所定に離間された位置に配設されている。更に、格子チャートボードＢｍの中央の、両カメラ２ａ，２ｂの光軸と一致する格子点を囲む周囲にセンタマーカＲｃ，Ｌｃが描かれている。

このセンタマーカＲｃ，Ｌｃは格子点の一致検索に影響を与えず、且つ、予め各カメラ２ａ，２ｂとの一致検索の開始位置を明確に特定できる形状に形成されている。尚、この両カメラ２ａ，２ｂの記憶部には、センタマーカＲｃ，Ｌｃに対応する参照パターンと、センタマーカＲｃ，Ｌｃに囲まれた格子点に対応する十字パターンが予め記憶されている。

図２に示すように、幾何テーブル作成装置４は、両カメラ２ａ，２ｂで撮像した画像を前処理する前処理部５ａ，５ｂ、入力画像メモリ６を有し、更に、画像上の各格子点の座標を求めるステレオ画像特性検出部７、ステレオ画像特性検出部７で求めた格子点の座標に基づき幾何テーブルを作成する幾何テーブル作成部８、及び、この幾何テーブルを記憶するデータ記憶部９を備えている。

尚、前処理部５ａ，５ｂは、各カメラ２ａ，２ｂにて、フロントガラスＧｆの装着されてない状態、及び、車種毎のフロントガラスＧｆを通して撮像した格子チャートボードＢｍのアナログ画像信号を、デジタル信号に変換するＡ／Ｄコンバータ等の各種回路を内蔵する撮像ユニットであり、更に、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、左右のカメラ２ａ，２ｂで撮像した格子チャートボードＢｍの画像（デジタル画像）をそれぞれ記憶させる。

上述したステレオ画像特性検出部７、及び幾何テーブル作成部８での処理は、具体的には、図５に示す幾何テーブル作成ルーチンに従って実行される。

ルーチン実行前の初期設定として、ステレオカメラ２を車両に搭載された状態で、格子チャートボードＢｍに正対させ、格子チャートボードＢｍに描かれている各センタマーカＲｃ，Ｌｃが各カメラ２ａ，２ｂのほぼセンタとなるようにセットし、格子チャートボードＢｍの所定領域が両カメラ２ａ，２ｂの画角に収まるように格子チャートボードＢｍとの距離を設定する。

そして、プログラムを起動させ、先ず、ステップＳ１で、ステレオカメラ２の仕様定数値や各種処理変数値等の変数値を初期化する。その後、ステップＳ２へ進み、両カメラ２ａ，２ｂで、格子チャートボードＢｍを撮像して、図４（ａ），（ｂ）に示すように、基準画像Ｒｉと比較画像Ｌｉとの１画像をそれぞれサンプリングする。

次いで、ステップＳ３へ進み、サンプリングした基準画像Ｒｉと比較画像Ｌｉ中のセンタマーカＲｃ，Ｌｃ、及び、その中心に描かれている格子点を、各カメラ２ａ，２ｂに予め記憶されている参照マーク及び十字バターンとのパタンマッチングにより検出する。そして、ステップＳ４において、図４（ａ），（ｂ）に示すように、検出したセンタマーカＲｃ，Ｌｃがほぼ画像中心となるように設定されている座標Ｒｃｉ，Ｌｃｉに基づき、格子チャートボードＢｍの検索範囲を設定する。

その後、ステップＳ５へ進み、基準画像Ｒｉと比較画像Ｌｉに表示されている全ての格子点を検索し、各格子点の座標Ｒ11〜Ｒmm、Ｌ11〜Ｌmmを求める。各格子点の座標Ｒ11〜Ｒmm、Ｌ11〜Ｌmmを求める方法としては、例えば、予め記憶されている本来の格子点と画像上の格子点とを比較し、周知の画像処理技術であるＳＡＤ(Sum of Absolute intensity Difference)マッチングによるパタンマッチングを行った後、等角直線フィッティングを用いてサブピクセル精度での対応付けを行うことで、各格子点の座標Ｒ11〜Ｒmm、Ｌ11〜Ｌmmを極小点で求める。

そして、ステップＳ６へ進み、上述したステップＳ５で求めた基準画像Ｒｉと比較画像Ｌｉの格子点を検出した座標Ｒ11〜Ｒmm、Ｌ11〜Ｌmmと、予め記憶されている各格子点の画像上の理想座標との差から各格子点の幾何歪補正データを求め、水平座標と垂直座標とで構成されたテーブルの所定アドレスに格納して今回の幾何テーブルを作成する。

その後、ステップＳ７へ進み、この幾何テーブルをメモリに記憶させてルーチンを終了する。尚、ステップＳ１〜５が幾何テーブル作成装置４のステレオ画像特性検出部７での処理となり、ステップＳ６，Ｓ７が幾何テーブル作成部８での処理となる。

上述した幾何テーブル作成ルーチンに従って作成される幾何テーブルは、ステレオカメラ２と格子チャートボードＢｍとの間にフロントガラスＧｆを介在しない状態の幾何テーブルと、車種毎のフロントガラスＧｆを、実際の車載時と同等の位置関係（距離、向き）に設定した状態の幾何テーブルとが作成される。

従って、基準カメラ２ａと比較カメラ２ｂとで撮像した画像に基づいて作成される幾何テーブルは、基準画像と比較画像とのそれぞれにおいて、車種毎のフロントガラスＧｆの枚数にフロントガラス非装着分を加えた数となる。尚、以下においては、便宜的に基準画像Ｒｉと比較画像Ｌｉとを格子画像と総称して説明する。

ところで、ステレオカメラ２が、フロントガラスＧｆを通さないで格子チャートボードＢｍを撮像すると、図６（ａ）に示すように、その格子画像（基準画像Ｒｉ、比較画像Ｌｉ）は、歪曲収差を含むレンズ歪の影響を受けて湾曲する。又、フロントガラスＧｆを通して格子チャートボードＢｍを撮像した格子画像は、図６（ｂ）に示すように、レンズ歪とフロントガラスＧｆの歪み（ガラス歪）とを含む歪みが現れる。

この格子チャートボードＢｍは、工場出荷前のフロントガラスＧｆが装着されていない車両に搭載されたステレオカメラ２で既に撮像され、そのときの画像に基づいて幾何テーブルも既に作成されている。上述した幾何テーブル作成ルーチンにおいても、フロントガラスＧｆが非装着状態で幾何テーブルを作成しており、両幾何テーブルは同じ特性を示すはずであるが、工場出荷後と工場出荷前とでは、設置環境が異なるため、異なる特性となる可能性がある。従って、本実施形態では、工場出荷後のフロントガラスＧｆが装着されていない状態での幾何テーブルを別に作成している。

尚、以下においては、説明を容易にするためフロントガラスＧｆをフロントガラスα、βの２枚とし、工場出荷前に作成した幾何テーブルをＡ、工場出荷後のフロントガラスＧｆが非装着状態で作成した幾何テーブルをＢ、フロントガラスαを通して撮像した格子画像に基づいて作成した幾何テーブルをＣ、フロントガラスβを通して撮像した格子画像に基づいて作成した幾何テーブルをＤとする。

従って、幾何テーブルＡ，Ｂは、ステレオカメラのレンズ歪の特性を有し、幾何テーブルＣは、そのレンズ歪にフロントガラスαのガラス歪を含んだ特性を有し、又、幾何テーブルＤは、上記レンズ歪にフロントガラスβのガラス歪を含んだ特性を有している。

又、図３に示す幾何歪除去再現装置は、上述した各幾何テーブルＡ〜Ｄを用いて、フロントガラスα、βの幾何歪を除去し、或いは幾何歪を再現するためのシミュレーションを行うものであり、基準走行画像再生部１０ａ、比較走行画像再生部１０ｂ、画像補正部２０、出力画像記憶部３０を有し、この出力画像記憶部３０に出力された画像が、画像解析部としての画像解析ユニット４０に出力される。

基準走行画像再生部１０ａ、比較走行画像再生部１０ｂは、基準カメラ２ａと比較カメラ２ｂとで撮像したシミュレーション用走行画像を再生するもので、この走行画像は、例えば、フロントガラスαを通してステレオカメラ２で撮像したものである。従って、この画像は、ステレオカメラ２のレンズ歪とフロントガラスαのガラス歪とを含んだ状態で撮像されている。尚、この基準走行画像再生部１０ａ、比較走行画像再生部１０ｂの走行画像として、フロントガラスＧｆが外され、且つ、レンズ歪の除去されたステレオカメラで撮像した走行画像を採用しても良い。当初からレンズ歪が除去されているので、機種毎のステレオカメラに対する幾何テーブルを作成することで、レンズ歪特性も機種毎に得ることができる。

そして、この各走行画像再生部１０ａ，１０ｂで再生された走行画像が画像補正部２０に送信される。画像補正部２０は、各幾何テーブルＡ〜Ｄを記憶する幾何テーブル記憶部２１、基準走行画像及び比較走行画像が入力されると共に、幾何テーブル記憶部２１に記憶されている幾何テーブルＡ〜Ｄが選択的に入力されるキャリブレーション演算部２２ａ，２２ｂ、各キャリブレーション演算部２２ａ，２２ｂからの画像が入力されるフィルタ補正部２３ａ，２３ｂを備えている。

キャリブレーション演算部２２ａ，２２ｂは、幾何テーブル記憶部２１に記憶されている幾何テーブルＡ〜Ｄの中から外部操作により選択した幾何テーブルを読込み、読込んだ幾何テーブルに記憶されている格子点座標毎の幾何歪補正データに基づき基準走行画像と比較走行画像との対応する座標を幾何キャリブレーションして幾何学的歪を除去し、或いは再現する。フィルタ補正部２３ａ，２３ｂは、幾何キャリブレーションされた各走行画像（諧調画像）に含まれるノイズを、空間フィルタを用いて除去する。

出力画像記憶部３０は画像補正部２０から出力される基準走行画像及び比較走行画像を記憶し画像解析ユニット４０へ出力する。

画像解析ユニット４０は、出力画像記憶部３０に記憶されている基準走行画像データと比較走行画像データとを読込み、両走行画像データを解析することで、フロントガラスＧｆの有するガラス歪の画像に与える影響を評価する。

次に、上述したキャリブレーション演算部２２ａ，２２ｂで処理される、基準走行画像と比較走行画像を、幾何テーブルＡ〜Ｄの中から任意に選択した幾何テーブルで幾何キャリブレーションすることで、幾何学的歪を除去し、或いは再現する態様について例示する。尚、以下の式において、マイナスの符号は幾何キャリブレーションを意味し、これにより歪を除去する態様を簡易的に示している。

・幾何テーブルＡによるキャリブレーション
基準走行画像と比較走行画像は、フロントガラスαを通してステレオカメラ２で撮像したものであるため、フロントガラスαのガラス歪と工場出荷前のステレオカメラ２のレンズ歪とが幾何学的歪として含まれている。このフロントガラスαのガラス歪をεα、両カメラ２ａ，２ｂのレンズ歪をεＡとした場合、これを幾何テーブルＡでキャリブレーションすると、この幾何テーブルＡは工場出荷前に取得したものであり、
（レンズ歪εＡ＋ガラス歪εα）＋（−レンズ歪εＡ）＝ガラス歪εα
となり、ガラス歪εαを有する基準走行画像と比較走行画像とが出力画像記憶部３０に出力される。

・幾何テーブルＢによるキャリブレーション
フロントガラスαのガラス歪εαと工場出荷前のステレオカメラ２のレンズ歪εＡとが含まれている基準走行画像と比較走行画像を、工場出荷後のステレオカメラ２のレンズ歪を有する幾何テーブルＢでキャリブレーションすると、この幾何テーブルＢのレンズ歪をεＢとした場合、
（レンズ歪εＡ＋ガラス歪εα）＋（−レンズ歪εＢ）
＝（レンズ歪εＡ−レンズ歪εＢ）＋ガラス歪εα
となり、レンズ歪εＡとレンズ歪εＢとの差分と、ガラス歪εαを含んだ基準走行画像と比較走行画像とが出力画像記憶部３０に出力される。

・幾何テーブルＣによるキャリブレーション
フロントガラスαのガラス歪εαと工場出荷前のステレオカメラ２のレンズ歪εＡとが含まれている基準走行画像と比較走行画像を、工場出荷後のステレオカメラ２のレンズ歪εＢとフロントガラスαのガラス歪εαを有する幾何テーブルＣ（レンズ歪εＢ＋ガラス歪εα）でキャリブレーションすると、
（レンズ歪εＡ＋ガラス歪εα）−（レンズ歪εＢ＋ガラス歪εα）
＝（レンズ歪εＡ−レンズ歪εＢ）
となり、レンズ歪εＡとレンズ歪εＢとの差分を含んだ基準走行画像と比較走行画像とが出力画像記憶部３０に出力される。
その際、レンズ歪εＡ，εＢがほぼ等しい特性を有している場合、工場出荷後にフロントガラスαを通してステレオカメラ２で撮像した各走行画像は、図６（ａ）に示すレンズ歪εＡ（＝εＢ）に、フロントガラスαのガラス歪εαが含まれた、同図（ｂ）に示すような画像となる。これを、幾何テーブルＣでキャリブレーションすることで、同図（ｃ）に示すような、レンズ歪εＡ（＝εＢ）とガラス歪εαとの双方が除去された画像を生成することができる。

その結果、レンズ歪εＡとレンズ歪εＢとの特性がほぼ等しい場合、幾何テーブルＣで基準走行画像と比較走行画像とをキャリブレーションすることで、両カメラ２ａ，２ｂ間の水平ずれ、及び垂直ずれを除去することができる。

・幾何テーブルＤによるキャリブレーション
フロントガラスαのガラス歪εαと工場出荷前のステレオカメラ２のレンズ歪εＡとが含まれている基準走行画像と比較走行画像を、工場出荷後のステレオカメラ２のレンズ歪εＢとフロントガラスβのガラス歪を有する幾何テーブルＤでキャリブレーションする。尚、フロントガラスβのガラス歪をεβとする。

（レンズ歪εＡ＋ガラス歪εα）＋（−レンズ歪εＢ−ガラス歪εβ）
＝（レンズ歪εＡ−レンズ歪εＢ）＋（ガラス歪εα−ガラス歪εβ）
となり、レンズ歪εＡとレンズ歪εＢとの差分と、ガラス歪εαとガラス歪εβの差分を含んだ基準走行画像と比較走行画像とが出力画像記憶部３０に出力される。

以上のように、本実施形態によれば、フロントガラスαを通してステレオカメラ２で撮像した、ガラス歪εαとレンズ歪εＡとが含まれている基準走行画像と比較走行画像を、幾何テーブル記憶部２１に記憶されている各幾何テーブルＡ〜Ｄで選択的に幾何キャリブレーションすることで、異なる歪特性の基準走行画像と比較走行画像とを出力させることができる。

従って、例えば、基準走行画像と比較走行画像とに含まれているレンズ歪εＡとガラス歪εαとを、幾何テーブル記憶部２１に記憶されている幾何テーブルＡ〜Ｄを選択的に読込んで幾何キャリブレーションすることで除去することができる。

・レンズ歪εＡとガラス歪εαとの除去
上述したように、レンズ歪εＡ，εＢがほぼ同一特性を有する場合は、幾何テーブルＣを用いることで、レンズ歪εＡとガラス歪εαを除去することができる。しかし、レンズ歪εＢがレンズ歪εＡと異なる特性を示している場合、幾何テーブルＣのみでは、レンズ歪εＡを除去することは困難であり、距離計測精度の向上に支障を来す。

従って、距離計測精度を向上させるにはレンズ歪εＡを除去する必要がある。この場合、先ず、幾何テーブルＡと幾何テーブルＢとを読込み、この差分、すなわち、工場出荷前のレンズ歪εＡと工場出荷後のレンズ歪εＢとの差分から新たな幾何テーブルＥを作成して、
幾何テーブルＥ＝幾何テーブルＡ−幾何テーブルＢ
幾何テーブル記憶部２１に保存させる。

次いで、この幾何テーブルＥを幾何テーブルＣに加算して、新たな幾何テーブルＦを作成して、
幾何テーブルＦ＝幾何テーブルＣ＋幾何テーブルＥ
幾何テーブル記憶部２１に保存させる。

幾何テーブルＣはレンズ歪εＢにガラス歪εαが加算された特性を有し、又、幾何テーブルＥは、レンズ歪εＡとレンズ歪εＢとの差分の特性を有しているため、
幾何テーブルＦ＝（レンズ歪εＢ＋ガラス歪εα）＋（レンズ歪εＡ−レンズ歪εＢ）
＝レンズ歪εＡ＋ガラス歪εα
となり、フロントガラスαを通してステレオカメラ２で撮像した基準走行画像と比較走行画像に含まれているガラス歪εαと工場出荷前のレンズ歪εＡとは、この幾何テーブルＦを用いた幾何キャリブレーションにて容易に除去することができ、これらを除去した基準走行画像と比較走行画像とを出力画像記憶部３０に出力させる。その結果、基準走行画像と比較走行画像とのフロントガラスαの幾何学的な歪みによって発生する視差誤差を低減させることができ、距離計測精度を向上させることができる。

更に、幾何テーブルＦを作成することで、レンズ歪εＡとガラス歪εαとの双方が除去された画像を生成することができるので、基準走行画像と比較走行画像とステレオマッチングの性能を向上させることができる。又、水平方向の歪も除去されるため、視差オフセット校正のバラツキが減少し、距離計測精度を向上させることができる。

次に、フロントガラスαを通してステレオカメラ２で撮像した基準走行画像と比較走行画像を、基準走行画像再生部１０ａと比較走行画像再生部１０ｂから画像補正部２０へ出力し、画像補正部２０からフロントガラスβを通して撮像した基準走行画像と比較走行画像とを模擬的に出力する態様について説明する。

この場合、（レンズ歪εＡ＋ガラス歪εα−ガラス歪εβ）の幾何テーブルを作成すれば、ガラス歪εαを除去してガラス歪εβの特性を画像補正部２０から出力させることができる。

先ず、幾何テーブル記憶部２１に記憶されている幾何テーブルＢ，Ｄの差分から幾何テーブルＧを作成し、
幾何テーブルＧ＝幾何テーブルＢ−幾何テーブルＤ
＝レンズ歪εＢ−（レンズ歪εＢ＋ガラス歪εβ）
＝−ガラス歪εβ
そして、幾何テーブル記憶部２１に記憶した幾何テーブルＦを読込み、幾何テーブルＧを加算して、幾何テーブルＨを作成し、
幾何テーブルＨ＝幾何テーブルＦ＋幾何テーブルＧ
＝レンズ歪εＡ＋ガラス歪εα−ガラス歪εβ
幾何テーブル記憶部２１に記憶させる。この幾何テーブルＨで、基準走行画像再生部１０ａと比較走行画像再生部１０ｂから出力される走行画像を幾何キャリブレーションすれば、
（レンズ歪εＡ＋ガラス歪εα）−（レンズ歪εＡ＋ガラス歪εα−ガラス歪εβ）
＝ガラス歪εβ
となり、フロントガラスαを通してステレオカメラ２にて撮像した走行画像にて、フロントガラスβを通して撮像した走行画像を模擬的に取得し、このシミュレーションによりフロントガラスβを通した画像の解析を行うことができる。

すなわち、フロントガラスαを通して格子チャートボードＢｍを撮像した画像は、図７（ａ）に示す工場出荷前のレンズ歪εＡと、工場出荷後のレンズ歪εＢとの差分にフロントガラスαのガラス歪εαが含まれた、同図（ｂ）に示すような画像となる。これを、同図（ｃ）に示すように、幾何テーブルＦで幾何キャリブレーションすることで、両カメラ２ａ，２ｂ間の垂直ずれ、及び水平方向の歪が除去され、これに、同図（ｄ）に示すように、幾何テーブルＧを加算し、同図（ｅ）に示すように、幾何テーブルＨで幾何キャリブレーションすることで、フロントガラスβのガラス歪εβを再現させることができる。

従って、図８に示す従来例のように、工場出荷前にステレオカメラ２で格子チャートボードＢｍを撮像して得たレンズ歪εＡを、同図（ｂ）に示すようにアフィン変換により幾何学的に補正した後、フロントガラスβを装着することで、このフロントガラスβを通して撮像した際に発生するガラス歪εβと同等のガラス歪を、フロントガラスαをフロントガラスβに付け替えることなく再現させることが可能となる。

その結果、ステレオカメラ２に幾何テーブルＨのデータをプログラミングすることで、フロントガラスαを装着する実車走行において、ステレオカメラ２が、あたかもフロントガラスβを通して撮像したような走行画像を得ることができる。

このように、本実施形態によれば、工場出荷後のステレオカメラ２によって、格子チャートボードＢｍを、フロントガラスＧｆの無い状態、及び車種毎のフロントガラスＧｆを装着した状態で撮像して、レンズ歪εＢ、及びガラス歪εα、εβ…の各特性を有する幾何テーブルを予め生成しておくことで、車種毎のフロントガラスを一々装着して実車走行すること無く、レンズ歪及びガラス歪を除去し、或いはガラス歪を再現した走行画像データを取得することができる。その結果、膨大な工数や経費をかけることなく複数種類のフロントガラスＧｆの幾何学的な歪みが及ぼす撮像画像への影響を容易に評価することができる。更に、フロントガラスＧｆの幾何的な歪みにより発生する視差誤差を低減させることができる。

尚、本発明は、上述した実施形態に限るものではなく、例えば、フロンガラスαを通してステレオカメラ２で撮像した走行画像にて、合わせガラスを通して撮像した走行画像を模擬的に取得することも可能である。合わせガラスは一対のガラス板に中間膜を介在させて接着することにより一体化された構造を有しているため、各ガラス板、及び中間膜のそれぞれに特有の歪を有している。

そのため、先ず、この合わせガラスを通してステレオカメラ２で撮像した格子画像に基づいて幾何テーブルＪを作成する。そして、この幾何テーブルＪを前述した幾何テーブルＤに代えて適用することで、この合わせガラスを通してステレオカメラ２で撮像した走行画像データを模擬的に取得することが可能となる。

又、ステレオカメラ２のレンズ歪も機種毎に取得することで、異なる機種のステレオカメラ２と車種毎のフロントガラスＧｆとの組み合わせを、ステレオカメラ２及びフロントガラスＧｆを一々付け替えること無く、一つのステレオカメラ２とフロントガラスＧｆとにより、全ての組み合わせについての幾何学的な歪の補正（除去）、及び再現をシミュレーションし、評価することができる。

更に、ステレオカメラ２は車両に搭載するものに限らず、航空機、気動車等であってもよく、この場合、保護フードはフロントガラスＧｆに限らず風防ガラスであっても良い。

１…幾何テーブル作成装置、
２…ステレオカメラ、
２ａ…基準カメラ、
２ｂ…比較カメラ、
２ｃ…ステー、
４…幾何テーブル作成装置、
５ａ，５ｂ…前処理部、
６…入力画像メモリ、
７…ステレオ画像特性検出部、
８…幾何テーブル作成部、
９…データ記憶部、
１０ａ…基準走行画像再生部、
１０ｂ…比較走行画像再生部、
１５…入力画像メモリ、
２０…画像補正部、
２１…幾何テーブル記憶部、
２２ａ，２２ｂ…キャリブレーション演算部、
２３ａ，２３ｂ…フィルタ補正部、
３０…出力画像記憶部、
４０…画像解析ユニット、
Ａ〜Ｈ…幾何テーブル、
Ｇｆ，α，β…フロントガラス、
Ｌｉ…比較画像、
Ｒ11-Ｒmm，Ｌ11-Ｌmm…座標、
Ｒｃ，Ｌｃ…センタマーカ、
Ｒｉ…基準画像、
εＡ，εＢ…レンズ歪、
εα，εβ…ガラス歪

Claims (4)

1. 所定基線長を隔てて配設された２台のカメラを有するステレオカメラと、
   前記ステレオカメラの前方に配置されて、前記各カメラの対応する格子点にセンタマーカを配設した格子チャートと、
   前記ステレオカメラと前記格子チャートとの間に介在自在な保護フードと、
   前記格子チャートを前記各カメラで撮像し、該格子チャートの各格子点の座標を求める特性検出部と、
   前記特性検出部で求めた前記各格子点の座標とそれに対応する理想座標との差から幾何歪補正データを格子点毎に記憶する幾何テーブルを、前記保護フードが介在されていない状態と、前記保護フードを異なる種類毎に介在させた状態とでそれぞれ作成する幾何テーブル作成部と、
   前記幾何テーブル作成部で作成した前記幾何テーブルを記憶するデータ記憶部と、
   前記データ記憶部に記憶されている複数の前記幾何テーブルを組み合わせ、該各幾何テーブルに記憶されている前記幾何歪補正データにて前記ステレオカメラと前記各保護フードとの幾何学的歪を除去し或いは異なる保護フードの幾何学的歪を再現するキャリブレーション演算部と
   を備えることを特徴とする幾何歪除去再現装置。
2. 前記キャリブレーション演算部は、前記ステレオカメラの前方に特定の前記保護フードを介在させて撮像した走行画像に含まれる幾何学的歪を、前記ステレオカメラに対する前記幾何テーブルと特定の前記保護フードに対する前記幾何テーブルとに記憶されている幾何歪補正データにて除去する
   ことを特徴とする請求項1記載の幾何歪除去再現装置。
3. 前記キャリブレーション演算部は、前記ステレオカメラの前方に特定の前記保護フードを介在させて撮像した走行画像に含まれる幾何学的歪を、前記ステレオカメラに対する前記幾何テーブルと特定の前記保護フードに対する前記幾何テーブルとに記憶されている幾何歪補正データにて除去すると共に、異なる前記幾何テーブルに記憶されている幾何歪補正データにて対応するステレオカメラ或いは保護フードの幾何学的歪を再現させる
   ことを特徴とする請求項１記載の幾何歪除去再現装置。
4. 再現された前記走行画像にて異なる前記幾何テーブルに対応する前記ステレオカメラ或いは前記保護フードの幾何学的歪による影響を評価する画像解析部を更に有する
   ことを特徴とする請求項３記載の幾何歪除去再現装置。

Images