JP2013129264A - 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置 - Google Patents

Abstract

【課題】床面に配置されたマーカを用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行う方法及び装置を提供する。
【解決手段】車両１の移動中に、露出時間を背景画像が流れる所定時間以上として前記カメラ２１により撮像する撮像工程と、撮像工程により撮像された撮像画像に基づく処理対象画像からバンパの画像である特定画像部分を抽出する特定画像部分抽出部１４と、処理対象画像を所定の回転角度範囲で回転させ、特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなる回転角度を、ロール角補正値として算出するロール角補正値算出工程とを含む。
【選択図】 図２

Description

本発明は、車両に搭載されたカメラのキャリブレーションを行う方法、及び車両に搭載されたカメラのキャリブレーションを行う装置に関する。

車両に搭載されたカメラによる撮像画像から、道路に敷設されたレーンマークや他車両等を検出して、自車両の操舵制御や物体との接触可能性の判断等を行う場合、検出した対象物と自車両との相対位置を精度良く算出する必要がある。そのため、従来より、車両におけるカメラの搭載位置を正確に検出するためのキャリブレーションが行われている（例えば、特許文献１，２参照）。

特許文献１には、カメラが搭載された車両を、床面に配置されたマーカ（キャリブレーションターゲット）に正確に合わせて停車した後に、カメラでマーカを撮像し、撮像画像におけるマーカの画像部分の位置（２次元座標）に基づいて、カメラのキャリブレーション用のパラメータを算出する方法が記載されている。

また、引用文献２には、自車両の後部バンパを含む撮像画像に調整マーカを重畳した画像をモニタに表示し、使用者が調整マーカの位置を変更して後部バンパの画像部分と一致させたときの変更量に基づいて、カメラのキャリブレーション用のパラメータを算出する方法が記載されている。

特開２０１０−１０７３４８号公報 特開２００７−２５６０３０号公報

特許文献１に記載された方法では、車両の製造ラインにある程度広いスペースを確保してマーカを設置する必要がある。また、マーカの汚れ等により撮像画像からのマーカの特徴点の抽出が不能となることを防止するために、定期的なマーカのメンテナンスが必要である。さらに、マーカに対して正確に位置を合わせて車両を停止しなければならず、また、車両を静止させた状態を維持する必要があるため、製造ラインでの作業工数が多くなるという不都合がある。

一方、特許文献２に記載された方法では、床面にマーカを用意する必要はないが、バンパ形状や装着位置が異なる車両を対象とする場合には、各バンパの形状と装着位置に応じた調整マーカのデータを用意する必要がある。また、使用者がキャリブレーション用の操作を行うために、使用者に対してキャリブレーションに関する知識と技術を学習させる必要がある。

本発明はかかる背景に鑑みてなされたものであり、床面に配置されたマーカを用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行う方法及び装置を提供することを目的とする。

本発明は上記背景に鑑みてなされたものであり、本発明の車載カメラのキャリブレーション方法は、
車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラのキャリブレーションを行う方法であって、
前記車両の移動中に、露出時間を前記特定部分の背景の画像が流れる所定時間以上として前記カメラにより撮像する撮像工程と、
前記撮像工程により撮像された撮像画像に基づく処理対象画像から、前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出工程と、
前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出工程と、
前記ロール角補正値を用いて、前記カメラのキャリブレーション処理を行うキャリブレーション工程とを含むことを特徴とする（第１発明）。

第１発明によれば、前記撮像工程において、前記車両の移動中に、露出時間を前記特定部分の背景の画像が流れる所定時間として前記カメラによる撮像が行われる。この場合、前記特定部分については、常に前記カメラで撮像されるので殆ど画像が流れないが、撮像画像の前記特定部分以外の背景の画像については、車両の移動により流れるためにコントラストが低下する。そのため、前記特定画像部分抽出工程において、前記特定画像部分を前記処理対象画像の他の画像領域から精度良く分離して抽出することができる。

そして、前記特定画像部分は水平方向の対称性を有しているため、前記ロール角補正値算出工程において、前記処理対象画像を所定の回転角度範囲で回転させたときに、前記特定画像部分を水平座標方向の中間点を通る線分で二分した前記第１画像部分と前記第２画像部分について、前記第２画像部分の前記線分に対するミラー反転画像と前記第１画像部分との相関度は、前記特定画像部分が水平になったときに最も高くなる。そこで、この相関度が最も高くなったとき又は前記所定閾値以上になったときの前記処理対象画像の回転角度を、ロール角（カメラの光軸周りの回転角度）の補正値として算出することができ、前記キャリブレーション工程により、ロール角補正値を用いて前記カメラのキャリブレーション処理を行うことができる。

このように、第１発明によれば、水平方向の対称性を有する前記特定部分の撮像画像である前記特定画像部分を用いることによって、車両を床に配置されたマーカを用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行うことができる。

また、車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラのキャリブレーションを行う方法であって、
前記車両の移動中に、前記カメラにより複数回の撮像を行う撮像工程と、
前記撮像工程により撮像された複数の撮像画像間で、異なる画像部分を除去する処理を行った処理対象画像を生成し、該処理対象画像から前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出工程と、
前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出工程と、
前記ロール角補正値を用いて、前記カメラのキャリブレーション処理を行うキャリブレーション工程とを含むことを特徴とする（第２発明）。

第２発明によれば、前記撮像工程において、前記車両の移動中に、前記カメラにより複数回の撮像が行われる。この場合、前記特定部分については、常に前記カメラで撮像されるが、撮像画像の前記特定部分の画像以外の領域については、車両の移動に応じて撮像対象やその位置が変化する。

そのため、前記特定画像部分抽出工程において、前記撮像工程で撮像された複数の撮像画像間で、変化した画像部分を除去する処理（ＡＮＤ，ＥＸ−ＯＲ等の処理）を行って、前記特定画像部分以外の画像部分を極力除外した前記処理対象画像を生成することができる。そして、前記処理対象画像から、前記特定画像部分を精度良く抽出することができる。

そして、第１発明と同様に、前記ロール角補正値算出工程において、前記ロール角補正値を算出し、前記キャリブレーション工程により、前記ロール角補正値を用いて前記カメラのキャリブレーション処理を行うことができる。

このように、第２発明によれば、水平方向の対称性を有する前記特定部分の撮像画像である前記特定画像部分を用いることによって、床に配置されたマーカ等を用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行うことができる。

また、第１発明又は第２発明において、
前記処理対象画像における前記特定画像部分の水平座標方向の中間位置と、所定の水平基準位置とのずれ量に基づいて、該ずれ量分を補正するためのヨー角補正値を算出するヨー角補正値算出工程を含み、
前記キャリブレーション工程において、前記ヨー角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする（第３発明）。

第３発明によれば、前記ヨー角補正値算出工程により、前記カメラのヨー角（水平方向の振れ角）を補正するための前記ヨー角補正値を算出して、前記キャリブレーション工程において、前記カメラのキャリブレーションを行うことができる。

また、第１発明から第３発明のいずれかにおいて、
前記撮像画像における前記特定画像部分の垂直座標方向の中間位置と、所定の垂直基準位置とのずれ量に基づいて、該ずれ量分を補正するためのピッチ角補正値を算出するピッチ角補正値算出工程を含み、
前記キャリブレーション工程において、前記ピッチ角補正値を用いて前記カメラのキャリブレーション処理を行うことを特徴とする（第４発明）。

第４発明によれば、前記ピッチ角補正値算出工程により、前記カメラのピッチ角（鉛直方向の振れ角）を補正するための前記ピッチ角補正値を算出し、前記キャリブレーション工程において、前記ピッチ角補正値を用いて前記カメラのキャリブレーションを行うことができる。

次に、本発明の車載カメラのキャリブレーション装置は、
車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラと、
前記車両の移動中に、露出時間を前記特定部分の背景の画像が流れる所定時間として前記カメラにより撮像する撮像部と、
前記撮像部により撮像された撮像画像に基づく処理対象画像から、前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出部と、
前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出部と、
前記ロール角補正値を用いて、カメラのキャリブレーション処理を行うキャリブレーション部とを備えたことを特徴とする（第５発明）。

第５発明によれば、前記撮像部により、前記車両の移動中に、露出時間を前記特定部分の背景の画像が流れる所定時間として前記カメラによる撮像が行われる。この場合、前記特定部分については、常に前記カメラで撮像されるので殆ど画像が流れないが、撮像画像の前記特定部分以外の背景の画像については、車両の移動により流れるためにコントラストが低下する。そのため、前記特定画像部分抽出部は、前記特定画像部分を前記処理対象画像の他の画像領域から精度良く分離して抽出することができる。

そして、前記特定画像部分は水平方向の対称性を有しているため、前記ロール角補正値算出部が、前記処理対象画像を所定の回転角度範囲で回転させたときに、前記特定画像部分を水平座標方向の中間点を通る線分で二分した前記第１画像部分と前記第２画像部分について、前記第２画像部分の前記線分に対するミラー反転画像と前記第１画像部分との相関度は、前記特定画像部分が水平になったときに最も高くなる。そこで、この相関度が最も高くなったとき又は前記所定閾値以上になったときの前記処理対象画像の回転角度を、ロール角補正値として算出することができ、前記キャリブレーション部により、ロール角補正値を用いて前記カメラのキャリブレーションを行うことができる。

このように、第５発明によれば、水平方向の対称性を有する前記特定部分の撮像画像である前記特定画像部分を用いることによって、車両を床に配置されたマーカを用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行うことができる。

また、車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラと、
前記車両の移動中に、前記カメラにより複数回の撮像を行う撮像部と、
前記撮像部により撮像された複数の撮像画像間で、異なる画像部分を除去する処理を行った処理対象画像を生成し、該処理対象画像から前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出部と、
前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出部と、
前記ロール角補正値を用いて、カメラのキャリブレーション処理を行うキャリブレーション部とを備えたことを特徴とする（第６発明）。

第６発明によれば、前記撮像部により、前記車両の移動中に、前記カメラにより複数回の撮像が行われる。この場合、前記特定部分については、常に前記カメラで撮像されるが、撮像画像の前記特定部分の画像以外の領域については、車両の移動に応じて撮像対象やその位置が変化する。

そのため、前記特定画像部分抽出部は、前記撮像部により撮像された複数の撮像画像間で、変化した画像部分を除去する処理（ＡＮＤ，ＥＸ−ＯＲ等の処理）を行って、前記特定画像部分以外の画像部分を極力除外した前記処理対象画像を生成することができる。そして、前記処理対象画像から、前記特定画像部分を精度良く抽出することができる。

そして、第５発明と同様に、前記ロール角補正値抽出部により前記ロール角補正値を算出し、前記キャリブレーション部により、前記ロール角補正値を用いて前記カメラのキャリブレーション処理を行うことができる。

このように、第６発明によれば、水平方向の対称性を有する前記特定部分の撮像画像である前記特定画像部分を用いることによって、床に配置されたマーカ等を用いない簡易な処理により、使用者による特殊な操作によらずに車載カメラのキャリブレーションを行うことができる。

また、第５発明又は第６発明において、
前記処理対象画像における前記特定画像部分の水平座標方向の中間位置と、所定の水平基準位置とのずれ量に基づいて、該ずれ量分を補正するためのヨー角補正値を算出するヨー角補正値算出部を備え、
前記キャリブレーション部は、前記ヨー角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする（第７発明）。

第７発明によれば、前記ヨー角補正値算出部により、前記カメラのヨー角（水平方向の振れ角）を補正するための前記ヨー角補正値を算出し、前記キャリブレーション部により、前記ヨー角補正値を用いて前記カメラのキャリブレーションを行うことができる。

また、第５発明から第７発明のいずれかにおいて、
前記処理対象画像における前記特定画像部分の垂直方向の中間位置と、所定の垂直基準位置とのずれ量に基づいて、該ずれ量分を補正するためのピッチ角補正値を算出するピッチ角補正値算出部を備え、
前記キャリブレーション部は、前記ピッチ角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする（第８発明）。

第８発明によれば、前記ピッチ角補正値算出部により、前記カメラのピッチ角（鉛直方向の振れ角）を補正するための前記ピッチ角補正値を算出し、前記キャリブレーション部により、前記ピッチ角補正値を用いて前記カメラのキャリブレーションを行うことができる。

車載カメラのキャリブレーション装置の使用態様の説明図。 車載カメラのキャリブレーション装置の構成図。 カメラパラメータの算出処理のフローチャート。 車両が停止している状態での撮像画像とそのエッジ抽出画像の説明図。 車両が移動している状態での撮像画像とそのエッジ抽出画像の説明図。 ロール角補正値の算出処理の説明図。 第２実施形態における特定画像部分の抽出処理の説明図。

本発明の車載カメラのキャリブレーション装置の実施形態について、図１〜図７を参照して説明する。図１を参照して、本実施形態の車載カメラのキャリブレーション装置は、車両１（自車両）に搭載されたコントローラ１０の機能の一部として提供される。コントローラ１０は、車両１に搭載されたカメラ２１の撮像画像を車室内のディスプレイ２３に表示して、運転者に対する支援を行う。

カメラ２１は、車両１の後部のバンパ２５が撮像範囲に入る位置に取り付けられて、車両１の後方を撮像する。カメラ２１は、コントローラ１０からの制御信号に応じて撮像を行い、撮像画像のデータをコントローラ１０に出力する。

コントローラ１０は、図示しないＣＰＵ、メモリ等により構成される電子回路ユニットであり、ＣＰＵにカメラ２１のカメラパラメータ算出用のプログラムを実行させることによって、車両移動判定部１１、撮像部１２、処理領域設定部１３、特定画像部分抽出部１４、車体依存量補正部１５、及び、カメラパラメータ補正部１６（本発明のロール角補正値算出部、ヨー角補正値算出部、ピッチ角補正値算出部の機能を含む）として機能する。

また、コントローラ１０には、カメラパラメータ補正部１６により算出されたカメラパラメータ（後述するロール角補正値、ヨー角補正値、ピッチ角補正値）、カメラ２１のレンズ歪パラメータ、カメラ２１の取付位置の車両１の車幅方向の中心からのオフセット値等を保存するためのパラメータ保存メモリ１７が備えられている。

［第１実施形態］
次に、図３に示したフローチャートに従って、コントローラ１０によるカメラパラメータの算出処理の第１実施形態について説明する。

図３のＳＴＥＰ１は、車両移動判定部１１による処理である。車両移動判定部１１は、車速センサ２２から入力される車両１の移動速度の検出信号から、車両１が移動中であるか否かを判断する。なお、車両１の製造工程等において、車両１が搬送装置により搬送されているときには、搬送装置からの信号により車両１が移動中であるか否かを判断すればよい。

そして、車両１が移動中でない場合にはＳＴＥＰ１３に分岐し、この場合にはカメラパラメータの算出は行わない。一方、車両１が移動中であるときはＳＴＥＰ２に進む。ＳＴＥＰ２は撮像部１２による処理であり、撮像部１２は、カメラ２１により露出時間を長くして撮像を行う。なお、ＳＴＥＰ２による処理を行う工程は、本発明の「撮像工程」に相当する。

ここで、図４（ａ）は、カメラ２１による通常の露出時間（背景画像が流れない程度の露出時間）での撮像画像Ｉｍ１を示しており、車両１のバンパ２５（図１参照）の画像３０が含まれている。図４（ｂ）は、図４（ａ）の撮像画像Ｉｍ１からエッジ点を抽出したエッジ抽出画像Ｉｍ２である。

エッジ抽出画像Ｉｍ２は、輝度が所定レベル以上変化する画素（エッジ点）を「１」（図４（ｂ）では黒）とし、エッジ点以外の画素を「０」（図４（ｂ）では白）とした２値画像であり、バンパ２５の画像から抽出された画像部分３１のエッジ部分の他に、周辺の物体の画像からも多数のエッジ部分が抽出されている。

それに対して、図５（ａ）は、カメラ２１による長時間の露出時間（背景の画像が流れる露出時間、本発明の所定時間以上の露出時間に相当する）での撮像画像Ｉｍ３を示している。撮像画像Ｉｍ３では、車両１のバンパ２５の画像４０は比較的高コントラストで撮像されているのに対して、背景の他の物体については画像が流れてコントラストが低くなっている。

図５（ｂ）は、図５（ａ）の撮像画像Ｉｍ３からエッジを抽出したエッジ抽出画像Ｉｍ４であり、バンパ２５の画像４０から抽出された画像部分４１のエッジ部分の他に抽出されるエッジ部分が、図４（ｂ）に比べて、大きく減少している。そのため、図５（ｂ）のエッジ抽出画像Ｉｍ４から、バンパ２５の画像部分を精度良く検出することができる。

続くＳＴＥＰ３は、処理領域設定部１３による処理である。処理領域設定部１３は、車両１の設計上のカメラ２１の取付位置姿勢とバンパ２５の取付位置との関係から、カメラ２１の撮像画像のうちで、カメラ２１のキャリブレーションの処理に使用する領域（処理領域）を設定する。なお、車両１の設計上のカメラ２１の取付位置姿勢とバンパ２５の取付位置との関係についてのデータは、予めパラメータ保存メモリ１７に保存されている。

次のＳＴＥＰ４〜ＳＴＥＰ６は、特定画像部分抽出部１４による処理である。特定画像部分抽出部１４は、ＳＴＥＰ４で、長時間露出によるカメラ２１の撮像画像に対して、Ｃａｎｎｙ等のエッジオペレータを用いてエッジ抽出処理を行う。また、ＳＴＥＰ５で、特定画像部分抽出部１４は、エッジ強度が所定レベル以下であるエッジ点や、ランレングスが所定長以下であるエッジ点を除去するノイズ除去を行う。

そして、ＳＴＥＰ６で、特定画像部分抽出部１４は、エッジ抽出及びノイズ除去を行った画像から、バンパ２５の画像である特定画像部分を抽出する。なお、ＳＴＥＰ４〜ＳＴＥＰ６の処理を行う工程は、本発明の「特定画像部分抽出工程」に相当する。

続くＳＴＥＰ７〜ＳＴＥＰ８は、車体依存量補正部１５による処理である。ＳＴＥＰ７で、車体依存量補正部１５は、カメラ２１の取付位置が車両１の車幅方向（左右方向）の中心からオフセットされているか否かを判断する。本実施形態では、図１に示したように、カメラ２１の取付位置は、車両１の車幅方向の中間位置からオフセットしている。そのため、ＳＴＥＰ８に進む。

カメラ２１が車両１の車幅方向の中間位置からオフセットされている場合、カメラ２１の撮像画像においては、バンパ２５の画像部分の水平座標方向（ｘ方向）の中間位置が画像の水平座標の中間点からずれることになる。そこで、車体依存量補正部１５は、バンパ２５の画像部分４１の水平方向（ｘ方向）の中間点が、画像の水平座標の中間位置となるように、撮像画像を補正した処理対象画像を生成する。

処理対象画像においては、バンパ２５の画像部分の水平座標方向の中間位置が、画像の水平座標の中間点とほぼ一致する。一方、カメラが車両の車幅方向の中間位置からオフセットされていないときには、ＳＴＥＰ７からＳＴＥＰ９に分岐し、車体依存量補正部１５によるＳＴＥＰ８の処理は行われない。

続くＳＴＥＰ９〜ＳＴＥＰ１２は、カメラパラメータ補正部１６による処理である。以下では、図５（ｂ）のエッジ抽出画像Ｉｍ４を処理対象画像として説明する。カメラパラメータ補正部１６は、ＳＴＥＰ９でロール角度補正値を算出する。ロール角度補正値の算出は、処理対象画像Ｉｍ４を、想定されるカメラ２１の取付誤差の幅を考慮して決定した回転角度範囲（例えば、±４度の回転角度範囲）で回転させて、バンパ２５の画像部分４１（本発明の特定画像部分に相当する。以下、特定画像部分４１という）を水平座標（ｘ座標）方向の中間位置を通る垂直座標（ｙ座標）方向の線分Ｌｃで二分した第１画像部分４２ａと第２画像部分４２ｂとの相関度を算出することによって行う。

ここで、図６（ａ）を参照して、特定画像部分４１を、ｘ方向の中点（ｘ１とｘ３の中点）ｘ２を通るｙ軸方向の線分Ｌｃで二分した場合、図６（ａ）に示したように、特定画像部分４１の傾き（ｘ軸、ｙ軸に対する傾き）が大きくなるほど、第２画像部分４２ｂの線分Ｌｃに対するミラー反転画像４２ｂｍと第１画像部分４２ａとの相関度が低くなる。また、特定画像部分４１の傾きが０度であるときに、第２画像部分４２ｂの線分Ｌｃに対するミラー反転画像４２ｂｍと、第１画像部分４２ａとの相関度が高くなる。

そこで、カメラパラメータ補正部１６は、処理対象画像Ｉｍ４を所定角度ずつ回転させて、各回転角度での第１画像部分４２ａとミラー反転画像４２ｂｍとの相関度を算出する。そして、相関度が所定閾値以上であって、且つ、相関度が最も高くなった回転角度を、ロール角度補正値として算出する。なお、ＳＴＥＰ９の処理を行う工程は、本発明の車載カメラのキャリブレーション方法の「ロール角補正値算出工程」に相当する。また、相関度が最も高くなった回転角度、或いは、相関度が所定閾値以上となった回転角度を、ロール角補正値として算出してもよい。

続くＳＴＥＰ１０で、カメラパラメータ補正部１６は、図６（ｂ）に示したように、予め設定された処理対象画像上の基準位置Ｂのｘ軸成分ｂｘ（本発明の水平基準位置に相当する）と特定画像部分４１のｘ軸方向の中間位置ｘ２とのずれ量ｄｘを、ヨー角補正値として算出する。なお、ＳＴＥＰ１０の処理を行う工程は、本発明の「ヨー角補正値算出工程」に相当する。

なお、Ｌｃの位置をｘ軸方向の所定範囲内でずらして、第２画像部分４２ｂのミラー反転画像４２ｂｍと第１画像部分４２ａとの相関度を算出し、相関度が所定値以上であって、且つ、相関度が最も高くなったときのＬｃの位置と、ずらす前のＬｃの位置との差をヨー角補正値として算出してもよい。

続くＳＴＥＰ１１で、カメラパラメータ補正部１６は、予め設定された処理対象画像上の基準位置Ｂのｙ軸成分ｂｙ（本発明の垂直基準位置に相当する）と、特定画像部分４１のｙ軸方向の中間位置ｙ２とのずれ量ｄｙを、ピッチ角補正値として算出する。なお、ＳＴＥＰ１１の処理を行う工程は、本発明の車載カメラのキャリブレーション方法の「ピッチ角補正値算出工程」に相当する。

次のＳＴＥＰ１２で、カメラパラメータ補正部１６は、ＳＴＥＰ９〜ＳＴＥＰ１１で算出したロール角補正値、ヨー角補正値、及びピッチ角補正値のデータを、パラメータ保存メモリ１７に書込んで保存し、ＳＴＥＰ１３に進んで処理を終了する。

キャリブレーション部１８は、パラメータ保存メモリ１７に保存されたデータにより、ロール角補正値、ヨー角補正値、及びピッチ角補正値を用いて、カメラ２１の撮像画像を回転及びシフトするキャリブレーション処理を行って、車両１の車幅方向の中心から見た状態の後方画像が、ディスプレイ２３に表示されるようにする。なお、このキャリブレーション処理を行う工程は、本発明の「キャリブレーション工程」に相当する。

また、カメラ２１のキャリブレーション処理は、車両１の製造構成において実施してもよく、車両１の使用中（走行中）に適宜行ってもよい。

［第２実施形態］
次に、図７を参照して、コントローラ１０によるカメラパラメータの算出処理の第２実施形態について説明する。上述した第１実施形態において、コントローラ１０は、図３のＳＴＥＰ２〜ＳＴＥＰ６で、長時間露出による撮像画像から特定画像部分（バンパの画像）を抽出したが、第２実施形態では、車両１の移動中に異なる時点で撮像部１２により撮像された２つの画像Ｉｍ１０，Ｉｍ２０から、特定画像部分を抽出する。

特定画像部分抽出部１４は、Ｉｍ１０からエッジ点を抽出したエッジ抽出画像Ｉｍ１１を生成すると共に、Ｉｍ２０からエッジ点を抽出したエッジ抽出画像Ｉｍ２１を生成する。エッジ抽出画像Ｉｍ１１，Ｉｍ２１は、エッジ点の画素を１（図７では黒）とし、エッジ点以外の画素を０（図７では白）とした２値画像である。

そして、特定画像部分抽出部１４は、エッジ抽出画像Ｉｍ１１とＩｍ２１の対応する同一の座標位置の各画素間でＡＮＤ処理を行って画像Ｉｍ３０を生成する。この場合、撮像画像Ｉｍ１０とＩｍ２０は、撮像時点が異なるため、バンパの画像部分５０，６０以外の背景の画像が変化している。

そのため、エッジ抽出画像Ｉｍ１１とＩｍ２１においても、バンパのエッジ画像５１，６１はほぼ同じ形状で抽出されるが、背景については、異なるエッジ点が抽出されている。したがって、エッジ抽出画像Ｉｍ１１とＩｍ２１の対応する同一の座標位置の各画素間でＡＮＤ処理を行った画像Ｉｍ３０では、バンパ２５の画像部分７０のエッジ部分以外のエッジ部分の大部分が削除される。

そして、特定画像部分抽出部１４は、画像Ｉｍ３０からエッジ点が所定長以下であるエッジ点等を除去するノイズ除去を行った後に、バンパ２５の画像部分である特定画像部分７０を抽出する。特定画像部分７０を抽出した後の処理は、図３のＳＴＥＰ７〜ＳＴＥＰ１２と同様である。

なお、第２実施形態では、エッジ抽出画像Ｉｍ１１とＩｍ２１の対応する各画素間でＡＮＤ処理を行ったが、ＥＸ−ＯＲ（排他的論理和）処理を行ってもよい。また、エッジ抽出前の撮像画像Ｉｍ１０とＩｍ２０間で、例えば、輝度の変化が所定レベル以上である画素を０とし、輝度の変化が所定レベル未満である画素を１とする処理を行うことで、バンパの画像以外の背景の画像を０にするようにしてもよい。

なお、本実施の形態では、車両１における本発明の水平方向の対称性を有する特定部分として、車両１のリヤ部のバンパ２５を用いたが、水平方向の対称性を有する他の部分を、特定部分として用いてもよい。

また、本実施の形態では、カメラを車両の後部に取り付けて車両の後方を撮像する例を示したが、カメラを車両の前部や側面に取り付ける場合であっても、本発明の適用が可能である。

また、本実施の形態では、カメラパラメータとして、ロール角補正値、ヨー角補正値、及びピッチ角補正値を算出したが、少なくともロール角補正値を算出する場合であれば、本発明の適用が可能である。

１…車両、１０…コントローラ、１１…車両移動判定部、１２…撮像部、１３…処理領域設定部、１４…特定画像部分抽出部、１５…車体依存量補正部、１６…カメラパラメータ補正部、１７…パラメータ保存メモリ、１８…キャリブレーション部、２１…カメラ、２３…ディスプレイ、２５…バンパ。

Claims (8)

1. 車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラのキャリブレーションを行う方法であって、
   前記車両の移動中に、露出時間を前記特定部分の画像の背景画像が流れる所定時間として前記カメラにより撮像する撮像工程と、
   前記撮像工程により撮像された撮像画像に基づく処理対象画像から、前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出工程と、
   前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出工程と、
   前記ロール角補正値を用いて、前記カメラのキャリブレーション処理を行うキャリブレーション工程と
   を含むことを特徴とする車載カメラのキャリブレーション方法。
2. 車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラのキャリブレーションを行う方法であって、
   前記車両の移動中に、前記カメラにより複数回の撮像を行う撮像工程と、
   前記撮像工程により撮像された複数の撮像画像間で、異なる画像部分を除去する処理を行った処理対象画像を生成し、該処理対象画像から前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出工程と、
   前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出工程と、
   前記ロール角補正値を用いて、前記カメラのキャリブレーション処理を行うキャリブレーション工程と
   を含むことを特徴とする車載カメラのキャリブレーション方法。
3. 請求項１又は請求項２に記載の車載カメラのキャリブレーション方法において、
   前記処理対象画像における前記特定画像部分の水平座標方向の中間位置と、所定の水平基準位置とのずれ量に基づいて、該ずれ量分を補正するためのヨー角補正値を算出するヨー角補正値算出工程を含み、
   前記キャリブレーション工程において、前記ヨー角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする車載カメラのキャリブレーション方法。
4. 請求項１から請求項３のうちのいずれか１項に記載の車載カメラのキャリブレーション方法において、
   前記撮像画像における前記特定画像部分の垂直座標方向の中間位置と、所定の垂直基準位置とのずれ量に基づいて、該ずれ量分を補正するためのピッチ角補正値を算出するピッチ角補正値算出工程を含み、
   前記キャリブレーション工程において、前記ピッチ角補正値を用いて前記カメラのキャリブレーション処理を行うことを特徴とする車載カメラのキャリブレーション方法。
5. 車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラと、
   前記車両の移動中に、露出時間を前記特定部分の背景画像が流れる所定時間として前記カメラにより撮像する撮像部と、
   前記撮像部により撮像された撮像画像に基づく処理対象画像から、前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出部と、
   前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出部と、
   前記ロール角補正値を用いて、カメラのキャリブレーション処理を行うキャリブレーション部と
   を備えたことを特徴とする車載カメラのキャリブレーション装置。
6. 車両に、水平方向の対称性を有する該車両の特定部分が撮像範囲に含まれるように搭載されたカメラと、
   前記車両の移動中に、前記カメラにより複数回の撮像を行う撮像部と、
   前記撮像部により撮像された複数の撮像画像間で、異なる画像部分を除去する処理を行った処理対象画像を生成し、該処理対象画像から前記特定部分の画像である特定画像部分を抽出する特定画像部分抽出部と、
   前記処理対象画像を所定の回転角度範囲で回転し、前記特定画像部分を水平座標方向の中間点を通る垂直座標方向の線分で二分した第１画像部分と第２画像部分について、該第２画像部分の該線分に対するミラー反転画像と該第１画像部分との相関度が、最も高くなるか又は所定閾値以上となる回転角度を、ロール角補正値として算出するロール角補正値算出部と、
   前記ロール角補正値を用いて、カメラのキャリブレーション処理を行うキャリブレーション部と
   を備えたことを特徴とする車載カメラのキャリブレーション装置。
7. 請求項５又は請求項６に記載の車載カメラのキャリブレーション装置において、
   前記処理対象画像における前記特定画像部分の水平座標方向の中間位置と、所定の水平基準位置とのずれ量に基づいて、該ずれ量分を補正するためのヨー角補正値を算出するヨー角補正値算出部を備え、
   前記キャリブレーション部は、前記ヨー角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする車載カメラのキャリブレーション装置。
8. 請求項５から請求項７のうちのいずれか１項に記載の車載カメラのキャリブレーション装置において、
   前記処理対象画像における前記特定画像部分の垂直方向の中間位置と、所定の垂直基準位置とのずれ量に基づいて、該ずれ量分を補正するためのピッチ角補正値を算出するピッチ角補正値算出部を備え、
   前記キャリブレーション部は、前記ピッチ角補正値を用いて、前記カメラのキャリブレーション処理を行うことを特徴とする車載カメラのキャリブレーション装置。

Images