JP4820221B2 - 車載カメラのキャリブレーション装置およびプログラム - Google Patents

Description

本発明は、画像処理装置を備えた車載カメラのキャリブレーションに関する。

画像処理装置を備えた車載カメラは、車両の安全走行およびカーナビゲーションの高度な位置補正等を目的として、その役割は益々重要なものとなり、路面または路上の物体を認識する精度を高めるための画像処理技術も色々提案されている。しかしながら車両に取付けられた車載カメラの設置高さや撮像角度は、車両の上下振動、急加速・減速の重力、その他の衝撃等に起因して、初期設定時の条件から経時的に変化することが多い。その場合は、正確な画像処理情報が得られなくなるため、カメラの光軸の定期的な補正が必要となっている。

そのために、車両との相対的な位置関係が既知の基準マーカを利用して、車載カメラのキャリブレーションを行う方法や（例えば特許文献１参照）、道路消失点から車載カメラの姿勢パラメータを算出する方法（例えば特許文献２参照）が紹介されている。
特開２００４−２００８１９号公報（請求項１） 特開平７−７７４３１号公報（請求項１）

この場合、特許文献１では、カメラの光軸補正のために基準マーカを準備する必要があり、また車両が停車状態でなければ補正は行えない。また特許文献２では、道路消失点が算出可能となるためには制約が多く（例えば、段落００５４）、また気象による視界条件にも影響されやすいので、好適な補正を行える機会は限られる。

そこで本発明は、車両が走行中であっても、道路上で高い頻度で得られる情報から、車載カメラの光軸補正を可能とする車載カメラのキャリブレーション装置を提供することを目的とする。

前記した課題を解決するために、本発明の車載カメラのキャリブレーション装置は、車載カメラと、路面標示の特徴量からカメラパラメータを算出するカメラパラメータ算出部と、前記車載カメラの光軸補正制御を行うカメラパラメータ補正部とを備えたことを特徴としている。

本発明によれば、車両が走行中であっても、道路上で高い頻度で得られる情報から、車載カメラの光軸補正を可能とする車載カメラのキャリブレーション装置が提供できる。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施形態にかかわる車載カメラのキャリブレーション装置およびその周辺システムを含む全体構成の例を示した図である。図１に示す構成は、カーナビゲーションシステム（以降、適宜カーナビと記載する）、更にはＩＴＳ（Intelligent Transport System：高度道路交通システム）の一環として、車載カメラおよび画像処理装置との連携も含めて既に実用化されているものである。

車載カメラ１と画像処理装置２は、路面標示・道路標識等からの画像情報により、カーナビゲーション３の位置情報を補正したり、安全走行のための監視目的で実用化されており、本発明の実施形態にも利用が可能である。本実施形態において、車載カメラ１は、バックビューカメラとして自車の後方に取り付けられているが、路面標示の撮像が可能な状態であれば、他の位置に設置しても構わない。画像処理装置２は、撮像された路面標示５の画像から、所定の特徴点または特徴線（以下総称して特徴量とも言う）の抽出を行う。そして、その抽出された情報から、車載カメラ１の設置高さおよび角度に関するカメラパラメータを算出し、光軸補正を行うものである。
車載カメラ１と画像処理装置２が、例えば自車両の位置情報を補正するために、その位置情報（経度・緯度）が既知の路面標示５の検出と、自車両および路面標示５の距離Ｄの算出を行う場合は、同様に構成された車載カメラ１と画像処理装置２とによって、光軸補正が可能となるので、より正確な距離Ｄを求めることができる。

次に、車載カメラのキャリブレーション装置の詳細を、図２に基いて説明する。図２に示すように、車載カメラのキャリブレーション装置は、車載カメラ１と、画像処理装置２とにより構成される。
車載カメラ１で撮像した画像は、画像１ａに示すような路面標示に、その特徴点または特徴線が含まれており、画像処理装置２に送られる。画像処理装置２では、まず路面標示検出部２１にて入力された画像を処理して、その画像から検出された路面標示５の種別の判定を行い、特徴点・特徴線抽出部２２へ送る。そして特徴点・特徴線抽出部２２では、路面標示５の種別毎に予め定められた白線上の特徴点（種別により４点、６点または８点）の抽出を行うか、または特徴線の場合は、その２本の特徴線の延長上に交差する点を道路消失点として、その座標位置を求めて、カメラパラメータ算出部２３へ送る。

カメラパラメータ算出部２３では、得られた特徴点の情報と、路面標示５の種別毎に路面標示ＤＢ２４に格納されている基準特徴点の情報とを参照し、撮像時の車載カメラ１の設置高さおよび設置角度を算出し、カメラパラメータとして、カメラパラメータ補正部２５へ送る。特徴点・特徴線抽出部２２から送られた情報が道路消失点の座標情報である場合は、その座標情報から車載カメラ１の設置高さと設置角度を算出し、カメラパラメータ補正部２５へ送る。

カメラパラメータ補正部２５は、カメラパラメータ算出部２３より送られたカメラパラメータを、新規カメラパラメータとして更新し、記憶するとともに、例えばカーナビ位置補正用の距離Ｄを求める画像とカメラパラメータにより画像処理を行い（図示なし）、カーナビゲーション３へ情報を送出する。
またカメラパラメータ補正部２５は、車載カメラ１の光軸のズレが、所定の範囲を超えて、前記した光軸補正が困難な場合には、メンテナンス情報の通知を発信し、手動によるカメラ取り付け位置の修正を促す。

以下に、車載カメラの光軸補正（以下、キャリブレーションと呼ぶ）に関する実施形態の概要を説明する。

まず、最初に車載カメラを取付ける際は、新車の出荷前の検査場または一般の整備工場など、キャリブレーション用の基準マーカのある場所で取り付けを行う（図示なし）。車両に取付けられた車載カメラ１は、この基準マーカから一定の距離を置いた位置からマーカを撮像し、車載カメラ１の設置位置（高さｈ、ピッチ角θ、ロール角φ、ヨー角ψ）に関する初期設定値を得る。そして、後記する特徴点の情報は、車載カメラ１の位置（角度）から見た路面標示５の形状に関して、この初期設定値に基き、画面座標系に変換され、種別判定用として路面標示ＤＢ２４に格納される。なお、この時点では車載カメラ１の光軸を補正する必要はないので、カーナビ３での位置補正（距離Ｄの測定）または安全走行のための画像処理を行うときは、初期設定値を用いて行う。

次に、キャリブレーションを実施する周期を設定する。例えばデフォルトの設定で、前回のキャリブレーション実施から一週間を経過した最初の車両運転時とし、この周期は利用者が任意の期間に変更できる設定とする。また利用者の手動によるキャリブレーションの指示も可能とし、例えば道路コンディションの悪い山道走行から一般道路に出てきたときや、自車両の後部に好適な路面標示５がある位置での一時停止時などに、キャリブレーションの指示を手動で行えるようにするのが好ましい。

図３は、デフォルトまたは手動のタイミングで、走行中または停車時に路面標示５を用いてキャリブレーションを行う際のフローチャートである。

まず、前記したデフォルトまたは手動のタイミングであっても、高速走行中、急加速時などの場合は、画像または車載カメラ１の光軸が不安定になるので、キャリブレーション実行に適したタイミングか否かの判定を行う（ステップＳ３０１）。具体的な判定要素については後記する。判定がＹｅｓの場合は次のステップ（Ｓ３０２）に進み、Ｎｏであれば、終了する。
次のステップ（Ｓ３０２）にて、車載カメラ１が路面の撮像を行い、その画像は車載カメラ１から路面標示検出部２１へ入力される。路面標示検出部２１では、路面標示検出のための画像処理を行う（ステップＳ３０３）。

図４は、路面標示検出部２１での、ステップＳ３０３画像処理の詳細（サブルーチン）を示したフローチャートである。
まず入力された画像は、コントラスト調整などの前処理が行われ（ステップＳ４０１）、次にエッジ抽出処理にて白線（または黄線）と路面との識別を容易にする（ステップＳ４０２）。次に路面標示検出部２１は、路面標示５の白線の角または切れ目の外形から、その形状の特徴を表わす幾つかの点（特徴点または特徴量）を抽出する（ステップＳ４０３）。そして、その特徴量が、予め路面標示ＤＢ２４に登録されている画面座標系の情報を参照し、路面標示５のいずれの種別に該当するか否かの判定を行う（ステップＳ４０４）と共に、路面標示５の検出結果を保存する（ステップＳ４０５）。角も切れ目も認識されない平行な２本の直線を識別した場合は、路側帯を示す白線（特徴線）であると判定し、その検出処理を行い（ステップＳ４０６）、その結果を保存する（ステップＳ４０７）。サブルーチン終了後、次のステップＳ３０４では、ステップＳ３０３の結果に応じて、路面標示または路側帯のいずれかを検出していれば、カメラパラメータ算出用特徴量抽出のステップに進む（図３のステップＳ３０４、Ｙｅｓ）。何らかの事由により画像から路面標示５または路側帯のいずれも検出できなかった場合は、後記するステップＳ３１１に進む（図３のステップＳ３０４、Ｎｏ）。

図５は、特徴点・特徴線抽出部２２での、カメラパラメータ算出用特徴量抽出（図３のステップＳ３０５）の詳細を示すフローチャートである。
前記ステップＳ４０５にて保存された路面標示５の検出結果を読み込んで（ステップＳ５０１）、路面標示５の種別毎に定めた特徴点（例を後記する）に相当する特徴量の抽出を行う（ステップＳ５０２）。また前記ステップＳ４０７にて保存された路側帯（平行な２本）の特徴線の検出結果を読み込み（ステップＳ５０３）、それぞれの特徴線から一定間隔を置いた２点の位置情報、合計４点の位置情報を特徴量として抽出する（ステップＳ５０４）。

そして、前記ステップＳ５０２またはステップＳ５０４のいずれかから所定の特徴量を抽出できた場合は、図３のステップＳ３０７に進み（図３のステップＳ３０６、Ｙｅｓ）、いずれからも所定の特徴量を抽出できなかった場合は、ステップＳ３１１に進む（ステップＳ３０６、Ｎｏ）。

前記ステップＳ３０４、ＮｏまたはステップＳ３０６、ＮｏからステップＳ３１１に進んだときは、画像入力Ｓ３０２に戻り（ステップＳ３１１、Ｎｏ）、ステップＳ３０４またはステップＳ３０６から再びステップＳ３１１に戻ってくる場合に、所定の回数（例えば合計５回）または時間（例えば５分間）に達するまでは、ステップＳ３０２に戻って作業を繰返し、所定の回数または時間に達したときは、タイムアウトとして作業を終了する。

次に、ステップＳ３０６からステップＳ３０７に進んだ場合、カメラパラメータ算出部２３は、特徴点・特徴線抽出部２２から送られたカメラパラメータ算出用特徴量が、路面標示５の特徴点の場合、その特徴点と、路面標示ＤＢ２４に格納してある路面標示５の種別に応じた特徴点の基準寸法情報とを参照して、撮像時の車載カメラ１のカメラパラメータ（高さｈ’、ピッチ角θ’、ロール角φ’、ヨー角ψ’）を算出する。詳しい算出例は後記する。前記特徴量が２本の路側帯の特徴線から得られた場合は（図１の画像１ａのイメージ参照）、カメラパラメータ算出部２３では、その特徴線の延長上に交わる点（道路消失点）の画像上の座標を求め、車載カメラ１のカメラパラメータを算出する。道路消失点からカメラパラメータを算出する方法は、特許文献２やその他の文献にて紹介されている。算出されたカメラパラメータはカメラパラメータ補正部２５へ送られる。

そして、カメラパラメータ補正部２５は、算出されたカメラパラメータが、キャリブレーションが可能な閾値を超えているか否かの判定を行い、閾値を超えて、キャリブレーションが不可能であると判定された場合は（ステップＳ３０９、Ｎｏ）、車載カメラ１の位置ズレが大きいので、利用者にメンテナンス情報を通知し、手動による車載カメラ１の取付け位置または角度の修正を促す（ステップＳ３１２）。カメラパラメータが閾値以下である場合は、キャリブレーションが可能な範囲であると判定し（ステップＳ３０９、Ｙｅｓ）、カメラパラメータを更新（記憶）すると共に（ステップＳ３１０）、そのカメラパラメータを用いて、例えば前記した距離Ｄ算出のための画像処理を行い、光軸補正後の画像処理情報（位置情報）をＩＴＳ（カーナビ）３へ送る。

以上により、車載カメラ１のキャリブレーションを行うことができるが、撮像の対象となる路面標示５について、以下に説明する。
路面標示５の種類と形式は、道路交通法に定められているが、本実施形態では、その寸法が全国統一またはエリア別に規定されている路面標示５を選び、その種類毎に基準となる特徴点を定める。特徴点は、２組の平行な線分を求めるための４点から８点が必要となるが、図６に幾つかの路面標示５と、その寸法および特徴点の例を示す。

図６の（ａ）は、前方に横断歩道または自転車横断帯があることを示す標示である。白線の幅はエリアによって２０ｃｍか３０ｃｍのいずれかを用いたり、標示内部に雨水が溜まらないように白線に切れ目を入れる例もあるが、外形寸法は図示した通りに統一されており、左右・前後ともに対象形で路面にマークされるので、黒丸した特徴点４点の寸法は全国共通である。同様に、（ｂ）の最高速度３０ｋｍ／時についても、白線（黄線）の幅は異なることがあっても、標示の外縁上に定めた特徴点８点の寸法は変わらない。また（ｃ）の横断歩道の路面標示のように、寸法が全国統一ではないが、エリア（県別）単位で標準化されている場合は、エリア単位で特徴点６点の情報を路面標示ＤＢ２４に格納し、キャリブレーションを行う際にカーナビから位置情報を参照して、エリア別の特徴点情報を読み込むことで、多くの路面標示を活用することができる。

次に、前記した路面標示５の特徴点からカメラパラメータの算出例と、算出されたカメラパラメータを用いて距離Ｄを求める計算例を以下に説明する。
まず、抽出された特徴点をレンズ歪のない状態に補正する。レンズ歪を補正するには、使用しているカメラに固有のレンズの歪量のデータを利用して、入力画像の特徴点を、歪のない状態に補正することができる。この方法は公知のものを利用できる。
次に、レンズ歪のない特徴点から、カメラパラメータを算出する。

まず、所定の特徴点（４点、６点、または８点）から２点の消失点を算出し、その消失点から消失線を求める。そのために、路面標示５の種別に定めた特徴点から、２組の平行な線分を抽出する。この２組は互いに直交に近い方が好ましい。図７（ａ）に示した「横断歩道または自転車横断帯あり」の路面標示の場合は、ａ、ｂ、ｃ、ｄが特徴点であり、線分Ｌ_１とＬ_３が道路平面において平行、線分Ｌ_２とＬ_４が道路面上において平行であり、これらの２組の平行な線分が直角に近い位置関係にある。そのため、画像上で、Ｌ_１とＬ_３を延長した直線の交点Ｐ_１と、Ｌ_２とＬ_４を延長した直線の交点Ｐ_２を結んだ直線Ｌｖが消失線となる。

図７（ｂ）に示すような「最高速度３０ｋｍ／時」の路面標示５の場合、特徴点８点のうち、特徴点ａ_１とｂ_２の延長線と、ｃ_１とｄ_２の延長線との平行な線分が画像上で交わる点をＰ_１とし、同様にｂ_１とａ_２の延長線と、ｄ_１とｃ_２の延長線とが交わるＰ_２とから、消失線Ｌｖを求めることができる。なお、ａ_１とａ_２の延長線、およびｂ_１とｂ_２の延長線の交点と、ｃ_１−ｃ_２およびｄ_１−ｄ_２の延長線との交点とで消失線を求めることは可能ではあるが、互いに直交に近い線分ではないため、Ｐ_１とＰ_２とが画像上で近い位置になり、精度の高い消失線Ｌｖが得られにくい。
図７（ｃ）に示すような「横断歩道」の路面標示５の場合は、ａ_１とｂ_１とｃ_１とが、またａ_２とｂ_２とｃ_２とも、全て同じ間隔（４５ｃｍまたは５０ｃｍのいずれか）にあるため、６点の特徴点から２組の平行な線分が得られ、画像上の消失点Ｐ_１とＰ_２とから、消失線Ｌｖを求めることができる。

次に、求めた消失線Ｌｖから、車載カメラ１のロール角φ’を求める。図８において、画面の横軸に平行な直線Ｌｈを引き、先に求めた消失線Ｌｖとのなす角αが、車載カメラ１のロール角φ’となる。
次に、車載カメラ１のピッチ角θ’を求める。図８において、画面の中心をＰｃとし、Ｐｃから消失線Ｌｖに垂線ＰｃＱを引く。ここで車載カメラ１の焦点距離をｆとして、
θ’＝tan^-1｛（線分ＰｃＱの画像上での距離）／ｆ｝
となる。焦点距離ｆは、カメラ固有の値として既知であり、線分ＰｃＱの画像上での距離は、画像上のユニットセルサイズが既知であることで求めることができる。

次に、車載カメラ１のヨー角ψ’を求める。図９において、Ｌｖは消失線、点Ｐｃを画面の中心とする。また、ＲＳは、路面標示５の特徴点のフレーム間での軌跡であり、現フレームで画面上の点Ｓの位置にある特徴点が、数フレーム前には、画面上の点Ｒの位置にあったことを意味している。ここで、点Ｒと点Ｓとを結ぶ直線をＬｙとし、直線Ｌｙと消失線Ｌｖとの交点をＵとする。なお点Ｕは、点Ｓ（点Ｒ）が、いずれの特徴点であっても、一意に求まる点である。また図９の点Ｑは、図８と同様の点である。車載カメラ１のヨー角ψ’は、
ψ’＝tan^-1｛線分ＱＵの画像上での距離｝×cosθ’／ｆ｝
となる。θ’は、先に求めた車載カメラ１のピッチ角であり、焦点距離ｆは、カメラ固有の値として既知であり、線分ＱＵの画像上の距離は、画像上のユニットセルサイズが既知であることで求めることができる。

次に、車載カメラ１の設置高さｈ’を求める。図１０において、Ｌｖが消失線で、Ｌｚは、画面中心点Ｐｃを通り、消失線Ｌｖに平行な直線である。ここで、先に検出した路面標示５の特徴点をａ_１、ａ_２、ｂ_１、ｂ_２とし、四角形ａ_１ａ_２ｂ_１ｂ_２が道路上で長方形となる場合（横断歩道または最高速度の路面標示５等）を考える。また、直線ａ_１ｂ_１と直線ａ_２ｂ_２の交点をＷとし、直線ＰｃＷと直線Ｌｚの画面上で角度をβとする。まず、四角形ａ_１ａ_２ｂ_１ｂ_２と直線Ｌｚの交点を点ｅおよび点ｇとしたとき、線分ｅｇの道路面上での実際の長さＥＧを求める。線分ａ_１ｂ_１の道路面上での長さをＡ_１Ｂ_１とすると、
ＥＧ＝Ａ_１Ｂ_１／cos｛tan^-1（tanβ／sinθ’）｝・・・（１）
θ’は、先に求めた車載カメラ１のピッチ角であり、Ａ_１Ｂ_１は、路面標示５の寸法が規格で決まっていることにより一意に求まる。次に、線分ｅｇの画像上での長さと、道路面上での長さＥＧの比Ratioを求めると、
Ratio＝ＥＧ／（線分ｅｇの画像上の長さ）・・・（２）
となり、車載カメラ１の焦点距離をｆとしたとき、車載カメラ１の設置高さｈ’は、
ｈ’＝ｆ×Ratio×sinθ’・・・（３）
となり、上記の式（１）〜（３）により、車載カメラ１の設置高さｈ’を求めることができる。

以上で、検出した路面標示５の特徴点から、現在のカメラパラメータ（カメラの設置高さ、ピッチ角、ロール角、ヨー角）を算出することができ、これを補正後のカメラパラメータとして、自車両から路面標示５までの距離Ｄを求めることができる。

次に、自車両から、路面標示の特徴点までの距離Ｄの求め方を説明する。ここで、代表点は、路面標示の位置情報（緯度・経度）に対応する点のことであり、この代表点は、パラメータ算出のための特徴点であってもよい。図１１（ａ）において、車両から代表点Ｋまでの距離Ｄを求めることを考える。画面中心Ｐｃを原点とする画面座標系を（ｘ、ｙ）とし、代表点Ｋの座標を（ｘｋ、ｙｋ）とする。但し、（ｘｋ、ｙｋ）の値は画像上での値とする。
代表点Ｋの座標（ｘｋ、ｙｋ）は、具体的には以下のようにして求められる。
代表点Ｋの道路標示内における相対位置、および特徴点に基づいた代表点Ｋの算出方法は、道路標示毎に予め定められている。例えば、図６の（ａ）における道路標示の代表点Ｋは、菱形の中心であることが予め定められている。そして、図６の（ａ）における代表点Ｋの算出は、互いに向き合う特徴点を結んだ線分の交点を代表点Ｋとすることが予め定められている。道路標示によっては、特徴点そのものを代表点Ｋとしてもよい。
図１１（ｂ）において、道路面上での座標系を（Ｘ、Ｙ、Ｚ）とする。Ｚ軸は自車両の縦方向と平行、Ｘ軸は、自車両の横方向と平行、Ｙ軸は道路面に垂直、ＸＺ平面は道路面とし、原点Ｏは、カメラの直下とする。代表点ＫのＸＹＺ座標系での座標を（Ｘｋ、０、Ｚｋ）とすると、自車両（カメラの直下）から代表点Ｋまでの距離Ｄは、次の式（４）により算出される。

次に図１１（ｂ）において、カメラ座標系を（ｘ’、ｙ’、ｚ’）とする。ｚ’軸は車載カメラ１の光軸方向、ｘ’軸は車載カメラ１の画像での横方向、ｙ’軸は画像での縦方向、原点はレンズ中心（画像の中心）とする。ここで、ＸＹＺ座標系と、ｘ’ｙ’ｚ’座標系の関係は、次の式（５）により算出される。

ここで、φ’がロール角、θ’がピッチ角、ψ’がヨー角、ｈ’が車載カメラ１の設置高さである。

次に、図１１（ｂ）のカメラ座標系と、図１１（ａ）の画面座標系との関係は、次の式（６）により算出される。
ｘ＝ｆ×Ｘ’／Ｚ’、 ｙ＝ｆ×Ｙ’／Ｚ’・・・（６）
ここで、ｆはカメラの焦点距離である。
以上の式（４）〜（６）により、自車両から代表点Ｋまでの距離Ｄを求めることができる。

代表点Ｋは、その位置情報（緯度・経度）が既知であるので、その位置情報と、上記で求めた距離Ｄとにより、より正確な自車両の位置情報を、カーナビゲーション３上に表示することができる。

前記のように、多種の路面標示５および路側帯を特徴量抽出に活用することで、車両が走行中或いは停車中に、高い頻度でキャリブレーションを行うことができる。

なお、車両の周辺に好適な路面標示５が存在しても、別な理由によりキャリブレーションに適さない状況がある。その場合は、前記したステップＳ３０１にてキャリブレーション実行に適さないと判定し、撮像を禁止する必要がある。以下にその状況と判定の例を示すが、この例に限定するものではない。また以下の状態で撮像を許可しても前記した図３のステップＳ３１１でタイムアウトによる終了が可能なので、以下の全てを厳格に制御する必要性を意味するものでもない。現実的には車載カメラと画像処理装置の性能などに応じて、個別に判定基準を定めることが好ましい。

（１）車両が高速で走行中の場合は、その振動などにより車載カメラ１の光軸が不安定な状態にあったり、画質が悪くなるので、走行速度が一定の範囲を超えたときは、撮像を禁止する。
（２）車両が急加速または急減速のときは、車載カメラ１の光軸が不安定になるので、ジャイロセンサなどの情報を参照し、加速度（減速度）に閾値を設けたり、ドライバがアクセルやブレーキを操作したときに撮像を禁止する。
（３）同乗者または荷物の重量が一定範囲を超えて、車高が下がれば、車載カメラ１の高さも同様に下がる。従って車重または車高を計測できるセンサを備え、キャリブレーションに適した閾値を設定する。
（４）車両の進行方向と道路の方向が平行な関係にないときは、路面標示または路側帯の特徴量を正確に得ることはできないので、ドライバがハンドル操作した時点からハンドルを戻して数秒後までは、キャリブレーションを行わない設定とする。

なお、本発明の実施形態にかかわる車載カメラのキャリブレーション装置は、専用のハードウェアによって実現される他に、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、実行するものであってもよい。なお、コンピュータ読み取り可能な記録媒体は、フレキシブルディスク、ハードディスク、光ディスク等の記録媒体の他に、インターネット等の通信媒体を介してプログラムが転送される場合のように、プログラムを動的に保持するもの、あるいは、そのときのサーバが持つ揮発性メモリのように一定時間プログラムを保持するものも含むものとする。

本発明の実施形態の全体構成の例を示した図である。 本発明の実施形態に係る車載カメラのキャリブレーション装置の詳細を示した図である。 本発明の実施形態において、路面標示を用いてキャリブレーションを行う手順をフローチャートで示した図である。 図３の路面標示検出処理の詳細手順を示したフローチャートである。 図３のカメラパラメータ算出用特徴量抽出の詳細手順を示したフローチャートである。 本発明の実施形態に係る路面標示の特徴点の例を示した図である。 本発明の実施形態に係る路面標示の特徴点から消失線を求める例を示した図である。 本発明の実施形態に係る車載カメラのロール角とピッチ角の算出の例を示した図である。 本発明の実施形態に係る車載カメラのヨー角の算出の例を示した図である。 本発明の実施形態に係る車載カメラの高さの算出の例を示した図である。 本発明の実施形態に係る車載カメラのカメラパラメータから自車両の位置補正の例を示した図である。

符号の説明

１ 車載カメラ
２ 画像処理装置
３ ＩＴＳ（カーナビゲーション装置）
５ 路面標示
ａ、ａ_１、ａ_２、ｂ、ｂ_１、ｂ_２、ｃ、ｃ_１、ｃ_２、ｄ、ｄ_１、ｄ_２ 特徴点
Ｌｖ 消失線

Claims (5)

1. 車載カメラにより路面を撮影して路面標示の画像を検出する路面標示検出部を有する車載カメラのキャリブレーション装置であって、
   路面標示の種別毎に予め定められた特徴点または特徴線に相当する図形的な特徴量の寸法を記憶している記憶装置と、
   前記路面標示検出部により検出された路面標示の画像を画像処理によって認識し、前記認識された路面標示の画像から、図形的な特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部により抽出された前記路面標示の図形的な特徴量から、２組の平行な線分を抽出し、前記抽出した２組の平行な線分を基に、少なくとも２つの消失点を求め、当該２つの消失点および前記記憶装置に記憶されている前記図形的な特徴量の寸法を基に、撮影時における前記車載カメラの設置高および設置角度を含むカメラパラメータを算出するカメラパラメータ算出部と、
   前記カメラパラメータ算出部により算出されるカメラパラメータにより、前記車載カメラの光軸補正制御を行うカメラパラメータ補正部と、
   を備えることを特徴とする車載カメラのキャリブレーション装置。
2. 前記記憶装置には、エリア毎に前記図形的な特徴量の寸法が記憶されており、
   前記カメラパラメータ算出部は、
   前記路面標示がエリアによって寸法または形状が異なる場合に、外部から取得した車両の位置情報に基づいて前記エリアを特定し、該当するエリアにおける前記図形的な特徴量を、前記記憶装置から取得して前記カメラパラメータを算出する
   ことを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
3. 前記カメラパラメータ補正部は、
   自車両が、前記車載カメラのキャリブレーションの実行に適した状態にあるか否かを判定し、前記実行に適した状態にないときに、前記車載カメラの撮像を禁止する
   ことを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
4. 前記カメラパラメータ補正部は、
   更に、あらかじめ記憶装置に記憶された設置高および角度に関する閾値と、前記算出されたカメラパラメータとを比較し、前記カメラパラメータが前記閾値を超えたと判定されたときに、外部にその旨を出力する
   ことを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
5. 車載カメラにより路面を撮影して路面標示の画像を検出する路面標示検出部を有する車載カメラのキャリブレーション装置に用いられるプログラムであって、
   前記路面標示検出部により検出された路面標示の画像を画像処理によって認識し、前記認識された路面標示の画像から、図形的な特徴量を抽出する処理と
   前記抽出された路面標示の図形的な特徴量から、２組の平行な線分を抽出し、前記抽出した２組の平行な線分を基に、少なくとも２つの消失点を求め、当該２つの消失点および前記記憶装置に記憶されている、路面標示の種別毎に予め定められた特徴点または特徴線に相当する図形的な特徴量の寸法を基に、撮影時における前記車載カメラの設置高および設置角度を含むカメラパラメータを算出する処理と、
   前記算出されたカメラパラメータにより、前記車載カメラの光軸補正制御を行う処理と、
   をコンピュータに実行させるプログラム。

Images