JP5883275B2 - 車載カメラのキャリブレーション装置 - Google Patents

Description

この発明の実施形態は、走行中に走行とは逆方向の車載カメラのキャリブレーションを自動的に行う車載カメラのキャリブレーション装置に関する。

従来、自車後方に設置された車載カメラの取り付け高さおよび３軸の取り付け回転角度を自車走行中においてもキャリブレーションする手法が提案されている

特開２００８−０１１１７４号公報

従来の技術は、手動あるいは周期的なタイマーで自動によるキャリブレーション動作が行われる。キャリブレーションのアルゴリズムは、特徴点あるいは特徴線を用いて、既知の路面標識等のデータベースを準備し、実際の画像の特徴点あるいは特徴線を比較して行われる。

しかしながら、キャリブレーション開始は、手動あるいは自動によって行われるため、経時変化にタイムリーに対応できない可能性があるばかりか、監視カメラとしての画像処理とキャリブレーションを同時に行うには、両方を同時に処理できるシステム能力が必要となりコストが増加する、という問題がある。

この実施形態では、走行中に走行とは逆方向の車載カメラの光軸を自動的に補正することのできる車載カメラのキャリブレーション装置を提供する。

実施形態によれば、車両に取り付けられた後方監視カメラと、前記後方監視カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時自動キャリブレーションプログラムメモリと、前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、前記ギヤ位置検出部が後進以外の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行し、前記後方監視カメラの取り付けパラメータを更新する制御部と、を備えた。

また、車両に取り付けられた前方監視カメラと、車両に取り付けられた後方監視カメラと、前記前方監視カメラおよび前記後方監視カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時自動キャリブレーションプログラムメモリと、前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、前記ギヤ位置検出部が前進の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行して、前記後方監視カメラの取り付けパラメータを更新し、前記ギヤ位置検出部が後進の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記前方監視カメラのキャリブレーションを実行して、前記前方監視カメラの取り付けパラメータを更新する制御部と、を備えた。

車載カメラのキャリブレーション装置に関する第１の実施形態について説明するための概念的な回路構成図である。 図１の動作について説明するための説明図である。 車載カメラのキャリブレーション装置に関する第２の実施形態について説明するための概念的な回路構成図である。 図３の動作について説明するための説明図である。

以下、実施形態について、図面を参照しながら詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

（第１の実施形態）
図１および図２は、車載カメラのキャリブレーション装置の第１の実施形態を示す。図１は概念的な回路構成図、図２は図１の動作について説明するための説明図である。

車載カメラが搭載された車両では、製造時にカメラ校正板等による調整マーカーを用いて車載カメラの基準設定からの誤差を校正する車載カメラのキャリブレーションが行われている。具体的には、調整マーカーを画面に表示させるとともに、ジョイスティックの操作に応じて画面内で移動する複数のマーカーを表示させ、画面内で調整マーカーの複数の特定点が複数のマーカーの座標と、複数の特定点の実空間における座標を対応させることにより、車載カメラの設定位置と角度に関する情報を求めるものである。求められた結果は、メモリ等の記憶手段に記憶し、以降記憶されたデータに基づき設置された車載カメラから外部情報を取得している。

このようにして設置された車載カメラは、振動などの原因による経年変化で製造時にキャリブレーションされた取り付けの角度などが変化し、車載カメラが捉えた方向に狂いが生じるということがある。

そこで、この実施形態では、図１に示す回路構成のキャリブレーション装置で、製造時にキャリブレーションされた車載カメラの設置状態が変化する１つのパラメータである角度を、車両走行時にキャリブレーションを図るようにしたものである。

図１のキャリブレーション装置は、車両の後方を監視する後方監視カメラ１１、後方監視カメラ１１で撮像された信号を取り込み処理する制御部１２、後方監視カメラ１１で撮像された映像を映し出すモニター１３、自車のギヤ位置を検出するギヤ位置検出部１４、制御部１２からの制御信号に基づき、後方監視アプリケーションプログラムメモリ１５あるいは走行時自動キャリブレーションプログラムメモリ１６のいずれかを選択するプログラム切換部１７とから構成される。

後方監視カメラ１１により撮像された画像信号は、制御部１２においてプログラムに基づき画像処理を行う。後方監視カメラ１１は、単眼カメラでもよいしステレオカメラでもよい。モニター１３は、図示しない前方監視カメラの表示も兼用してもよい。ギヤ位置検出部１４は、自車のギヤシフト位置を検出してギヤ位置に対応したギヤ位置信号を発生させ、制御部１２にギヤ位置情報を供給する。

制御部１２では、ギヤ位置信号に応じてプログラム切換部１７に切り換え用の制御信号を出力する。プログラム切換部１７には、後方監視アプリケーションプログラムメモリ１５と走行時自動キャリブレーションプログラムメモリ１６を切り換える。後方監視アプリケーションプログラムメモリ１５と走行時自動キャリブレーションプログラムメモリ１６のそれぞれに記憶さたれプログラムは、制御部１２の制御信号に基づき実行される。

走行時、自動的に後方監視カメラ１１のキャリブレーションを実行する走行時自動キャリブレーションプログラムメモリ１６に記憶されたキャリブレーションプログラムとしては、後方監視カメラ１１の車両への取り付けパラメータを算出するものとする。取り付けパラメータの一例としては、水平方向の光学軸の角度である。なお、ここではカメラの焦点距離や歪曲特性等の内部パラメータについて、走行時におけるキャリブレーションからは外して考える。

キャリブレーションの手法は、特に限定しないが走行中に実施可能な手法を用いる。例えば、既知の路面標識等のデータベースを準備し、実際の画像の特徴点あるいは特徴線を比較して外部パラメータのキャリブレーションを行う。また、監視カメラをステレオタイプとし、カメラ間の対応点を求め、これら対応点がエピポーラ面に存在することを利用して外部パラメータのキャリブレーションを行う。

次に、図２のフローチャートを参照し、図１の走行時のキャリブレーションについてさらに説明する。

まず、ステップＳ１において、自車のギヤ位置信号が制御部１２に供給されると、現在のギヤ位置が検出される。次のステップＳ２において、ギヤが後進位置であると判定されると、ステップＳ４に進み、ここで後方監視アプリケーションプログラムメモリ１５に記憶された後方監視プログラムが実行される。

また、ステップＳ２でギヤが後進位置ではないと判定されると、ステップＳ３で後方監視カメラのキャリブレーションプログラムの実行が開始される。ステップＳ２でギヤが後進位置であると判定されると、ステップＳ５においてキャリブレーションプログラム実行が停止される。ステップＳ６でキャリブレーション動作の完了が判定される。完了と判定されるとステップＳ７で走行時自動キャリブレーションプログラムメモリ１６のキャリブレーションプログラムに基づき、記憶されたキャリブレーションデータを更新する。完了と判定されない場合は、ステップＳ８において、走行時自動キャリブレーションプログラムメモリ１６のキャリブレーションプログラムに基づき、記憶された前回のキャリブレーションデータを実行する。

以上の各ステップから、ギヤが後進位置の状態のときには、本来の後方監視動作が行われ、ギヤが後進以外のときには常時外部パラメータのキャリブレーションが行われる。通常の車両利用では、大部分の時間帯は前進走行の状態にあり、後進走行時間の割合は極めて低い。従って、車載カメラでは振動や経年変化あるいは使用状況の変動によって、カメラの取り付け角度が変動する可能性があるが、常時最新の外部パラメータを更新することが可能になる。また、共通の制御部１２を用いて後方監視アプリケーションプログラムメモリ１５と走行時自動キャリブレーションプログラムメモリ１６にそれぞれ記憶されたプログラムをプログラム切換部１７で切り換えるだけなので、走行時自動キャリブレーションプログラムメモリ１６をもつだけでよく少ないコストで実現できる。

この実施形態では、前進時に後方監視カメラの使用状況の変動等、最新の状況におけるキャリブレーションを行うことができる。このキャリブレーションは、プログラムの追加で実現できるため少ないコスト追加で実現することができる。

（第２の実施形態）
図３および図４は、車載カメラのキャリブレーション装置の第２の実施形態を示す。図３は概念的な回路構成図、図４は図３の動作について説明するための説明図である。

この実施形態は、前進時の後方監視カメラのキャリブレーションに加え、後進時の前方監視カメラのキャリブレーション機能を持たせたものである。

すなわち、車両の前方を監視する前方監視カメラ３１で撮像された画像を制御部１２に供給し、前方監視アプリケーションプログラムメモリ３２の前方監視アプリケーションプログラムをプログラム切換部１７に供給する。そしてプログラム切換部１７では、制御部１２からの制御信号に基づき、前方監視アプリケーションプログラムメモリ３２、後方監視アプリケーションプログラムメモリ１５、走行時自動キャリブレーションプログラムメモリ１６にそれぞれ記憶さたれプログラムのいずれかを選択的に出力するようにしている。

次に、図４のフローチャートを参照し、図３の走行時のキャリブレーションについて説明する。図４では、ギヤの位置が前進でない場合のキャリブレーション実行のフローチャートを示し、ギヤが後進でない場合の同説明は省略する。

まず、ステップＳ１において、自車のギヤ位置信号が制御部１２に供給されると、現在のギヤ位置が検出される。次のステップＳ２において、ギヤ前進位置であると判定されると、ステップＳ３に進み、ここで前方監視アプリケーションプログラムメモリ３２に記憶された前方監視プログラムが実行される。

また、ステップＳ２でギヤが前進位置ではないと判定されると、ステップＳ４でキャリブレーションプログラムの実行が開始される。ステップＳ２でギヤが前進位置である判定されると、ステップＳ５においてキャリブレーションプログラム実行が停止される。ステップＳ６でキャリブレーション動作の完了が判定される。完了と判定されるとステップＳ７で走行時自動キャリブレーションプログラムメモリ１６に記憶されたキャリブレーションデータを更新する。完了と判定されない場合は、ステップＳ８において、走行時自動キャリブレーションプログラムメモリ１６のキャリブレーションプログラムに基づき前回記憶されたキャリブレーションデータを実行する。

なお、ステップＳ３において前方監視カメラ３１による前方監視開始は、ギヤのシフト位置がニュートラルにある場合でも前方監視の状態に設定してもよい。

この実施形態では、前進時に後方監視カメラおよび後進時に前方監視カメラの使用状況の変動等、最新の状況におけるキャリブレーションを行うことが可能となる。このキャリブレーションは、プログラムの追加で実現できるため少ないコスト追加で実現することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ 後方監視カメラ
１２ 制御部
１３ モニター
１４ ギヤ位置検出部
１５ 後方監視アプリケーションプログラムメモリ
１６ 走行時自動キャリブレーションプログラムメモリ
１７ プログラム切換部
３１ 前方監視カメラ
３２ 前方監視アプリケーションプログラムメモリ

Claims (2)

1. 車両に取り付けられた後方監視カメラと、
   前記後方監視カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時自動キャリブレーションプログラムメモリと、
   前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、
   前記ギヤ位置検出部が後進以外の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行し、前記後方監視カメラの取り付けパラメータを更新する制御部と、を備えた車載カメラのキャリブレーション装置。
2. 車両に取り付けられた前方監視カメラと、
   車両に取り付けられた後方監視カメラと、
   前記前方監視カメラおよび前記後方監視カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時自動キャリブレーションプログラムメモリと、
   前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、
   前記ギヤ位置検出部が前進の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行して、前記後方監視カメラの取り付けパラメータを更新し、前記ギヤ位置検出部が後進の位置信号を検出した場合は、前記走行時自動キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記前方監視カメラのキャリブレーションを実行して、前記前方監視カメラの取り付けパラメータを更新する制御部と、を備えた車載カメラのキャリブレーション装置。

Images