JP7641881B2 - 走行路推定装置、走行路推定プログラム - Google Patents

Description

本発明は、車両の走行時の走行路の曲率等を推定する走行路推定装置、走行路推定プログラムに関する。

従来、車両の走行時の走行路の曲率等を推定する走行路推定技術では、白線（レーンマーク）等の車線境界を抽出対象として、車両前方を撮影するカメラで撮影した画像から当該抽出対象を抽出し、走行路の曲率等のモデルパラメータを推定する。

推定値は、走行路推定の後段の車両認識や車両制御に送出され、自動追従制御や自動運転制御等に利用される。

ここで、例えば、走行路の曲率等を推定するのに抽出対象（白線等）を認識する距離が重要であるが、当該距離が不十分の場合、推定誤差の分散が増大し、推定値が不安定になる場合がある。言い換えれば、認識距離に比例して推定値精度が向上する。このため、抽出対象の認識距離が短い状況下では、推定値を利用する車両制御の精度が低下することになる。

なお、抽出対象の認識距離が短い状況下の例として、前方を走行している車両によって白線が遮られる、及び、走行路面に勾配変化がある、等が挙げられる。

特許文献１には、走行路前方の画像情報を検出することが困難な場合でも、路面上の当該車両の位置を認識することの出来る車両用走行路認識装置が記載されている。

特許文献１では、車両の走行方向前方の道路画像を撮像する前方画像入力手段と、走行方向後方の道路画像を撮像する後方画像入力手段と、上記前方画像のコントラストを求めるコントラスト検出手段と、通常走行時は前方画像入力手段の画像情報を選択し、前方画像のコントラストが所定値より小さいときには後方画像入力手段の画像情報を選択する選択手段と、選択手段で選択された画像情報に基づいて走行路を認識する走行路認識手段と、を備え、前方の画像情報が得にくい場合には、車両後方の画像データから走行路における車両の位置を認識する構成となっている。

特許文献２には、走行路区分線を認識する撮像手段と、道路データ記憶手段と、自車旋回状態を検出する検出手段と、測位用衛星の受信手段と、撮像手段の撮影結果により走行路の曲率を求める第１の曲率算出手段と、撮像手段による走行路区分線の認識状態を判断する区分線認識状態判別手段と、道路データにより走行路の曲率を算出する第２の曲率算出手段と、受信手段の受信状態の良否を判定する受信状態判定手段と、検出手段の検出結果により走行路の曲率を推定する第３の曲率算出手段と、第１、第２、第３の曲率算出手段を区分線認識状態判別手段と受信状態判定手段の出力結果を統合して走行路の曲率融合データを算出する第４の曲率算出手段を備えることが記載されている。

特許文献２では、複数種類の曲率データ算出法を併用し、信頼性がしきい値よりも低いものは使用しないというものである。

特許文献３には、先行車両の蛇行の影響や走行車線の認識不安定による影響を低減して安定した追従走行制御を実現するために、経路出力部は、白線を安定的に検出できず、先行車両登録部で先行車両として登録された車両があり、且つ並走車両登録部で並走車両として登録された車両がある場合、軌跡検出部で検出した先行車両の軌跡の経路成分と並走車両の軌跡の経路成分とを、軌跡毎の重みを付けて統合し、統合経路を生成し、この統合経路を目標経路として制御部に出力すると共に、制御部で、自車両の車幅方向の中心位置が目標経路上の制御目標点に一致するように、操舵制御装置を介して現在の操舵角を修正し、目標経路への追従走行を制御することで、先行車両の蛇行の影響や走行車線の認識不安定による影響を低減して安定した追従走行制御を実現することが記載されている。

特開平０５－２０５１９６号公報 特開２００１－２９６１３８号公報 特開２０１８－０３９２８５号公報

しかしながら、特許文献１では、車両前方を撮影するカメラ以外に、追加で車両後方を撮影するカメラが必要である。また、車両後方にも追従車両が存在して、車両後方の白線等が充分に撮影できない場合もあり得るため、車両前方を撮影するカメラと、車両後方を撮影するカメラとの切り替えでは、状況（車両後方の交通状況等）によっては、推定誤差の分散増大を確実に抑制することができない。

また、特許文献２では、カメラに撮影情報の代替となる地図情報が必須となり、かつ、車両の走行環境によっては、ＧＰＳの測位結果が得られず、地図情報が使えない場合がある。

さらに、特許文献３では、自車に対する先行車又は並走車のどちらかが必ず、自車の走行車線に沿って走行している条件が必要となるが、先行車及び並走車は、コントロールできない外部情報源であるため、必ずしも、当該条件が常時満足できるものではない

すなわち、特許文献１～特許文献３を含む従来技術では、車両前方を撮影するカメラ単独で撮影した前方路面情報量が、車両の予測走行路の認識のための情報量として不足すると、車両の予測走行路の認識に、推定誤差の分散の増大を招くことになる。

本発明は、前方カメラで撮影した前方路面情報量が、車両の予測走行路の認識のための情報量として不足している場合でも、推定誤差の分散の増大を抑制することができる走行路推定装置、走行路推定プログラムを得ることが目的である。

本発明に係る走行路推定装置は、車両が走行するときの前方路面画像、車両速度、及びヨーレイトを含む車両走行情報を取得する取得部と、前記車両の走行に応じて、少なくとも前記取得部で逐次取得した前記車両走行情報を変数とし、前記車両が走行し得る走行路に関する予測走行路情報を認識する認識部と、前記認識部で認識した前記予測走行路情報を、前記車両の走行に基づく所定の走行路区間毎に更新しながら、履歴情報として記憶する記憶部とを有し、前記認識部は、前記予測走行路情報を認識する場合に、前記記憶部に記憶された前記履歴情報を前記変数に追加する、ことを特徴としている。

本発明によれば、取得部は、車両が走行するときの前方路面画像、車両速度、及びヨーレイトを含む車両走行情報を取得する。

認識部では、車両の走行に応じて、少なくとも取得部で逐次取得した車両走行情報を変数とし、車両が走行し得る走行路に関する予測走行路情報を認識する。

記憶部は、認識部で認識した予測走行路情報を、車両の走行に基づく所定の走行路区間毎に更新しながら、履歴情報として記憶する。

ここで、本発明の認識部は、予測走行路情報を認識する場合に、記憶部に記憶された履歴情報を前記変数に追加する。

これにより、前方カメラで撮影した前方路面画像情報量が、車両の予測走行路の認識のための情報量として不足している場合でも、推定誤差の分散の増大を抑制することができる。

本発明に係る走行路推定装置は、車両が走行するときの前方路面画像、車両速度、及びヨーレイトを含む車両走行情報を取得する取得部と、前記車両の走行に応じて、少なくとも前記取得部で逐次取得した前記車両走行情報を変数とし、前記車両が走行し得る走行路に関する予測走行路情報を認識する認識部と、前記認識部で認識した前記予測走行路情報を、前記車両の走行に基づく所定の走行路区間毎に更新しながら、履歴情報として記憶する記憶部とを有し、前記認識部は、前記取得部で取得した前記前方路面画像の情報量が所定情報量に満たない場合に、前記記憶部に記憶された前記履歴情報を、前記変数に追加する、ことを特徴としている。

本発明によれば、取得部は、車両が走行するときの前方路面画像、車両速度、及びヨーレイトを含む車両走行情報を取得する。

認識部では、車両の走行に応じて、少なくとも取得部で逐次取得した車両走行情報を変数とし、車両が走行し得る走行路に関する予測走行路情報を認識する。

記憶部は、認識部で認識した予測走行路情報を、車両の走行に基づく所定の走行路区間毎に更新しながら、履歴情報として記憶する。

ここで、本発明の認識部は、取得部で取得した前方路面画像の情報量が所定情報量に満たない場合に、記憶部に記憶された履歴情報を、変数に追加する。

これにより、前方カメラで撮影した前方路面画像情報量が、車両の予測走行路の認識のための情報量として不足している場合でも、推定誤差の分散の増大を抑制することができる。

本発明において、前記取得部で取得し得る前方路面画像の認識距離の増加に比例して、前記認識部で認識する前記予測走行路情報の誤差が減少する特性を用い、前記所定情報量を設定する、ことを特徴としている。

これにより、予測走行路情報の情報量を必要十分な情報量とすることができる。

本発明において、前記取得部が、路面からの高さ及び俯角が既知の状態で走行方向前向きに設置された前方カメラから前記前方路面画像を取得し、前記車両に既設の車速センサ及びヨーレイトセンサから、車載ネットワークを介して、前記車両速度及び前記ヨーレイトを取得する、ことを特徴としている。

これにより、必要最小限のデバイスで、推定誤差の分散の増大を抑制することができる。

本発明において、前記履歴情報として前記記憶部に記憶する予測走行路情報が、車両が走行する車線の中心点、車線境界点座標、走行軌跡の何れか１つを含む、ことを特徴としている。

これにより、履歴情報を必要に応じて選択することができる。

本発明において、前記認識部で認識した前記予測走行路情報を、前記車両の走行を制御する制御部へ通知する、ことを特徴としている。

これにより、予測走行路情報を、自動運転制御の運転支援等に適用することができる。

本発明において、前記認識部が、前記前方路面画像から車線境界領域情報を抽出する抽出部と、前記抽出部で抽出した前記車線境界領域情報及び前記記憶部に記憶された前記履歴情報の少なくとも何れか一方と、前記車両速度と、前記ヨーレイトとを、予め定めた走行路モデルにフィッティングするモデルフィッティング部と、を備え、前記モデルフィッティング部でフィッティングし得る前記走行路の曲率の推定値を前記予測走行路情報として認識する、ことを特徴としている。

抽出部では、前方路面画像から車線境界領域情報を抽出する。モデルフィッティング部では、抽出部で抽出した車線境界領域情報及び記憶部に記憶された履歴情報の少なくとも何れか一方と、車両速度と、ヨーレイトとを、予め定めた走行路モデルにフィッティングする。

モデルフィッティング部でフィッティングし得る走行路の曲率の推定値を予測走行路情報として認識することができる。

本発明において、前記車両に既設のヨーレイトセンサから車載ネットワークを介してヨーレイトを取得した場合に、取得した前記ヨーレイトの絶対値が設定値よりも小さいとき、前記モデルフィッティング部で推定したヨー角の時間変化分からヨーレイトを計算してヨーレイト値を置換する、ことを特徴としている。画像による走路推定と矛盾しないヨーレイト値を推定できる。
本発明に係る走行路推定プログラムは、コンピュータを、上記走行路推定装置の前記取得部、前記認識部及び前記記憶部として動作させる、ことを特徴としている。

以上説明した如く、本発明では、前方カメラで撮影した前方路面画像情報量が、車両の予測走行路の認識のための情報量として不足している場合でも、推定誤差の分散の増大を抑制することができる。

（Ａ）は本実施の形態に係る走行路推定装置が搭載された車両の平面図、（Ｂ）は走行路推定装置の制御ブロック図である。 本実施の形態に係る走行路推定装置で走行路推定を実行するための機能ブロック図である。 車両を平面視したときの車両前方の認識距離－認識誤差特性図であり、（Ａ）は認識距離が相対的に短い場合、（Ｂ）は認識距離が相対的に長い場合を示す。 車両において推定に利用可能な範囲（認識距離）を示す平面図であり、（Ａ）は履歴情報を利用した場合、（Ｂ）は履歴情報を利用しない場合を示す。 履歴情報記憶部における更新時期を決定するための車速－更新記憶距離特性図である。 （Ａ）は本実施の形態に係る走行路推定装置の車線境界抽出部で実行される車線抽出処理ルーチンを示す制御フローチャート、（Ｂ）は本実施の形態に係る走行路推定装置のモデルフィッティング部で実行されるモデルフィッティング（走行路推定）処理ルーチンを示す制御フローチャート、（Ｃ）は予測走行路情報更新ルーチンを示す制御フローチャートである。 変形例に係る走行路推定装置のモデルフィッティング部で実行されるモデルフィッティング（走行路推定）処理ルーチンを示す制御フローチャートである。

図１（Ａ）には、本実施の形態に係る走行路推定装置１０が搭載された、車両１２の平面図である。

走行路推定装置１０には、車両１２の前方を撮影する前方カメラ１４が接続されている。走行路推定装置１０では、前方カメラ１４で撮影した車両１２の前方画像（すなわち、車両１２の前進時に、これから進行する方向の画像）に基づいて、最適な走行路を推定する（詳細後述）。なお、以下において、推定した走行路を、「予測走行路」という。

車両１２には、車両制御装置１６が設置されている。車両制御装置１６は、車両１２の走行に関する情報の集約、走行のための駆動系統（エンジン制御等）及び電気系統（各部の状態検出センサによる故障診断等）を含む制御を実行する。併せて、車両制御装置１６は、必要に応じて自動運転制御の一部又は全部の運転支援を実行する。

車両制御装置１６には、車両の速度を検出する車速センサ１８が接続されている。また、車両制御装置１６には、車両のヨーレイトを検出するヨーレイトセンサ２０が接続されている。

なお、上記車速センサ１８及びヨーレイトセンサ２０は、前方カメラ１４に加えて、本発明の走行路推定を実施するに際し、必要最小限のデバイスであり、例えば、エンジン回転数センサ、燃料計、電圧計、及びＧＰＳ（Global Positioning System）等、既設の車両走行情報を検出するデバイス等の存在を否定するものではない。また、自動運転制御のために、車両制御装置１６には、車両１２の周囲（左右、後方等）を検出するカメラや、複数のミリ波レーダ及びＬｉＤＡＲ（Light Detection and Ranging）を備えたレーダ群（図示省略）を備える場合がある。

図１（Ｂ）は、本実施の形態に係る走行路推定装置１０を中心とした、走行路推定のため制御ブロック図である。

走行路推定装置１０は、マイクロコンピュータ２２を有している。マイクロコンピュータ２２は、ＣＰＵ２２Ａ、ＲＡＭ２２Ｂ、ＲＯＭ２２Ｃ、入出力部２２Ｄ（以下、Ｉ／Ｏ２２Ｄという）、及びこれらを接続するデータバスやコントロールバス等のバス２２Ｅを備えている。また、走行路推定装置１０は、記憶装置２４を備えており、後述する、履歴情報記憶部３４及び前方カメラ設置情報格納部３６として機能する。

なお、ＣＰＵ２２Ａは、シングルコアに限らず、処理速度を確保するために、デュアルコア等としてもよい。

Ｉ／Ｏ２２Ｄには、Ｉ／Ｆ２６を介して、車両制御装置１６が接続されている。

車両制御装置１６には、車速センサ１８及びヨーレイトセンサ２０が接続されている。車速センサ１８で検出した車両速度情報及びヨーレイトセンサ２０で検出したヨーレイト情報は、車両制御装置１６のＣＡＮ（Controller Area Network）１６Ａによって、走行路推定装置１０へ送出される。

また、走行路推定装置１０で得た予測走行路情報は、Ｉ／Ｆ２６を介して車両制御装置１６へ送出されることで、車両１２の自動運転制御のための運転支援情報として機能する。

図２は、図１（Ｂ）の走行路推定装置１０で実行される走行路推定のための機能ブロック図である。図２に示す各機能は、マイクロコンピュータ２２に記憶された走行路推定プログラムに従い動作する。

なお、図２に示す一部の機能（例えば、後述する車線境界抽出部３０及びモデルフィッティング部３２等）は、それぞれ、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）等のＩＣデバイスとして構成し、各機能が独立してプログラム処理を実行するようにしてもよい。

図２に示される如く、走行路推定装置１０は、車両走行情報取得部２８を備える。車両走行情報取得部２８では、前方カメラ１４から車両１２の前方画像情報を取得する。また、車両走行情報取得部２８は、車速センサ１８及びヨーレイトセンサ２０から車両制御装置１６を介して、車速情報及びヨーレイト情報を取得する。

車両走行情報取得部２８は、車線境界抽出部３０、モデルフィッティング部３２、及び履歴情報記憶部３４に接続されている。

車線境界抽出部３０には、車両走行情報取得部２８から前方画像情報が送出される。また、車線境界抽出部３０は、前方カメラ設置情報格納部３６が接続されている。

前方カメラ設置情報格納部３６には、車両１２に設置された前方カメラ１４の設置環境情報（路面からの高さ、路面に対する俯角等）が予め格納されている。当然、前方カメラ１４が取り替えられる場合は、情報は更新される。

車線境界抽出部３０では、前方カメラ設置情報格納部３６から設置環境情報を取得すると共に、車両１２が走行する車線の境界（一般的には、白線）を抽出する時期になると、予めプログラミングされた車線境界抽出処理を用いて、車線の境界を抽出する。

車線境界抽出処理の具体例としては、以下の３種類（車線境界抽出処理１～車線境界抽出処理３）が考え得る。

（車線境界抽出処理１） 車線境界抽出処理１は、Sobelフィルタ等のエッジ抽出フィルタを用いた車線境界抽出である。

エッジ抽出フィルタとは、例えば、カーネル（３×３）において、注目箇所である中央の画素の前後の輝度の差を強調する係数を求める手法である。

Sobelフィルタでは、画像の平均化を行いながらエッジ強調を行うフィルタ処理で、ノイズを低減しながらエッジを強調することができる。

（車線境界抽出処理２） 車線境界抽出処理２は、ハフ変換による車線境界抽出である。

ハフ変換は、画像や点の集合の中から、直線や円など特定のパターンを検出する手法である。

（車線境界抽出処理３） 車線境界抽出処理３は、深層学習による特徴点学習を用いた車線境界抽出である。

機械学習を使った画像認識におけるデファクトスタンダードである畳み込みニューラルネットワーク(ConvNet「Convolutional Neural Network」)を利用し、画像のクラス分類問題に帰着させる技術を車線境界抽出に適用する。

なお、本実施の形態の車線境界抽出部３０として、上記３種類の車線境界抽出処理１～３の何れを適用してもよいし、他の車線境界抽出処理であってもよい。

車線境界抽出部３０で抽出した車線境界情報は、モデルフィッティング部３２へ送出される。

モデルフィッティング部３２には、車両走行情報取得部２８から車速情報及びヨーレイト情報が送出される。

モデルフィッティング部３２では、車線境界抽出部３０から車線境界情報を取得すると（すなわち、車線境界情報が更新されると）、予測走行路を推定するためのモデルフィッティング処理が実行される。

モデルフィッティング処理の具体例としては、以下の４種類（モデルフィッティング処理１～モデルフィッティング処理４）が考え得る。

（モデルフィッティング処理１） モデルフィッティング処理１は、最小二乗法に基づく処理である。すなわち、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にすることで、最も確からしい関係式を求め、走行路を推定することで予測走行路情報を得る。

（モデルフィッティング処理２） モデルフィッティング処理２は、ＲＡＮＳＡＣ（Random Sample Consensus）による走行路の推定である。その手順は以下の通りである。

手順１ データをランダムにサンプリングする（非復元抽出）。
手順２ モデルを学習する。
手順３ 全てのデータに対して誤差を計算する。
手順４ 手順３で求めた誤差から正常値と外れ値を決める。
手順５ 正常値のみでモデルの性能を評価する。
手順６ 既定回数に達したら終了。そうでなければ手順１に戻る。
手順７ これを既定回数繰り返して、一番モデルの性能がよかったものを選ぶ。

（モデルフィッティング処理３） モデルフィッティング処理３は、拡張カルマンフィルタによる走行路の推定を実行することで予測走行路情報を得る。

拡張カルマンフィルタは、線形カルマンフィルタを非線形モデルに適用できるよう拡張したフィルタであり、以下の計算式（１）で走行路の推定が可能である。

補正後の状態＝補正前の状態＋カルマンゲイン×（本物の観測値－予測された観測値）・・・（１）

（モデルフィッティング処理４） モデルフィッティング処理４は、パーティクルフィルタによる走行路の推定をすることで予測走行路情報を得る。

パーティクルフィルタでは、複数の粒子にノイズを加えながら観測データとモデルを元に内部状態を推定していく。本実施の形態における走行路の推定のような、非線形なモデルに対しても適用できる。なお、粒子の数だけ精度はよくなるが、計算量もその分増えるため、処理能力を考慮する必要がある。

モデルフィッティング部３２で推定した予測走行路情報は、車両制御装置１６へ送出され、運転支援等に利用される。

ところで、上記車線境界抽出部３０及びモデルフィッティング部３２の処理は、公知の予測走行路推定技術である。

この公知の予測走行路推定技術では、車線境界抽出部３０において、充分な情報量があることを前提としている。言い換えれば、走行路の曲率等を推定するのに白線を認識する距離が重要であるが、当該距離が、前方を走行する車両によって遮られ、白線の距離を十分に得られない場合、推定誤差の分散が増大し、推定値が不安定になる。すなわち、認識距離に比例して推定値精度が向上する。このため、抽出対象の認識距離が短い状況下では、推定値を利用する車両制御の精度が低下することになる。

図３は、この認識距離と推定値精度との関係を示す特性図である。

図３（Ａ）及び（Ｂ）は、認識誤差が同一であり、認識距離が異なる状況を示している。図３（Ａ）は認識距離が不十分の場合であり、図３（Ｂ）は認識距離が十分の場合である。

認識誤差が同一であるため、θ＝ｔａｎ^－１（認識誤差／認識距離）で得られるθ値で推定値精度を比較することができる（図３（Ａ）及び（Ｂ）の矩形斜線領域縦横比）。

図３（Ａ）のθ値（θ１）と、図３（Ｂ）のθ値（θ２）を比較すると、θ１＞θ２であり、認識距離が長ければ長いほど、認識誤差を小さくすることができることがわかる。

図３（Ａ）のθ値（θ１）と、図３（Ｂ）のθ値（θ２）を比較すると、θ１＞θ２であり、認識距離が長ければ長いほど、推定誤差を小さくすることができることがわかる。

すなわち、図２に示される如く、モデルフィッティング部３２には、履歴情報記憶部３４が接続されている。

モデルフィッティング部３２で推定した予測走行路情報は、車両制御装置１６へ送出される（前述）と共に、履歴情報記憶部３４に履歴情報として送出される。

履歴情報記憶部３４に記憶された履歴情報（予測走行路情報）は、次の走行路の推定のときに読み出され、前方カメラ１４で撮影した画像情報から走行路を推定するときに適用されることになる。

図４は、履歴情報記憶部３４に記憶された履歴情報を用いた場合（図４（Ａ）参照）と、履歴情報を用いない場合（図４（Ｂ）参照）と、が示されている。

図４（Ａ）及び（Ｂ）共に、車両１２に搭載された前方カメラ１４で撮影し得る画像認識範囲（図４（Ａ）及び（Ｂ）の車線部分参照）は同一である。

ここで、図４（Ａ）では、車両１２が今までに走行してきて走行路において、履歴情報が記憶されている（図４（Ａ）の点線Ａ参照）。なお、図４（Ａ）では、履歴情報として車両１２が走行する車線の中心点の履歴が適用されている。

図４（Ｂ）では、モデルフィッティング部３２での推定に利用可能な範囲（認識距離)が、画像認識範囲の距離となる。

これに対して、図４（Ａ）では、モデルフィッティング部３２での推定に利用可能な範囲（認識距離)が、画像認識範囲の距離に、この履歴情報の距離を加えた距離となる。

認識距離が長ければ長いほど、認識誤差を小さくすることができるのは、図３で示したとおりである。

（履歴情報の更新）
ところで、履歴情報記憶部３４には、車両１２の走行距離に応じて、所謂先入れ先出しの形態で、履歴情報が更新記憶される。

なお、更新記憶される距離は、車両１２の走行時の速度（車速）によって変更してもよい。

一例として、図５に示される如く、相対的に車速が遅い場合（図５では、４０ｋｍ／ｈ）は、車両１２は蛇行する可能性が高く、予測走行路情報の変化が大きいので、相対的に短い距離で更新記憶を実行する。

一方、一例として、相対的に車速が速い場合（図５では、１００ｋｍ／ｈ）は、車両１２は高速道路等を走行し、直進性が高く、予測走行路情報の変化が小さいので、相対的に長い距離で更新記憶を実行する。

図５に示す車速－更新記憶距離特性は一例であり、予測走行路情報の変化が小さければ更新記憶を遅延させ、変化が大きければ早める制御であれば、車両１２毎に過去の走行履歴を学習して、当該車両１２の更新記憶距離を決めるようにしてもよい。

モデルフィッティング部３２では、前述したモデルフィッティング処理１～モデルフィッティング処理４の何れの実行時においても、履歴情報記憶部３４から最新の履歴情報を読み出し、予測走行路推定を実行する。

以下に本実施の形態の作用を、図６のフローチャートに従い説明する。図６（Ａ）～（Ｃ）の各フローチャートは、実装時の車両１２の走行時の運転支援を考慮して、それぞれ独立した処理（並行処理）であることが好ましいが、順次処理、並行処理の選択は、本発明の作用効果に影響を及ぼすものではない。

図６（Ａ）は、本実施の形態に係る走行路推定装置１０の車線境界抽出部３０で実行される車線抽出処理ルーチンを示す制御フローチャートである。

ステップ１００では、初期設定として前方カメラ１４の設置状態（路面からの高さ、路面に対する俯角等）の情報を読み出し、次いで、ステップ１０２へ移行して車線抽出時期か否かを判断する。車線抽出時期は、基本的には車両１２の走行に応じてリアルタイムに実行すればよいが、例えば、直線が続く高速道路を走行していることが認識できれば、車線抽出時期を遅延させてもよい。

このステップ１０２で否定判定された場合は、ステップ１１０へ移行する。また、ステップ１０２で肯定判定された場合は、ステップ１０４へ移行して、前方カメラ１４で撮影した、前方路面画像を取得し、ステップ１０６へ移行する。

ステップ１０６では、車線抽出処理を実行する。車線抽出処理は、前述した車線境界抽出処理１～車線境界抽出処理３の何れかが適用可能である。実装において、何れか１つの処理プログラムに限定してもよいし、複数の処理プログラムを記憶しておき、選択するようにしてもよい。

ステップ１０６において車線の抽出が完了すると、ステップ１０８へ移行して、車線抽出情報を最新情報に更新して格納し、ステップ１１０へ移行する。このステップ１１０へは、前記ステップ１０２の否定判定で移行する場合がある。

ステップ１１０では、走行路推定処理を終了するか否かを判断し、否定判定された場合は、ステップ１０２へ戻り、上記工程を繰り返す。また、ステップ１１０で肯定判定された場合は、このルーチンは終了する。走行路推定処理の終了は、例えば、イグニッションキーと連動し、車両１２の走行が終了したときと同期させてもよい。

図６（Ｂ）は、本実施の形態に係る走行路推定装置１０のモデルフィッティング部３２で実行されるモデルフィッティング（走行路推定）処理ルーチンを示す制御フローチャートである。

ステップ１２０では、走行路推定時期か否かを判断する。走行路推定時期は、基本的には車両１２の走行に応じてリアルタイムに実行すればよいが、例えば、直線が続く高速道路を走行していることが認識できれば、走行路推定時期を遅延させてもよい。

このステップ１２０で否定判定された場合は、ステップ１３４へ移行する。また、ステップ１２０で肯定判定された場合は、ステップ１２２へ移行して、車線抽出情報を読み出し、次いで、ステップ１２４へ移行して、履歴情報記憶部３４に記憶された予測走行路情報を読み出して、ステップ１２６へ移行する。

ステップ１２６では、モデルフィッティング処理を実行する。モデルフィッティング処理は、前述したモデルフィッティング処理１～モデルフィッティング処理４の何れかが適用可能である。実装において、何れか１つの処理プログラムに限定してもよいし、複数の処理プログラムを記憶しておき、選択するようにしてもよい。

ステップ１２６においてモデルフィッティング処理が完了すると、ステップ１２８へ移行して、モデルフィッティング処理に基づく予測走行路を認識し、ステップ１３０へ移行する。

ステップ１３０では、予測走行路情報を車両制御装置１６へ送出する。車両制御装置１６では、この予測走行路情報を利用して、車両１２の自動運転制御の運転支援等を実行する。

次のステップ１３２では、予測走行路情報を履歴情報として履歴情報記憶部３４に記憶し、ステップ１３４へ移行する。このステップ１３４へは、前記ステップ１２０の否定判定で移行する場合がある。

ステップ１３４では、走行路推定処理を終了するか否かを判断し、否定判定された場合は、ステップ１２０へ戻り、上記工程を繰り返す。また、ステップ１３４で肯定判定された場合は、このルーチンは終了する。予測走行路推定処理の終了は、例えば、イグニッションキーと連動し、車両１２の走行が終了したときと同期させてもよい。

図６（Ｃ）は、履歴情報記憶部３４における予測走行路情報更新ルーチンを示す制御フローチャートである。

ステップ１４０では、図５の特性図で決定した所定距離を走行したか否かを判断し、否定判定された場合は、このルーチンは終了する。また、ステップ１４０で肯定判定されると、ステップ１４２へ移行して、履歴情報記憶部３４に記憶している履歴情報（予測走行路情報）の更新（所謂先入れ先出し）を実行し、このルーチンは終了する。

以上説明したように本実施の形態では、公知の予測走行路推定技術の課題として、前方車両に存在等によって認識距離が十分にとれないことを想定し、現時点に到達するまでに用いた予測走行路情報を履歴情報として記憶しておき、この履歴情報をこれからの予測走行路推定のための補完としても用いるようにした。モデルフィッティング部３２で推定した予測走行路情報は、履歴情報記憶部３４に履歴情報として送出され、次の走行路の推定のときに読み出され、前方カメラ１４で撮影した画像情報から走行路を推定するときに適用される。これにより、前方カメラ１４で撮影した前方路面情報量が、車両１２の予測走行路の認識のための情報量として不足している場合でも、推定誤差の分散の増大を抑制することができる。

（履歴情報を車両１２が走行する車線の中心点とした根拠）
予測走行路の推定は、白線（レーンマーク）を観測できて、白線上の左右対応点（の接線）が並行であることを仮定して姿勢角（ピッチ角、ヨー角）を推定する。そのため、白線が破線等で途切れていて片側の白線しか観測できない状態でピッチング変動を重畳すると、ピッチ角推定値・ヨー角推定値に誤差が発生し、ヨー角と相関が大きい曲率推定値にも誤差が発生する。

一方、車両１２が走行する車線の中心点の横位置（オフセット）推定値は、車線中心付近を走行中であれば、車線中心線の画像上の傾きは微小なので、比較的ピッチング変動にはロバストであると考えられる。本実施の形態では、ロバスト性向上のために、この車両１２が走行する車線の中心点に着目して、履歴情報として記憶するようにした。

（変形例１「他の履歴情報」）
なお、本実施の形態では、履歴情報として、車両１２が走行する車線の中心点としたが、車線境界点座標、走行軌跡等、他の履歴情報であってもよい。

例えば、履歴情報記憶部３４に記憶する履歴情報として、車線境界点を車両座標系に投影した点の座標値を履歴情報記憶部３４に記憶してもよい。この場合、遠方の白線点は位置精度が低くなるので、観測範囲内の最近傍端付近に入った車線境界点の投影点を記憶する。

また、走行状態として車線中心付近を走路に沿って定常走行する自動走行や自動操舵を前提に考えると、車両１２が走行する車線の中心点の軌跡と、車速情報とヨーレイト情報から単純に積分して得られた走行軌跡は、走路形状としては一致すると考えられる。そこで、自動走行や自動操舵の場合は、車両１２の走行中心点の代わりに走行軌跡を履歴情報記憶部３４に記憶してもよい。

（変形例２「履歴情報の最適化」）
車両１２上に設定した車両座標系上では、履歴情報記憶部３４に記憶した車両１２が走行する車線の中心点は、車両１２の並進回転移動に応じて座標変換して更新していく必要がある。

この座標変換のための計算には、時々刻々の車速情報とヨーレイト情報を利用する。

しかし、一般に、ヨーレイトセンサ２０の出力値には、分解能による誤差やドリフトによるオフセット誤差があるため、それが座標変換時に履歴点の座標値の誤差に積算され、それをサンプルしてモデルフィッティング部３２の走行路推定に入力した場合の推定誤差となってしまう場合がある。

そこで、モデルフィッティング部３２において、画像による走路推定と矛盾しないヨーレイト値を推定しておいて、そのヨーレイト推定値を履歴情報記憶部３４の座標変換で使用することにより、履歴点の座標変換誤差を改善することができる。一例としては、ヨーレイトセンサ２０の出力値の絶対値が予め設定した設定値よりも小さい場合に、モデルフィッティング部３２の画像による走路推定から得られたヨー角推定値の時間変化分からヨーレイト値を計算して履歴情報記憶部３４の座標変換で使用する。

（変形例３「履歴情報の利用形態」）
図７は、変形例に係る走行路推定装置１０のモデルフィッティング部で実行されるモデルフィッティング（走行路推定）処理ルーチンを示す制御フローチャートである。図５（Ｂ）と同一処理については、同一の符号を付して、当該ステップの処理の説明を省略する。

本実施の形態では、モデルフィッティング部３２による予測走行路情報の推定に際し、常に、履歴情報記憶部３４から最新の履歴情報を読み出して補完するようにしたが、ステップ１２２とステップ１２４との間に、ステップ１２３を追加することにより、予め情報量（認識距離）にしきい値を設定し、当該しきい値以下の場合に、履歴情報を用いるようにしてもよい。

すなわち、ステップ１２３では、情報量がしきい値以下か否かを判断し、肯定判定された場合は、図６（Ｂ）と同様にステップ１２４の処理（予測走行路情報の読出し）を実行する。また、ステップ１２３で否定判定された場合は、ステップ１２４の処理をスキップして、ステップ１２６へ移行する。

１０ 走行路推定装置
１２ 車両
１４ 前方カメラ
１６ 車両制御装置(制御部)
１６Ａ ＣＡＮ（車載ネットワーク）
１８ 車速センサ
２０ ヨーレイトセンサ
２２ マイクロコンピュータ
２２Ａ ＣＰＵ
２２Ｂ ＲＡＭ
２２Ｃ ＲＯＭ
２２Ｄ 入出力部（Ｉ／Ｏ
２４ 記憶装置
２６ Ｉ／Ｆ
２８ 車両走行情報取得部（取得部）
３０ 車線境界抽出部(認識部)
３２ モデルフィッティング部（認識部）
３４ 履歴情報記憶部（記憶部）
３６ 前方カメラ設置情報格納部

Claims (6)

1. 車両が走行するときの前方路面画像、車両速度、及びヨーレイトを含む車両走行情報を取得する取得部と、
   前記車両の走行に応じて、少なくとも前記取得部で逐次取得した前記車両走行情報を用いて、前記車両が走行し得る走行路に関する予測走行路情報を認識することを前記車両の走行に応じて繰り返す認識部と、
   前記認識部で認識した前記予測走行路情報として計算された走行する車線の中心点を、前記車両の走行に基づく所定の走行路区間毎に更新される履歴情報として記憶し、前記走行路区間毎に、前記車両速度と、前記ヨーレイトとによる並進回転移動に基づき、前記履歴情報の中心点を座標変換して更新する記憶部とを有し、
   前記認識部は、
   前記前方路面画像から車線抽出情報を抽出する抽出部と、
   予め定めたモデルフィッティング手法を用いて、前記車線抽出情報と、前記車両速度と、前記ヨーレイトと、前記記憶部に記憶された前記履歴情報の中心点とを読み出して、モデルフィッティングの推定に使用して前記予測走行路情報を推定することで、前記予測走行路情報を認識するモデルフィッティング部と、を備える、
   走行路推定装置。
2. 前記モデルフィッティング部は、前記取得部で取得した前記前方路面画像の情報量が所定情報量に満たない場合に、前記記憶部に記憶された前記履歴情報の中心点を読み出して前記モデルフィッティングの推定に使用する、請求項１に記載の走行路推定装置。
3. 前記記憶部に記憶する前記履歴情報には更に、車線境界点座標、及び走行軌跡の何れか１つを含む、請求項１又は請求項２に記載の走行路推定装置。
4. 前記認識部で認識した前記予測走行路情報を、前記車両の走行を制御する所定の車両制御装置へ送出する、請求項１～請求項３の何れか１項記載の走行路推定装置。
5. 前記車両に設置されたヨーレイトセンサから前記ヨーレイトを取得した場合に、取得した前記ヨーレイトの絶対値が予め設定した設定値よりも小さい場合に、前記モデルフィッティング部の走路推定から得られたヨー角推定値の時間変化分からヨーレイト値を計算して前記記憶部の前記座標変換で使用する、請求項１～請求項４の何れか１項記載の走行路推定装置。
6. コンピュータを、
   請求項１～請求項５の何れか１項記載の走行路推定装置の前記取得部、前記認識部及び前記記憶部として動作させる、走行路推定プログラム。