JP2010233080A - 運転支援装置、運転支援方法、及び運転支援プログラム - Google Patents

Abstract

【課題】車両の傾斜に関わらず、処理負荷の増大を抑えながら不連続部分や歪みの無い車両周辺の画像を出力することができる、運転支援装置、運転支援方法、及び運転支援プログラムを提供すること。
【解決手段】運転支援装置１は、車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定部７１と、車両の周辺の画像データを取得する画像取得部７２と、画像取得部７２が取得した画像データの撮影が行われた際の車両の姿勢である撮影姿勢を特定する撮影姿勢特定部７３と、基準姿勢特定部７１が特定した基準姿勢と、撮影姿勢特定部７３が特定した撮影姿勢との相違に基づき、画像取得部７２が取得した画像データが利用可能か否かを判定する判定部７４と、判定部７４が利用可能と判定した画像データのみを用いて車両を含む領域の俯瞰画像を生成する俯瞰画像生成部７５と、俯瞰画像生成部７５が生成した俯瞰画像を表示するディスプレイ６０とを備える。
【選択図】図１

Description

本発明は、運転支援装置、運転支援方法、及び運転支援プログラムに関する。

従来、ドライバの運転を支援する装置として、車両周辺の画像をディスプレイに表示する運転支援装置が知られている。この運転支援装置は、車両外部に設置されたカメラにより撮影した車両周辺の画像データを、運転席近傍に配置されたディスプレイに表示させる。また、カメラから取得した画像データをメモリに蓄積し、当該メモリに蓄積された画像データを合成した合成画像を出力する装置も提案されている。

このような運転支援装置においては、車両の各タイヤの高さの相違等に起因して車両が傾くことにより車載カメラが基準となる姿勢から傾いた状態となった場合、その傾斜した姿勢で撮像した画像データを用いて画像処理を行うと、不連続な画像や歪みのある画像が表示されるという課題があった。この課題に対して、基準となる姿勢に対するカメラの傾きに合わせて当該カメラが撮像した画像データの補正を行い、補正後の画像データを用いた運転支援画像を表示する運転支援装置も提案されている（例えば、特許文献１参照）。

特開２００７−２６６９３０号公報（段落００１４）

しかし、上述の如き従来の運転支援装置では、カメラが撮像した全ての画像データについて当該カメラの傾きを考慮した補正を行う必要があり、補正処理の負荷が大きくなっていたことから、処理能力の高いシステムが必要となっていた。

本発明は、上記に鑑みてなされたものであって、車両の傾斜に関わらず、処理負荷の増大を抑えながら不連続部分や歪みの無い車両周辺の画像を出力することができる、運転支援装置、運転支援方法、及び運転支援プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の運転支援装置は、車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定手段と、前記車両の周辺の画像データを取得する画像取得手段と、前記画像取得手段が取得した前記画像データの撮影が行われた際の前記車両の姿勢である撮影姿勢を特定する撮影姿勢特定手段と、前記基準姿勢特定手段が特定した前記基準姿勢と、前記撮影姿勢特定手段が特定した前記撮影姿勢との相違に基づき、前記画像取得手段が取得した前記画像データが利用可能か否かを判定する判定手段と、前記判定手段が利用可能と判定した画像データのみを用いて前記車両を含む領域の俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像生成手段が生成した前記俯瞰画像を表示する表示手段と、を備える。

また、請求項２に記載の運転支援装置は、請求項１に記載の運転支援装置において、前記画像取得手段が取得した前記画像データと、当該画像データの撮影が行われた際の前記撮影姿勢とを、相互に対応付けて格納する画像データ格納手段を備え、前記基準姿勢特定手段は、前記車両の傾斜の基準となる基準傾斜を前記基準姿勢として特定し、前記撮影姿勢特定手段は、前記画像取得手段が取得した前記画像データの撮影が行われた際の前記車両の傾斜である撮影傾斜を前記撮影姿勢として特定し、前記判定手段は、前記画像データ格納手段に格納されている前記撮影姿勢としての前記撮影傾斜と前記基準傾斜との差が閾値未満の時に、当該撮影傾斜に対応する画像データが利用可能と判定し、前記俯瞰画像生成手段は、前記判定手段が利用可能と判定した画像データを前記画像データ格納手段から取得し、当該取得した画像データを用いて前記俯瞰画像を生成する。

また、請求項３に記載の運転支援装置は、請求項２に記載の運転支援装置において、前記基準姿勢特定手段は、前記車両が所定距離を移動する間、前記撮影姿勢特定手段が特定した撮影傾斜と前記基準傾斜との差が継続して前記閾値以上であった場合、当該撮影傾斜に基づき前記基準傾斜を更新する。

また、請求項４に記載の運転支援装置は、請求項１に記載の運転支援装置において、前記判定手段が利用可能と判定した画像データのみを記録する記録手段を備え、前記俯瞰画像生成手段は、前記記録手段に記録されている画像データを用いて前記俯瞰画像を生成する。

また、請求項５に記載の運転支援方法は、車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定ステップと、前記車両の周辺の画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データの撮影が行われた際の前記車両の姿勢である撮影姿勢を特定する撮影姿勢特定ステップと、前記基準姿勢特定ステップで特定した前記基準姿勢と、前記撮影姿勢特定ステップで特定した前記撮影姿勢との相違に基づき、前記画像取得ステップで取得した前記画像データが利用可能か否かを判定する判定ステップと、前記判定ステップで利用可能と判定した画像データのみを用いて前記車両を含む領域の俯瞰画像を生成する俯瞰画像生成ステップと、前記俯瞰画像生成ステップで生成した前記俯瞰画像を表示する表示ステップと、を含む。

また、請求項６に記載の運転支援プログラムは、請求項５に記載の方法をコンピュータに実行させる。

請求項１に記載の運転支援装置、請求項５に記載の運転支援方法、及び請求項６に記載の運転支援プログラムによれば、基準姿勢と撮影姿勢との相違に基づき、画像取得手段が取得した画像データが利用可能か否かを判定し、判定手段が利用可能と判定した画像データのみを用いて車両を含む領域の俯瞰画像を生成するので、画像データの補正処理を行うことなく、歪みの無い画像データのみを用いて俯瞰画像を生成することができる。従って、車両の傾斜に関わらず、処理負荷の増大を抑えながら不連続部分や歪みの無い車両周辺の画像を出力することができる。

また、請求項２に記載の運転支援装置によれば、画像取得手段が取得した画像データと、当該画像データの撮影が行われた際の撮影姿勢とを、相互に対応付けて画像データ格納手段に格納し、当該画像データ格納手段に格納されている撮影姿勢としての撮影傾斜と基準傾斜との差が閾値未満の時に、当該撮影傾斜に対応する画像データが利用可能と判定するので、過去に撮影され画像データ格納手段に格納されている画像データの中から歪みの無い利用可能な画像データのみを選択して俯瞰画像を生成することができる。

また、請求項３に記載の運転支援装置によれば、車両が所定距離を移動する間、撮影姿勢特定手段が特定した撮影傾斜と基準傾斜との差が継続して閾値以上であった場合、当該撮影傾斜に基づき基準傾斜を更新するので、例えば車両が平坦な道から勾配のある道に進入した場合等、路面の状態が変化した場合であっても、適切な基準傾斜に基づいて画像データが利用可能か否かを判定することができる。

また、請求項４に記載の運転支援装置によれば、判定手段が利用可能と判定した画像データのみを記録する記録手段に記録されている画像データを用いて俯瞰画像を生成するので、記録手段に記録させる画像データの容量を低減できる。

実施の形態１に係る運転支援装置を例示するブロック図である。 画像表示処理のフローチャートである。 基準傾斜更新処理のフローチャートである。 車両の姿勢と画像取得部により取得される画像データとを概略的に示した図であり、図４（ａ）は基準傾斜と撮影傾斜との差が閾値未満の場合の車両の側面図、図４（ｂ）は図４（ａ）の状態で撮影された画像を俯瞰変換した画像データを示す図、図４（ｃ）は基準傾斜と撮影傾斜との差が閾値以上の場合の車両の側面図、図４（ｄ）は図４（ｃ）の状態で撮影された画像を俯瞰変換した画像データを示す図である。 合成画像を例示する図であり、図５（ａ）は描画メモリに格納されている合成画像を示す図、図５（ｂ）はディスプレイ６０に表示される合成画像を示す図である。 画像生成処理によって生成される合成画像の構成を概念的に示した図であり、図６（ａ）及び（ｄ）は画像データから生成される俯瞰画像の範囲と撮影時との関係を示す図、図６（ｂ）及び（ｅ）は各俯瞰画像のうち合成に用いられる範囲と撮影時との関係を示す図、図６（ｃ）及び（ｆ）は生成された合成画像を示す図である。 画像生成処理のフローチャートである。

以下、本発明に係る運転支援装置の各実施の形態について図面を参照しつつ詳細に説明する。ただし、各実施の形態によって本発明が限定されるものではない。

〔実施の形態１〕
まず、実施の形態１について説明する。この実施の形態１は、画像データと当該画像データの撮影が行われた際の撮影姿勢とを、相互に対応付けて画像データ格納手段に格納する形態である。

（構成）
まず、運転支援装置の構成を説明する。図１は、実施の形態１に係る運転支援装置を例示するブロック図である。図１に示すように、この運転支援装置１は、傾斜センサ１０、車速センサ２０、ステアリングセンサ３０、シフトポジションセンサ４０、カメラ５０、ディスプレイ６０、制御部７０、及びデータ記録部８０を備えている。

（構成−傾斜センサ）
傾斜センサ１０は、車両の傾斜を検出し、当該検出値を制御部７０に出力する。この傾斜検出手段としては、例えば路面からの車両各部の車高を検出する公知の車高センサや、公知の加速度センサを用いることができる。

（構成−車速センサ）
車速センサ２０は、車軸の回転数に比例する車速パルス信号等を制御部７０に出力するものであり、公知の車速センサを用いることができる。

（構成−ステアリングセンサ）
ステアリングセンサ３０は、車両のステアリングホイールの操舵角を検出し、当該検出値を制御部７０に出力するものであり、公知のステアリングセンサを用いることができる。

（構成−シフトポジションセンサ）
シフトポジションセンサ４０は、車両の変速機を操作するためのシフトレバーのポジションを検出し、当該検出値を制御部７０に出力するものであり、公知のシフトポジションセンサを用いることができる。

（構成−カメラ）
カメラ５０は、車両の周辺を撮影する撮影手段である。このカメラ５０は、例えば車両の前後バンパー近傍等に１台又は複数台設置され、車両の周辺を撮影する。カメラ５０が撮影した画像データは、制御部７０に入力される。なお、カメラ５０の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及び魚眼レンズやプリズム等の公知の光学系部品を用いて構成されている。

（構成−ディスプレイ）
ディスプレイ６０は、制御部７０が生成した俯瞰画像を表示する表示手段である。なお、このディスプレイ６０の具体的な構成は任意であり、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイを使用することができる。

（構成−制御部）
制御部７０は、運転支援装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る運転支援プログラムは、任意の記録媒体又はネットワークを介して運転支援装置１にインストールされることで、制御部７０の各部を実質的に構成する。

この制御部７０は、機能概念的に、基準姿勢特定部７１、画像取得部７２、撮影姿勢特定部７３、判定部７４、俯瞰画像生成部７５、及び画像メモリ７６を備えている。基準姿勢特定部７１は、車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定手段である。画像取得部７２は、車両の周辺の画像データを取得する画像取得手段である。撮影姿勢特定部７３は、画像取得部７２が取得した画像データの撮影が行われた際の車両の姿勢である撮影姿勢を特定する撮影姿勢特定手段である。判定部７４は、画像取得部７２が取得した画像データが利用可能か否かを判定する判定手段である。俯瞰画像生成部７５は、車両を含む領域の俯瞰画像を生成する俯瞰画像生成手段である。画像メモリ７６は、画像取得部７２が取得した画像データと、当該画像データの撮影が行われた際の撮影姿勢とを、相互に対応付けて格納する画像データ格納手段である。また、画像メモリ７６は、俯瞰画像生成部７５が生成した俯瞰画像や合成画像の記録も行う。これらの制御部７０の各構成要素によって実行される処理の詳細については後述する。

（構成−データ記録部）
データ記録部８０は、運転支援装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

（処理−画像生成処理）
次に、このように構成される運転支援装置１によって実行される画像生成処理について説明する。図２は画像生成処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。この画像生成処理は、例えば公知の入力手段を介して画像生成処理の起動指示入力がされた場合や、シフトポジションがリバースに設定されたことがシフトポジションセンサ４０により検出された場合に起動される。

図２に示すように、画像生成処理が起動されると、画像取得部７２は、車両の周辺の画像データをカメラ５０から取得する（ＳＡ１）。続いて、基準姿勢特定部７１は、車両の傾斜の基準となる基準傾斜を基準姿勢として特定する（ＳＡ２）。ここで、基準姿勢特定部７１は、ＳＡ１で画像取得部７２が画像生成処理の開始後最初に取得した画像データの撮影が行われた際の車両の傾斜を基準傾斜として特定する。例えば、ＳＡ１で画像取得部７２が画像データをカメラ５０から取得するのと同時に、基準姿勢特定部７１は、傾斜センサ１０からの入力に基づき特定した車両の傾斜を基準傾斜として特定し、ＲＡＭ（図示省略）に記憶させる。続いて、画像取得部７２は、ＳＡ１で取得した画像データと、当該画像データの撮影が行われた際の撮影姿勢である基準姿勢とを、相互に対応付けて画像メモリ７６に格納する（ＳＡ３）。例えば、ＳＡ１で取得した画像データに、ＳＡ２で特定した基準傾斜を特定する情報をヘッダとして付加して、画像メモリ７６に格納する。

次に、画像取得部７２は、画像合成のトリガの有無を判定する（ＳＡ４）。例えば、車速センサ２０から車速パルス信号の入力があった場合に画像合成のトリガが有ったものと判定する。あるいは、車両が停車中の場合には、前回画像合成を行ってから所定時間が経過した場合に画像合成のトリガが有ったものと判定する。

その結果、画像合成のトリガが無いと判定した場合は（ＳＡ４、Ｎｏ）、画像取得部７２はＳＡ４の判定を継続する。一方、画像合成のトリガが有ったものと判定した場合（ＳＡ４、Ｙｅｓ）、画像取得部７２は、車両の周辺の画像データをカメラ５０から取得する（ＳＡ５）。

続いて、撮影姿勢特定部７３は、画像取得部７２が取得した画像データの撮影が行われた際の車両の傾斜である撮影傾斜を撮影姿勢として特定する（ＳＡ６）。例えば、ＳＡ５で画像取得部７２が画像データをカメラ５０から取得するのと同時に、撮影姿勢特定部７３は傾斜センサ１０からの入力を参照し、当該入力に基づき特定した車両の傾斜を撮影傾斜として特定する。

次に、画像取得部７２は、ＳＡ５で取得した画像データと、当該画像データの撮影が行われた際の撮影姿勢とを、相互に対応付けて画像メモリ７６に格納する（ＳＡ７）。例えば、ＳＡ５で取得した画像データに、ＳＡ６で特定した撮影傾斜を特定する情報をヘッダとして付加して、画像メモリ７６に格納する。

次に、基準姿勢特定部７１は、基準傾斜更新処理を実行する（ＳＡ８）。ここで、基準傾斜更新処理について説明する。図３は、基準傾斜更新処理のフローチャートである。図３に示すように、基準傾斜更新処理が起動されると、基準姿勢特定部７１は、例えばＲＡＭに記憶されている距離カウンタの値が、予め設定されている距離閾値以上か否かを判定する（ＳＢ１）。ここで、「距離カウンタ」は、基準傾斜が前回設定された時から車両が走行した距離に対応するものである。また、距離閾値としては、例えば車両の前後タイヤ間距離に対応する値を用いることができる。

その結果、距離カウンタの値が距離閾値以上であった場合（ＳＢ１、Ｙｅｓ）、基準姿勢特定部７１は、車両が所定距離を移動する間、撮影姿勢特定部７３が特定した撮影傾斜と基準傾斜との差が継続して閾値以上であったか否かを判定する（ＳＢ２）。例えば、車両が距離閾値に相当する距離を現在の位置まで移動する間に取得され画像メモリ７６に格納された各画像データについて、当該各画像データの撮影が行われた際の撮影傾斜と基準傾斜との差の絶対値が閾値以上か否かを判定する。ここで、閾値としては、例えば、カメラ５０が撮影した画像データに基づき生成される車両周辺の画像に生じる歪みや不連続な部分が顕著となり、ユーザが容易に認識可能となる値を用いることができる。

その結果、車両が所定距離を移動する間、撮影傾斜と基準傾斜との差が継続して閾値以上であったと判定した場合（ＳＢ２、Ｙｅｓ）、撮影傾斜に基づき基準傾斜を更新する（ＳＢ３）。例えば、図２のＳＡ６で特定した撮影傾斜を、新たな基準傾斜とする。その後、基準姿勢特定部７１は距離カウンタをリセットし（ＳＢ４）、メインルーチンに戻る。

一方、ＳＢ１の判定の結果、距離カウンタの値が距離閾値以上ではなかった場合（ＳＢ１、Ｎｏ）、又はＳＢ２の判定の結果、撮影傾斜と基準傾斜との差が継続して閾値以上ではなかった場合（ＳＢ２、Ｎｏ）、基準姿勢特定部７１は、前回基準傾斜更新処理を行ってから車両が走行した距離に相当する値を公知の方法で取得して距離カウンタに加算し（ＳＢ５）、メインルーチンに戻る。

図２に戻り、ＳＡ８で基準傾斜更新処理を実行した後、判定部７４はＳＡ８の基準傾斜更新処理において基準傾斜が更新されたか否かを判定する（ＳＡ９）。その結果、基準傾斜が更新されていないと判定した場合（ＳＡ９、Ｎｏ）、判定部７４はＳＡ５で取得した画像データが利用可能か否かを判定する（ＳＡ１０）。例えば、ＳＡ６で特定した撮影傾斜と基準傾斜との差が閾値未満の時に、当該画像データが利用可能と判定する。ここで、閾値としては、例えば上述の基準傾斜更新処理における閾値と同じ値を用いることができる。

図４は、車両の姿勢と画像取得部７２により取得される画像データとを概略的に示した図であり、図４（ａ）は基準傾斜と撮影傾斜との差が閾値未満の場合の車両の側面図、図４（ｂ）は図４（ａ）の状態で撮影された画像を俯瞰変換した画像データを示す図、図４（ｃ）は基準傾斜と撮影傾斜との差が閾値以上の場合の車両の側面図、図４（ｄ）は図４（ｃ）の状態で撮影された画像を俯瞰変換した画像データを示す図である。なお、図４（ｂ）及び図４（ｄ）は、車両２の進行方向と平行に２本の直線が描かれている路面を撮影した場合の画像データを示す。

図４（ａ）に示すように基準傾斜と撮影傾斜との差が閾値未満の場合に撮影された画像を俯瞰変換した画像データでは、路面に平行に描かれた２本の直線は図４（ｂ）に示すように平行に表示される。従って、図４（ｂ）に示したような画像データについては利用可能と判定される。一方、図４（ｃ）に示すように、例えば車両２の後輪が段差に乗り上げることにより基準傾斜と撮影傾斜との差が閾値以上となった場合に撮影された画像を俯瞰変換した画像データでは、路面に平行に描かれた２本の直線は図４（ｄ）に示すように非平行に歪んで表示される。従って、図４（ｄ）に示したような画像データについては利用可能ではないものと判定される。

図２に戻り、ＳＡ１０の判定の結果、画像データが利用可能と判定した場合（ＳＡ１０、Ｙｅｓ）、俯瞰画像生成部７５は判定部７４が利用可能と判定した画像データのみを用いて俯瞰画像を生成する（ＳＡ１１）。例えば、画像データに対して公知の座標変換処理を行うことにより俯瞰画像を生成することができる。

そして、生成した俯瞰画像の合成を行い（ＳＡ１２）、当該合成された合成画像を描画メモリ（図示省略）に格納する（ＳＡ１３）。ここで「合成画像」とは、ＳＡ１１で生成された俯瞰画像を、既に描画メモリに格納されている合成画像にＳＡ１２で順次合成することで生成される画像である。例えば、車速センサ２０から入力された車速パルス信号やステアリングセンサ３０から入力された操舵角の検出値等の情報に基づき、描画メモリに記録されている合成画像の基準位置からの車両２の移動距離及び旋回角度を特定し、当該特定した移動距離及び旋回角度と画像データとを対応付けて画像メモリ７６に格納する。そして、特定した旋回角度に基づきＳＡ１１で生成した俯瞰画像を回転処理し、当該回転処理した俯瞰画像を、描画メモリに記録されている合成画像において車両２の移動距離及び旋回角度に対応する位置に上書きして合成する。なお、画像生成処理が起動された後に最初にＳＡ１０で画像データが利用可能と判定された場合は、俯瞰画像生成部７５は利用可能と判定された画像データを用いて俯瞰画像を生成すると共に（ＳＡ１１）、ＳＡ１で取得されＳＡ３で画像メモリ７６に格納された画像データを用いて俯瞰画像を生成する。そして、これらの俯瞰画像の合成を行い（ＳＡ１２）、当該合成した合成画像を描画メモリに格納する（ＳＡ１３）。

ＳＡ１３で合成画像を描画メモリに格納した後、又はＳＡ１０で画像データが利用可能ではないと判定した場合（ＳＡ１０、Ｎｏ）、俯瞰画像生成部７５は、描画メモリに格納されている合成画像からディスプレイ６０に表示させる部分を抽出し、車両２の旋回角度に合わせて回転処理を行い、ディスプレイ６０に表示させる（ＳＡ１４）。図５は合成画像を例示する図であり、図５（ａ）は描画メモリに格納されている合成画像を示す図、図５（ｂ）はディスプレイ６０に表示される合成画像を示す図である。例えば、俯瞰画像生成部７５は、図５（ａ）に示すように描画メモリに書き込まれた合成画像（図５（ａ）中に破線で示した領域）から、現在の車両２の位置を中心とする当該車両２の周辺に相当する抽出領域（図５（ａ）中に実線で示した長方形枠）を抽出する。ここで、抽出された画像は合成画像における基準位置を基準として車両２の旋回角度に合わせた向きの画像となっているため、車両２の進行方向を上向きとするように当該抽出された画像の回転処理を行い、さらに車両２を鉛直上方から見た場合の平面図を当該抽出された画像における車両２の位置に重畳し、図５（ｂ）に示すような表示用の画像を生成し、ディスプレイ６０に表示させる。この様に抽出・回転した合成画像をディスプレイ６０に表示させることにより、画像合成のトリガが入力される毎に、車両２の移動距離（例えば車速パルス信号１パルス当りの移動距離）に相当する距離だけ車両２の周辺の画像が移動した合成画像が表示されることとなる。

また、ＳＡ９において基準傾斜が更新されたと判定した場合（ＳＡ９、Ｙｅｓ）、判定部７４は画像メモリ７６を参照し（ＳＡ１５）、当該画像メモリ７６に格納されている各画像データが利用可能か否かを順に判定する（ＳＡ１６）。例えば、各画像データのヘッダとして画像メモリ７６に格納されている撮影姿勢としての撮影傾斜と基準傾斜との差が閾値未満の時に、当該撮影傾斜に対応する画像データが利用可能と判定する。

ＳＡ１６の判定の結果、画像データが利用可能と判定した場合（ＳＡ１６、Ｙｅｓ）、俯瞰画像生成部７５は判定部７４が利用可能と判定した画像データを画像メモリ７６から取得し、当該取得した画像データを用いて俯瞰画像を生成する（ＳＡ１７）。そして、生成した俯瞰画像の合成を行い（ＳＡ１８）、当該合成された合成画像を描画メモリ（図示省略）に格納する（ＳＡ１９）。この場合、俯瞰画像生成部７５は、判定部７４が利用可能と判定した画像データのうち最も古い画像データ（車両２の現在位置から最も遠い位置で撮影された画像データ）が撮影された位置を、画像の合成における基準位置として新たに設定する。そして、利用可能と判定された各画像データについて、新たに設定された基準位置からの車両２の移動距離及び旋回角度を特定する。例えば、ＳＡ１２において画像メモリ７６に各画像データと対応付けて格納されている、基準傾斜の更新前における合成画像の基準位置からの車両２の移動距離及び旋回角度に基づき、新たに設定された基準位置からの車両２の移動距離及び旋回角度を特定することができる。この様にして特定した車両２の移動距離及び旋回角度に基づき、俯瞰画像の合成を行う。また、新たに設定した基準位置からの車両２の移動距離及び旋回角度と画像データとを対応付けて画像メモリ７６に格納する。なお、ＳＡ９で基準傾斜が更新されたと判定された後、最初にＳＡ１７で俯瞰画像が生成された場合は、俯瞰画像生成部７５はそれ以前にＳＡ１３の処理等で描画メモリに格納されていた合成画像を消去し、ＳＡ１７で生成した俯瞰画像を合成画像としてそのまま描画メモリに格納する。

ＳＡ１９で合成画像を描画メモリに格納した後、又はＳＡ１６で画像データが利用可能ではないと判定した場合（ＳＡ１６、Ｎｏ）、判定部７４は、ＳＡ１５で参照した画像メモリ７６に格納されている全ての画像データについて利用可能か否かを判定済みか否かを判定する（ＳＡ２０）。その結果、全ての画像データについて利用可能か否か判定済みではないと判定した場合（ＳＡ２０、Ｎｏ）、ＳＡ１６に戻り、判定部７４は画像メモリ７６に格納されている次の画像データについて利用可能か否かを順に判定する（ＳＡ１６）。

一方、全ての画像データについて利用可能か否か判定済みであると判定した場合（ＳＡ２０、Ｙｅｓ）、俯瞰画像生成部７５は、最後にＳＡ１９で描画メモリに格納された合成画像からディスプレイ６０に表示させる部分を抽出し、車両２の旋回角度に合わせて回転処理を行い、ディスプレイ６０に表示させる（ＳＡ１４）。

以降、ＳＡ４からＳＡ２０までの処理を繰り返す。なお、例えばシフトポジションがリバース以外のポジションに変更されたことがシフトポジションセンサ４０により検出された場合や、入力手段を介して画像生成処理の終了指示入力がされた場合、画像生成処理を終了する。

図６は、画像生成処理によって生成される合成画像の構成を概念的に示した図であり、図６（ａ）及び（ｄ）は画像データから生成される俯瞰画像の範囲と撮影時との関係を示す図、図６（ｂ）及び（ｅ）は各俯瞰画像のうち合成に用いられる範囲と撮影時との関係を示す図、図６（ｃ）及び（ｆ）は生成された合成画像を示す図である。また、図６（ａ）、（ｂ）、（ｃ）は画像取得部７２が取得した画像データのうち利用可能と判定された画像データを用いる場合を示し、図６（ｄ）、（ｅ）、（ｆ）は画像取得部７２が取得した画像データの全てを用いる場合を示している。

図６（ｄ）に示すように画像取得部７２により取得された全ての画像データから俯瞰画像を生成し、図６（ｅ）に示すように複数の俯瞰画像が重複する範囲毎に最新の俯瞰画像を用いて合成を行うと、図６（ｆ）に示すような合成画像が生成される。この図６（ｆ）に示した合成画像では、例えば車両２の後輪が段差に乗り上げることにより基準傾斜と撮影傾斜との差が閾値以上となった場合に撮影され、画像取得部７２により取得された画像データから生成された俯瞰画像（図６（ｄ）、（ｆ）では「段差走行時の画像」）も含めて合成されているため、路面に平行に描かれた２本の直線が歪んで表示される。

一方、図６（ａ）に示すように利用可能と判定された画像データから俯瞰画像を生成し、図６（ｂ）に示すように複数の俯瞰画像が重複する範囲毎に最新の俯瞰画像を用いて合成を行うと、基準傾斜と撮影傾斜との差が閾値以上となっていた間に撮影されたために利用可能ではないと判定された画像データに対応する範囲については、基準傾斜と撮影傾斜との差が閾値以上となる前に撮影された画像データから生成された俯瞰画像（図６（ａ）、（ｃ）では「段差走行前の平坦路走行時の画像」）を用いて合成が行われる。従って、図６（ｃ）に示すように、路面に平行に描かれた２本の直線が平行となった合成画像が生成される。

（効果）
このように実施の形態１によれば、基準姿勢と撮影姿勢との相違に基づき、画像取得部７２が取得した画像データが利用可能か否かを判定し、判定部７４が利用可能と判定した画像データのみを用いて車両２を含む領域の俯瞰画像を生成するので、画像データの補正処理を行うことなく、歪みの無い画像データのみを用いて俯瞰画像を生成することができる。従って、車両２の傾斜に関わらず、処理負荷の増大を抑えながら不連続部分や歪みの無い車両２周辺の画像を出力することができる。

また、画像取得部７２が取得した画像データと、当該画像データの撮影が行われた際の撮影姿勢とを、相互に対応付けて画像メモリ７６に格納し、当該画像メモリ７６に格納されている撮影姿勢としての撮影傾斜と基準傾斜との差が閾値未満の時に、当該撮影傾斜に対応する画像データが利用可能と判定するので、過去に撮影され画像メモリ７６に格納されている画像データの中から歪みの無い利用可能な画像データのみを選択して俯瞰画像を生成することができる。

また、車両２が所定距離を移動する間、撮影姿勢特定部７３が特定した撮影傾斜と基準傾斜との差が継続して閾値以上であった場合、当該撮影傾斜に基づき基準傾斜を更新するので、例えば車両２が平坦な道から勾配のある道に進入した場合等、路面の状態が変化した場合であっても、適切な基準傾斜に基づいて画像データが利用可能か否かを判定することができる。

〔実施の形態２〕
次に、実施の形態２について説明する。この形態は、判定部７４が利用可能と判定した画像データのみを記録し、当該記録した画像データを用いて俯瞰画像を生成する形態である。なお、実施の形態２及びそれ以降の実施の形態の構成は、特記する場合を除いて、実施の形態１の構成と略同一であり、実施の形態１の構成と略同一の構成についてはこの実施の形態１で用いたものと同一の符号及び／又は名称を必要に応じて付して、その説明を省略する。

（構成−画像メモリ）
まず、本実施の形態２に係る運転支援装置の構成について説明する。本実施の形態２に係る画像メモリ７６は、画像取得部７２が取得した画像データのうち、判定部７４が利用可能と判定した画像データのみを記録する記録手段として用いられる。なお、実施の形態１と同様に、俯瞰画像生成部７５が生成した俯瞰画像や合成画像の記録も行う。

（処理−画像生成処理）
次に、本実施の形態２に係る運転支援装置１によって実行される画像生成処理について説明する。図７は画像生成処理のフローチャートである。なお、ＳＣ１からＳＣ４までの各処理については、実施の形態１で説明した図２のＳＡ２及びＳＡ４からＳＡ６までの各処理と同様であるので、説明を省略する。

ＳＣ４で撮影傾斜を撮影姿勢として特定した後、基準姿勢特定部７１は、基準傾斜更新処理を実行する（ＳＣ５）。続いて判定部７４は、ＳＣ３で取得した画像データが利用可能か否かを判定する（ＳＣ６）。例えば、ＳＣ４で特定した撮影傾斜と、ＳＣ１で特定し又はＳＣ４で更新した基準傾斜との差が閾値未満の時に、ＳＣ３で取得した画像データが利用可能と判定する。

その結果、画像データが利用可能と判定した場合（ＳＣ６、Ｙｅｓ）、判定部７４は当該画像データを画像メモリ７６に記録する（ＳＣ７）。続いて俯瞰画像生成部７５は、画像メモリ７６に記録した画像データを用いて俯瞰画像を生成する（ＳＣ８）。そして、生成した俯瞰画像を、画像メモリ７６に記録されている合成画像と合成する（ＳＣ９）。さらに、合成した合成画像からディスプレイ６０に表示させる部分を抽出し、車両２の旋回角度に合わせて回転処理を行い、ディスプレイ６０に表示させる（ＳＣ１０）。以降、ＳＣ２からＳＣ１０までの処理を繰り返す。

（効果）
このように実施の形態２によれば、実施の形態１の全部又は一部と同様の効果に加えて、判定部７４が利用可能と判定した画像データのみを記録する画像メモリ７６に記録されている画像データを用いて俯瞰画像を生成するので、画像メモリ７６に記録させる画像データの容量を低減できる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。

（判定部について）
上述の各実施の形態では、判定部７４は撮影傾斜と基準傾斜との差に基づいて画像データが利用可能か否かを判定しているが、他の基準に基づいて判定をさせてもよい。例えば、路面に描かれている車線や駐車枠等の線が、画像データにおいて不連続となっている場合や、路面上で平行に描かれている複数の直線（例えば駐車枠）が画像データにおいて非平行となっている場合、当該画像データは利用可能ではないと判定させてもよい。

１ 運転支援装置
２ 車両
１０ 傾斜センサ
２０ 車速センサ
３０ ステアリングセンサ
４０ シフトポジションセンサ
５０ カメラ
６０ ディスプレイ
７０ 制御部
７１ 基準姿勢特定部
７２ 画像取得部
７３ 撮影姿勢特定部
７４ 判定部
７５ 俯瞰画像生成部
７６ 画像メモリ
８０ データ記録部

Claims (6)

1. 車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定手段と、
   前記車両の周辺の画像データを取得する画像取得手段と、
   前記画像取得手段が取得した前記画像データの撮影が行われた際の前記車両の姿勢である撮影姿勢を特定する撮影姿勢特定手段と、
   前記基準姿勢特定手段が特定した前記基準姿勢と、前記撮影姿勢特定手段が特定した前記撮影姿勢との相違に基づき、前記画像取得手段が取得した前記画像データが利用可能か否かを判定する判定手段と、
   前記判定手段が利用可能と判定した画像データのみを用いて前記車両を含む領域の俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段が生成した前記俯瞰画像を表示する表示手段と、
   を備える運転支援装置。
2. 前記画像取得手段が取得した前記画像データと、当該画像データの撮影が行われた際の前記撮影姿勢とを、相互に対応付けて格納する画像データ格納手段を備え、
   前記基準姿勢特定手段は、
   前記車両の傾斜の基準となる基準傾斜を前記基準姿勢として特定し、
   前記撮影姿勢特定手段は、
   前記画像取得手段が取得した前記画像データの撮影が行われた際の前記車両の傾斜である撮影傾斜を前記撮影姿勢として特定し、
   前記判定手段は、
   前記画像データ格納手段に格納されている前記撮影姿勢としての前記撮影傾斜と前記基準傾斜との差が閾値未満の時に、当該撮影傾斜に対応する画像データが利用可能と判定し、
   前記俯瞰画像生成手段は、
   前記判定手段が利用可能と判定した画像データを前記画像データ格納手段から取得し、当該取得した画像データを用いて前記俯瞰画像を生成する、
   請求項１に記載の運転支援装置。
3. 前記基準姿勢特定手段は、
   前記車両が所定距離を移動する間、前記撮影姿勢特定手段が特定した撮影傾斜と前記基準傾斜との差が継続して前記閾値以上であった場合、当該撮影傾斜に基づき前記基準傾斜を更新する、
   請求項２に記載の運転支援装置。
4. 前記判定手段が利用可能と判定した画像データのみを記録する記録手段を備え、
   前記俯瞰画像生成手段は、
   前記記録手段に記録されている画像データを用いて前記俯瞰画像を生成する、
   請求項１に記載の運転支援装置。
5. 車両の姿勢の基準となる基準姿勢を特定する基準姿勢特定ステップと、
   前記車両の周辺の画像データを取得する画像取得ステップと、
   前記画像取得ステップで取得した前記画像データの撮影が行われた際の前記車両の姿勢である撮影姿勢を特定する撮影姿勢特定ステップと、
   前記基準姿勢特定ステップで特定した前記基準姿勢と、前記撮影姿勢特定ステップで特定した前記撮影姿勢との相違に基づき、前記画像取得ステップで取得した前記画像データが利用可能か否かを判定する判定ステップと、
   前記判定ステップで利用可能と判定した画像データのみを用いて前記車両を含む領域の俯瞰画像を生成する俯瞰画像生成ステップと、
   前記俯瞰画像生成ステップで生成した前記俯瞰画像を表示する表示ステップと、
   を含む運転支援方法。
6. 請求項５に記載の方法をコンピュータに実行させる運転支援プログラム。

Images