JP2008013015A - 車両周辺画像生成装置および画像切替方法 - Google Patents

Abstract

【課題】車両周辺画像とは別に表示されるリアビュー画像を適切なタイミングで見やすく提供することが可能な「車両周辺画像生成装置および画像切替方法」を提供する。
【解決手段】自車両が駐車スペースに対して平行になっていることを検出する平行状態検出部４と、自車両の少なくとも一部が駐車スペースの中に進入していることを検出する進入状態検出部５と、自車両が駐車スペースに対して平行になっていて、かつ、自車両の少なくとも一部が駐車スペースの中に進入していることが検出されたときに、車両周辺画像からリアビュー画像へと画像の表示を切り替える表示画像切替部７とを備え、自車両の駐車スペースに対する状態に応じて車両周辺画像とリアビュー画像とを適宜切り替えて表示することにより、シーン毎に最適な画像がフル画面で表示されるようにする。
【選択図】 図１

Description

本発明は、車両周辺画像生成装置および画像切替方法に関し、特に、自車両の上方の仮想視点から見た車両周辺画像およびこれとは異なる別画像を生成する車両周辺画像生成装置に用いて好適なものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換処理することにより、自車両の上方の仮想視点から見た車両周辺画像を生成して表示する技術が提供されている。運転者は、自車両の表示装置に表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

一般的には、自車両の前方に配置されるフロントカメラで自車両の前方の撮影領域を撮影する。また、自車両の左側方に配置される左サイドカメラで自車両左側方の撮影領域を撮影する。また、自車両の右側方に配置される右サイドカメラで自車両の右側方の撮影領域を撮影する。また、自車両の後方に配置されるリアカメラで自車両の後方の撮影領域を撮影する。そして、各カメラで撮影した前方、左側方、右側方、後方の画像をもとに、車両周辺画像を生成する。

なお、表示画面を分割して、車両周辺画像の他に、車両周辺画像とは異なる別の画像を運転補助のために表示するようにしたシステムも存在する（例えば、特許文献１参照）。この特許文献１においては、例えばシフト位置が後退ギアのときに、表示画面を分割して、その一方の領域に後方の状況を確認できる画像を別画像として表示することが記載されている。
特開２００２−１０９６９７号公報

しかしながら、上記特許文献１に記載の技術では、表示画面を分割して車両周辺画像と別画像との２画面表示とすることで、１画像当たりの表示面積が狭くなり、見づらいという問題があった。特に、後方の状況を確認するための別画像は、後退時にミラーや直視では見にくい車両の後方エリアを詳細に表示することが要求されるが、別画像が分割して小さく表示されるため、表示が見づらくなってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、車両周辺画像とは別に表示される画像を適切なタイミングで見やすく提供できるようにすることを目的とする。

上記した課題を解決するために、本発明では、（１）自車両が駐車スペースに対して平行になっていること、（２）自車両の少なくとも一部が駐車スペースの中に進入していることの少なくとも何れか一方が検出されたときに、車両周辺画像から別画像へと画像の表示を切り替えるようにしている。また、（３）自車両のハンドルの操舵角が一定角度以内となっていることが更に検出されたときに、車両周辺画像から別画像へと表示の切り替えを行うようにしても良い。

上記のように構成した本発明によれば、上述した３つの条件（１）〜（３）を満たすか否かの検出結果に基づいて、自車両の駐車スペースに対する状態に応じて車両周辺画像と別画像とが表示画面において適宜切り替えられることとなる。これにより、シーン毎に最適な画像がフル画面で表示されるようになり、例えば自車両とその周囲にある車輪止めとの位置関係を正確に知りたいときには、その車輪止め付近が詳細に表された別画像を画面上に大きく表示することができる。このように、本発明によれば、車両周辺画像とは別に表示される画像を適切なタイミングで見やすく提供することができるようになる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周辺画像生成装置の構成例を示すブロック図である。図１において、１は自車両の異なる場所に設置された複数の撮像装置であり、自車両の前方を撮影するためのフロントカメラ１ａ、自車両の左側方を撮影するための左サイドカメラ１ｂ、自車両の右側方を撮影するための右サイドカメラ１ｃおよび自車両の後方を撮影するためのリアカメラ１ｄにより構成されている。

図２は、各カメラ１ａ〜１ｄの配置および撮影領域の例を示す図である。図２において、フロントカメラ１ａは自車両１００の前方に配置され、前方の撮影領域Ｈ１を撮影する。左サイドカメラ１ｂは自車両１００の左側方に配置され、左方の撮影領域Ｈ２を撮影する。右サイドカメラ１ｃは自車両１００の右側方に配置され、右方の撮影領域Ｈ３を撮影する。リアカメラ１ｄは自車両１００の後方に配置され、後方の撮影領域Ｈ４を撮影する。

前方の撮影領域Ｈ１と左方の撮影領域Ｈ２とは一部の領域ＯＡ１において重なっている。前方の撮影領域Ｈ１と右方の撮影領域Ｈ３とは一部の領域ＯＡ２において重なっている。後方の撮影領域Ｈ４と左方の撮影領域Ｈ２とは一部の領域ＯＡ３において重なっている。また、後方の撮影領域Ｈ４と右方の撮影領域Ｈ３とは一部の領域ＯＡ４において重なっている。

２は画像生成部であり、画像処理部２ａ、マッピングテーブル記憶部２ｂおよび自車両画像記憶部２ｃを備えている。画像処理部２ａは、各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像を入力し、マッピングテーブル記憶部２ｂに記憶されている変換情報に従って、自車両１００の周辺を上方の仮想視点から見たときの背景画像を生成する。

ここで、背景画像は、フロントカメラ１ａにより撮影された画像を視点変換して生成されたフロント車両周辺画像と、左サイドカメラ１ｂにより撮影された画像を視点変換して生成された左サイド車両周辺画像と、右サイドカメラ１ｃにより撮影された画像を視点変換して生成された右サイド車両周辺画像と、リアカメラ１ｄにより撮影された画像を視点変換して生成されたリア車両周辺画像とを合成することによって生成する。

マッピングテーブル記憶部２ｂは、各カメラ１ａ〜１ｄにより撮影された画像の画素データと自車両１００の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。自車両画像記憶部２ｃは、自車両１００を上方から見たときの形体を示す自車両画像を記憶しており、画像処理部２ａにより読み出される。画像処理部２ａは、上述した背景画像の略中央に自車両画像を合成することにより、自車両１００の上方の仮想視点から見た車両周辺画像を生成する。

また、画像処理部２ａは、各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像の１つをもとに、上述の車両周辺画像とは異なる別画像も生成する。別画像としては、例えば、リアカメラ１ｄで撮影された画像を視点変換したリア車両周辺画像を生成する。なお、別画像は、リアカメラ１ｄで撮影された視点変換前の画像であっても良いし、当該視点変換前の画像の歪みを補正した画像であっても良いし、これらの画像の一部拡大画像であっても良い。以下では、リアカメラ１ｄで撮影された画像をもとに生成する別画像を「リアビュー画像」と呼ぶ。

３は表示装置であり、画像処理部２ａにより生成された車両周辺画像および別画像を表示する。通常は、車両周辺画像を表示装置３のフル画面に表示する。また、後述する所定の条件を満たすときには、車両周辺画像からリアビュー画像へと画像の表示を切り替えて、リアビュー画像を表示装置３にフル画面表示する。

４は平行状態検出部であり、自車両１００が駐車スペースに対して平行になっていることを検出する。この平行状態検出部４は、画像認識部４ａを備えている。画像認識部４ａは、各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像またはこれから画像処理部２ａにより生成された車両周辺画像に対して画像認識処理を行う。平行状態検出部４は、この画像認識処理の結果を利用して、自車両１００が駐車スペースに対して平行になっていることを検出する。

すなわち、駐車スペースには少なくとも長手方向に２本の平行な白色線または黄色線が引かれているので、平行状態検出部４は、画像認識部４ａの画像認識によってこの平行な２本の境界線を特定する。そして、２本の境界線の長さを比較する。図３（ａ）に示すように、自車両１００が駐車スペースに対して平行でないときは、画像中に写っている平行な２本の境界線１０５ａ，１０５ｂの長さは等しくならない。これに対して、自車両１００が駐車スペースに対して平行になると、図３（ｂ）のように、画像中に写っている平行な２本の境界線１０５ａ，１０５ｂの長さが略等しくなる。そこで、平行状態検出部４は、画像認識部４ａの画像認識によって特定した平行な２本の境界線１０５ａ，１０５ｂの長さが等しくなっていることをもって、自車両１００が駐車スペースに対して平行になっていることを検出する。

なお、駐車スペースが斜めに作られているときは、自車両１００が駐車スペースに対して平行になっても、画像中に写っている平行な２本の線の長さは等しくならない。よって、上述の手法は、斜めの駐車スペースには有効でない。斜めの駐車スペースでも有効な手法として、次のような手法が考えられる。上述のように、駐車スペースには２本の平行な白色線または黄色線が引かれているので、画像認識によって駐車スペースの位置および方向は特定できる。また、車両周辺画像を生成する際に背景画像に対して合成する自車両画像の長手方向も画像認識によって一意に特定できる。そこで、駐車スペースの方向と自車両画像の長手方向とを対比し、両者が平行となっているかどうかによって、自車両１００が駐車スペースに対して平行になっていることを検出する。

５は進入状態検出部であり、自車両１００の少なくとも一部が駐車スペースの中に進入していることを検出する。この進入状態検出部５は、画像認識部５ａを備えている。画像認識部５ａは、各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像またはこれから画像処理部２ａにより生成された車両周辺画像に対して画像認識処理を行う。進入状態検出部５は、この画像認識処理の結果を利用して、自車両１００の少なくとも一部が駐車スペースの中に進入していることを検出する。

すなわち、進入状態検出部５は、画像認識部５ａによって、駐車スペースの長手方向に引かれている２本の平行な白色線または黄色線を特定する。そして、この特定した２本の線と、車両周辺画像を生成する際に背景画像に対して合成する自車両画像との位置関係を確認する。ここで、２本の平行な境界線の端部どうしを結ぶラインを仮想し、自車両画像がその仮想ラインと重なっていれば、自車両１００の少なくとも一部が駐車スペースの中に進入していると判断する。なお、駐車スペースに仮想ラインに相当する線も実際に引かれているときは、画像認識部５ａによってその線を特定し、自車両画像が重なっているか否か（線の一部が自車両画像によって欠けているか否か）を判定すれば良い。

６は操舵角検出部であり、自車両１００のハンドルの操舵角を検出する。７は表示画像切替部であり、（１）自車両１００が駐車スペースに対して平行になっていること、（２）自車両１００の少なくとも一部が駐車スペースの中に進入していること、（３）ハンドルの操舵角が一定角度以内となっていること、の３つの状態がそれぞれ平行状態検出部４、進入状態検出部５、操舵角検出部６により検出されたときに、表示装置３に表示する画像を車両周辺画像からリアビュー画像へと切り替えるように、画像処理部２ａを制御する。

図４は、自車両１００の駐車スペースに対する様々な状態を示す図である。図４（ａ）のように、自車両１００をいまから駐車スペースに入れようとしている状態のときは、運転者は自車両１００と前後左右にある障害物との位置関係を見たいとの要求が強い。この場合は、上述した（１）〜（３）の条件は何れも満たさないので、画像処理部２ａは自車両１００の周囲を全部表した車両周辺画像を生成し、これを表示装置３に表示する。

また、図４（ｂ）のように、駐車スペースに対して自車両１００が平行になっているものの、まだ駐車スペースから離れた位置にある状態のときは、左右にある駐車車両との位置関係を正確に知りたいとの要求が強い。この場合は、少なくとも（２）の条件、場合によっては（３）の条件も満たさないので、画像処理部２ａは車両周辺画像を生成し、これを表示装置３に表示する。

これに対して、図４（ｃ）のように自車両１００が駐車スペースに入り始めた状態のときは、ハンドルを真っ直ぐに戻した状態での後退で、左右にある駐車車両との位置関係も問題ないので、後方にある車輪止めとの位置関係を正確に知りたいとの要求が強くなる。この場合は、上述した（１）〜（３）の条件を全て満たすので、表示画像切替部７は車両周辺画像からリアビュー画像へと画像の表示を切り替えるように画像処理部２ａを制御する。これに応じて画像処理部２ａはリアビュー画像を生成し、これを表示装置３に表示する。

また、図４（ｄ）のように、自車両１００の少なくとも一部が駐車スペースの中に進入しているものの、停めたい駐車スペースの枠内に自車両１００が収まっていない場合は、自車両１００とその周囲全体との位置関係を把握できた方が好ましい。この場合には、仮に（１）（２）の条件を満たしていても、（３）の条件を満たしていないので、画像処理部２ａは車両周辺画像を生成し、これを表示装置３に表示する。

次に、上記のように構成した本実施形態による車両周辺画像生成装置の動作を説明する。図５は、本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。図５において、表示画像切替部７は、車両周辺画像を生成するように画像処理部２ａを制御している。これによって画像処理部２ａは、自車両の異なる場所に設置された各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像をもとに、自車両１００の上方の仮想視点から見た車両周辺画像を生成して表示装置３にフル画面表示する（ステップＳ１）。

次に、平行状態検出部４は、自車両１００が駐車スペースに対して平行になったか否かを判定する（ステップＳ２）。ここで、自車両１００が駐車スペースに対して平行になったことが検出されないときは、ステップＳ１に戻り、車両周辺画像を表示装置３に表示し続ける。一方、自車両１００が駐車スペースに対して平行になったことが検出されたときは、進入状態検出部５によって、自車両１００の少なくとも一部が駐車スペースの中に進入しているか否かを判定する（ステップＳ３）。

ここで、自車両１００の少なくとも一部が駐車スペースの中に進入していることが検出されないときは、ステップＳ１に戻り、車両周辺画像を表示装置３に表示し続ける。一方、自車両１００の少なくとも一部が駐車スペースの中に進入していることが検出されたときは、操舵角検出部６によって、自車両１００のハンドルの操舵角が一定角度以内となっているか否かを判定する（ステップＳ４）。

ここで、自車両１００のハンドルの操舵角が一定角度以内となっていることが検出されないときは、ステップＳ１に戻り、車両周辺画像を表示装置３に表示し続ける。一方、自車両１００のハンドルの操舵角が一定角度以内となっていることが検出されたときは、表示画像切替部７は、リアビュー画像を生成するように画像処理部２ａを制御する。これによって画像処理部２ａは、リアカメラ１ｄによって撮影された自車両後方の画像をもとに、リアビュー画像を生成して表示装置３にフル画面表示する（ステップＳ５）。その後はステップＳ２に戻る。

以上詳しく説明したように、本実施形態では、通常は車両周辺画像を表示装置３にフル画面表示し、上述した（１）〜（３）の条件を満たしたときにはリアビュー画像を表示装置３にフル画面表示するようにしたので、自車両１００の駐車スペースに対する状態に応じて、車両周辺画像の表示とリアビュー画像の表示とを適宜切り替えることができる。これにより、シーン毎に最適な画像を大きく表示できるようになり、例えば自車両１００とその後方にある車輪止めとの位置関係を正確に知りたいときには、その車輪止め付近が詳細に表されたリアビュー画像を画面上に大きく表示することができる。

なお、上記実施形態では、平行状態検出部４、進入状態検出部５および操舵角検出部６を備え、（１）〜（３）の条件を全て満たしたときにリアビュー画像を表示する例について説明したが、本発明はこれに限定されない。すなわち、（１）（２）の少なくとも何れか一方の条件を満たしたときに車両周辺画像からリアビュー画像へと画像の表示を切り替えるようにしても良い。また、（１）と（３）または（２）と（３）の条件を満たしたときに車両周辺画像からリアビュー画像へと画像の表示を切り替えるようにしても良い。

例えば、縦列駐車をする場面を考慮すると、自車両１００が駐車スペースに入り始めた状態のときでも、ハンドルの操舵角は一定角度以下にはなっていない。また、自車両１００が駐車スペースの中にほぼ収まった状態のときにも、ハンドルの操舵角が一定角度以下になっていないことが多い。この場合、（３）の条件があると、車両周辺画像からリアビュー画像への切り替えは行われないことになってしまう。そこで、操舵角検出部６は設けず、（１）（２）の条件だけで車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。

なお、縦列駐車の場合は、複数の駐車スペースが一定の間隔を開けて前後に並んでおり、複数の駐車スペースが間隔を開けずに左右に並ぶことはない。そこで、駐車スペースの並び方、あるいは、停めたい駐車スペースの左右における駐車車両の有無を画像認識によって判定し、これによって縦列駐車か否かを判定するようにする。そして、縦列駐車と判断した場合は（１）（２）の条件だけで車両周辺画像とリアビュー画像との切り替えを行い、縦列駐車でないと判断した場合は（１）〜（３）の条件で車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。この場合は、操舵角検出部６を省略することはない。

屋根付きのガレージに駐車する場合も考慮して、（２）（３）の条件だけで車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。この場合は平行状態検出部４を省略する。なお、屋根付きのガレージか通常の駐車スペースかの違いは画像認識によって容易に区別できる。そこで、ガレージか否かを画像認識によって判定し、ガレージと判断した場合は（２）（３）の条件だけで車両周辺画像とリアビュー画像との切り替えを行い、ガレージでないと判断した場合は（１）〜（３）の条件で車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。この場合は、平行状態検出部４を省略することはない。

また、上述の例では、図４（ｂ）の状態ではリアビュー画像に切り替えず、図４（ｃ）の状態になってからリアビュー画像に切り替えるようにしていたが、リアビュー画像への切り替えのタイミングを早くしたい場合には、（１）（３）の条件だけで車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。この場合は進入状態検出部５を省略する。リアビュー画像への切り替えタイミングを更に早くしたい場合には、（１）の条件だけで車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。また、とにかく自車両１００の一部が駐車スペースの中に入ったタイミングでリアビュー画像に切り替えたい場合は、（２）の条件だけで車両周辺画像とリアビュー画像との切り替えを行うようにしても良い。

また、上記実施形態では、平行状態検出部４が画像認識部４ａを備え、自車両１００が駐車スペースに対して平行になっているかどうかを画像認識によって検出する例について説明したが、これに限定されない。

例えば、図６に示すように、平行状態検出部４は、自車両１００の後部に設置したレーダ等の距離センサ４１ａ，４１ｂを備え、自車両１００の所定位置から駐車スペース１０１の左右２箇所の車輪止め１０２ａ，１０２ｂまでの距離Ａ，Ｂを測定する。車輪止め１０２ａ，１０２ｂがなく、後方に壁などがある場合には、壁上に想定した所定の２点までの距離を測定する。なお、自車両１００の所定位置は、自車両１００の幅方向に対する中点であることが好ましい。平行状態検出部４は、自車両１００からその後方にある左右２箇所の車輪止め１０２ａ，１０２ｂまでの距離Ａ，Ｂが略同じであることが検出されたときに、自車両１００が駐車スペース１０１に対して平行になっていることを検出する。

なお、この方式だと、図７（ａ）のように、実際には自車両１００が駐車スペース１０１に対して平行になっていなくても、自車両１００から２箇所の車輪止め１０２ａ，１０２ｂまでの距離Ａ，Ｂが略同じとなってしまうことがある。そこで、図７（ｂ）に示すように、自車両１００の前後方向（長手方向）に対する中心軸１０３を含む直線上にある任意の２点Ｘ，Ｙと、左右２箇所の車輪止め１０２ａ，１０２ｂとの距離をそれぞれ計測するようにする。

そして、左右２箇所の車輪止め１０２ａ，１０２ｂと中心軸１０３を含む直線上にある任意の１点Ｘとの距離Ａ，Ｂが略同じで、かつ、左右２箇所の車輪止め１０２ａ，１０２ｂと中心軸１０３を含む直線上にある他の任意の１点Ｙとの距離Ｃ，Ｄが略同じであることが検出されたときに、自車両１００が駐車スペース１０１に対して平行になっていることを検出する。このようにすれば、自車両１００が駐車スペース１０１に対して平行になっていることを誤りなく検出することができる。

また、平行状態検出部４の別の例として、図８のように構成しても良い。図８において、５１は地図データ記憶部であり、駐車場およびその中に設置されている個々の駐車スペースの位置情報を含んだ地図データを記憶する。この地図データ記憶部５１は、例えばカーナビゲーション装置に備えられており、図示しないＤＶＤ−ＲＯＭ等の地図記録媒体から読み出された地図データが一時的に格納されるようになっている。

５２は車両位置検出部であり、自車両１００の現在位置および方位を検出するものである。この車両位置検出部５２もカーナビゲーション装置に備えられており、例えば、自立航法センサ、ＧＰＳ受信機、位置計算用ＣＰＵ等で構成されている。自立航法センサは、所定走行距離毎に１個のパルスを出力して車両の移動距離を検出する車速センサ（距離センサ）と、車両の回転角度（移動方位）を検出する振動ジャイロ等の角速度センサ（相対方位センサ）とを含んでいる。自立航法センサは、これらの車速センサおよび角速度センサによって車両の相対位置および方位を検出する。

位置計算用ＣＰＵは、自立航法センサから出力される自車の相対的な位置および方位のデータに基づいて、絶対的な自車位置（推定車両位置）および車両方位を計算する。また、ＧＰＳ受信機は、複数のＧＰＳ衛星から送られてくる電波をＧＰＳアンテナで受信して、３次元測位処理あるいは２次元測位処理を行って車両の絶対位置および方位を計算する（車両方位は、現時点における自車位置と１サンプリング時間ΔＴ前の自車位置とに基づいて計算する）。

平行状態検出部４は、地図データ記憶部５１に格納されている駐車スペースの位置情報と、車両位置検出部５２により検出された自車両１００の現在位置および方位とを比較することにより、自車両１００が駐車スペースに対して平行になっていることを検出する。

また、上記実施形態では、進入状態検出部５が画像認識部５ａを備え、自車両１００の一部が駐車スペースの中に入っているかどうかを画像認識によって検出する例について説明したが、これに限定されない。

例えば、昼間に屋根付きのガレージに駐車する場合、自車両１００が後退してガレージの中に入り始めると、リアカメラ１ｄで撮影された画像の輝度が、他のカメラ１ａ〜１ｃで撮影された画像の輝度に比べて大幅に小さくなる。そこで、進入状態検出部５は、画像認識部５ａの代わりに、各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像の輝度を検出する輝度検出部を備える。そして、自車両周囲の画像間で一定値以上の輝度差があることが検出されたとき、具体的には、リアカメラ１ｄで撮影された画像と、他のカメラ１ａ〜１ｃで撮影された画像との間に一定値以上の輝度差があることが検出されたときに、自車両１００の少なくとも一部がガレージの中に進入していることを検出する。

また、画像処理部２ａが各カメラ１ａ〜１ｄによって撮影された自車両周囲の画像を使って車両周辺画像を生成する場合、生成される車両周辺画像の全体において前後左右の輝度ができるだけ整合するように、各カメラ１ａ〜１ｄの適正露出を算出するようになっている。そのため、リアカメラ１ｄで撮影された画像の輝度が、他のカメラ１ａ〜１ｃで撮影された画像の輝度に比べて大幅に小さくなると、リアカメラ１ｄの露出量が他のカメラ１ａ〜１ｃの露出量と大きく相違してくる。

そこで、進入状態検出部５の構成として、画像認識部５ａの代わりに、各カメラ１ａ〜１ｄの露出を検出する露出検出部を備えるようにする。そして、各カメラ１ａ〜１ｄの間で一定値以上の露出差があることが検出されたとき、具体的には、リアカメラ１ｄの露出と他のカメラ１ａ〜１ｃの露出との間に一定値以上の露出差があることが検出されたときに、自車両１００の少なくとも一部がガレージの中に進入していることを検出するようにしても良い。

また、図６と同様に自車両１００の後部に設置したレーダ等の距離センサ４１ａ，４１ｂを備え、自車両１００の所定位置から車輪止め１０２ａ，１０２ｂまたは後方の壁までの距離が所定値以内になったときに、自車両１００の少なくとも一部が駐車スペース１０１の中に進入したと判断するようにしても良い。距離センサ４１ａ，４１ｂを用いた場合は、自車両１００が駐車スペース１０１に対して平行になったことと、自車両１００の一部が駐車スペース１０１の中に入ったことを、距離センサ４１ａ，４１ｂだけで検出することができる。

また、進入状態検出部５の別の例として、図９のように構成しても良い。なお、この図９において、図８に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。この図９に示す例において、進入状態検出部５は、地図データ記憶部５１に格納されている駐車スペースの位置情報と、車両位置検出部５２により検出された自車両１００の現在位置とを比較することにより、自車両の少なくとも一部が駐車スペースの中に進入していることを検出する。

また、上記実施形態では、別画像としてリアビュー画像を表示する例について説明したが、これに限定されない。例えば、サイドカメラ１ｂまたは１ｃで撮影された画像をもとにリアビュー画像と同様に生成したサイドビュー画像、フロントカメラ１ａで撮影された画像をもとにリアビュー画像と同様に生成したフロントビュー画像などであっても良い。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態による車両周辺画像生成装置の構成例を示すブロック図である。 各カメラの配置および撮影領域の例を示す図である。 自車両と駐車スペースとの位置関係の例を示す図である。 自車両の駐車スペースに対する様々な状態の例を示す図である。 本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。 本実施形態による平行状態検出部の別の構成例を示す図である。 本実施形態による平行状態検出部の別の構成例を示す図である。 本実施形態による平行状態検出部の別の構成例を示す図である。 本実施形態による進入状態検出部の別の構成例を示す図である。

符号の説明

１ 複数のカメラ（撮像装置）
２ 画像生成部
３ 表示装置
４ 平行状態検出部
５ 進入状態検出部
６ 操舵角検出部
７ 表示画像切替部
４１ａ，４１ｂ 距離センサ
５１ 地図データ記憶部
５２ 車両位置検出部

Claims (20)

1. 自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像をもとに、上記自車両の上方の仮想視点から見た車両周辺画像を生成するとともに、上記車両周辺画像とは異なる別画像を生成するようになされた車両周辺画像生成装置であって、
   上記自車両が駐車スペースに対して平行になっていることを検出する平行状態検出部と、
   上記平行状態検出部により上記自車両が上記駐車スペースに対して平行になっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替える表示画像切替部とを備えたことを特徴とする車両周辺画像生成装置。
2. 上記平行状態検出部は、上記自車両周囲の画像またはこれから生成した上記車両周辺画像に対して画像認識処理を行う画像認識部を備え、上記画像認識処理を通じて、上記自車両が上記駐車スペースに対して平行になっていることを検出することを特徴とする請求項１に記載の車両周辺画像生成装置。
3. 上記平行状態検出部は、上記自車両の後部の所定位置に設置された距離センサを備え、上記自車両から上記自車両の後方にある左右２箇所の車輪止めまでの距離が略同じであることが検出されたときに、上記自車両が上記駐車スペースに対して平行になっていることを検出することを特徴とする請求項１に記載の車両周辺画像生成装置。
4. 上記平行状態検出部は、上記自車両の後部の所定位置に設置された距離センサを備え、上記自車両の後方にある左右２箇所の車輪止めと上記自車両の前後方向の中心軸を含む直線上にある任意の１点との距離が略同じで、かつ、上記左右２箇所の車輪止めと上記直線上にある他の任意の１点との距離が略同じであることが検出されたときに、上記自車両が上記駐車スペースに対して平行になっていることを検出することを特徴とする請求項１に記載の車両周辺画像生成装置。
5. 上記平行状態検出部は、上記駐車スペースの位置情報を含む地図データを記憶する地図データ記憶部と、上記自車両の現在位置および方位を検出する車両位置検出部とを備え、上記地図データ記憶部に格納されている上記駐車スペースの位置情報と上記車両位置検出部により検出された上記自車両の現在位置および方位とを比較することにより、上記自車両が上記駐車スペースに対して平行になっていることを検出することを特徴とする請求項１に記載の車両周辺画像生成装置。
6. 自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像をもとに、上記自車両の上方の仮想視点から見た車両周辺画像を生成するとともに、上記車両周辺画像とは異なる別画像を生成するようになされた車両周辺画像生成装置であって、
   上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出する進入状態検出部と、
   上記進入状態検出部により上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替える表示画像切替部とを備えたことを特徴とする車両周辺画像生成装置。
7. 上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出する進入状態検出部を更に備え、
   上記表示画像切替部は、上記平行状態検出部により上記自車両が上記駐車スペースに対して平行になっていることが検出され、かつ、上記進入状態検出部により上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１に記載の車両周辺画像生成装置。
8. 上記進入状態検出部は、上記自車両周囲の画像またはこれから生成した上記車両周辺画像に対して画像認識処理を行う画像認識部を備え、上記画像認識処理を通じて、上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出することを特徴とする請求項６に記載の車両周辺画像生成装置。
9. 上記進入状態検出部は、上記複数の撮像装置によって撮影された自車両周囲の画像の輝度を検出する輝度検出部を備え、上記自車両周囲の画像間で一定値以上の輝度差があることが検出されたときに、上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出することを特徴とする請求項６に記載の車両周辺画像生成装置。
10. 上記進入状態検出部は、上記複数の撮像装置の露出を検出する露出検出部を備え、上記複数の撮像装置間で一定値以上の露出差があることが検出されたときに、上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出することを特徴とする請求項６に記載の車両周辺画像生成装置。
11. 上記進入状態検出部は、上記駐車スペースの位置情報を含む地図データを記憶する地図データ記憶部と、上記自車両の現在位置を検出する車両位置検出部とを備え、上記地図データ記憶部に格納されている上記駐車スペースの位置情報と上記車両位置検出部により検出された上記自車両の現在位置とを比較することにより、上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出することを特徴とする請求項６に記載の車両周辺画像生成装置。
12. 上記自車両のハンドルの操舵角を検出する操舵角検出部を更に備え、
    上記表示画像切替部は、上記平行状態検出部により上記自車両が上記駐車スペースに対して平行になっていることが検出され、かつ、上記操舵角検出部により上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１に記載の車両周辺画像生成装置。
13. 上記自車両のハンドルの操舵角を検出する操舵角検出部を更に備え、
    上記表示画像切替部は、上記進入状態検出部により上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出され、かつ、上記操舵角検出部により上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項６に記載の車両周辺画像生成装置。
14. 上記自車両の少なくとも一部が上記駐車スペースの中に進入していることを検出する進入状態検出部と、
    上記自車両のハンドルの操舵角を検出する操舵角検出部とを更に備え、
    上記表示画像切替部は、上記平行状態検出部により上記自車両が上記駐車スペースに対して平行になっていることが検出され、上記進入状態検出部により上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出され、かつ、上記操舵角検出部により上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１に記載の車両周辺画像生成装置。
15. 自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像をもとに、上記自車両の上方の仮想視点から見た車両周辺画像を生成して画面上に表示する第１のステップと、
    上記自車両が駐車スペースに対して平行になったか否かを判定する第２のステップと、
    上記第２のステップで上記自車両が上記駐車スペースに対して平行になったことが検出されたときに、上記自車両周囲の画像をもとに上記車両周辺画像とは異なる別画像を生成して画面上に表示するように画像の表示を切り替える第３のステップとを有することを特徴とする画像切替方法。
16. 自車両の異なる場所に設置された複数の撮像装置によって撮影された自車両周囲の画像をもとに、上記自車両の上方の仮想視点から見た車両周辺画像を生成して画面上に表示する第１のステップと、
    上記自車両の少なくとも一部が駐車スペースの中に進入しているか否かを判定する第２のステップと、
    上記第２のステップで上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出されたときに、上記自車両周囲の画像をもとに上記車両周辺画像とは異なる別画像を生成して画面上に表示するように画像の表示を切り替える第３のステップとを有することを特徴とする画像切替方法。
17. 上記第１のステップと上記第３のステップとの間に、上記自車両の少なくとも一部が上記駐車スペースの中に進入しているか否かを判定する第４のステップを有し、
    上記第３のステップでは、上記第２のステップで上記自車両が上記駐車スペースに対して平行になっていることが検出され、かつ、上記第４のステップで上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１５に記載の画像切替方法。
18. 上記第１のステップと上記第３のステップとの間に、上記自車両のハンドルの操舵角を検出する第５のステップを有し、
    上記第３のステップでは、上記第２のステップで上記自車両が上記駐車スペースに対して平行になっていることが検出され、かつ、上記第５のステップで上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１５に記載の画像切替方法。
19. 上記第１のステップと上記第３のステップとの間に、上記自車両の少なくとも一部が上記駐車スペースの中に進入しているか否かを判定する第４のステップと、上記自車両のハンドルの操舵角を検出する第５のステップとを有し、
    上記第３のステップでは、上記第２のステップで上記自車両が上記駐車スペースに対して平行になっていることが検出され、上記第４のステップで上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出され、かつ、上記第５のステップで上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記車両周辺画像から上記別画像へと画像の表示を切り替えることを特徴とする請求項１５に記載の画像切替方法。
20. 上記第１のステップと上記第３のステップとの間に、上記自車両のハンドルの操舵角を検出する第４のステップを有し、
    上記第３のステップでは、上記第２のステップで上記自車両の少なくとも一部が上記駐車スペースの中に進入していることが検出され、かつ、上記第４のステップで上記ハンドルの操舵角が一定角度以内となっていることが検出されたときに、上記自車両周囲の画像をもとに上記車両周辺画像とは異なる別画像を生成して画面上に表示するように画像の表示を切り替えることを特徴とする請求項１６に記載の画像切替方法。