JP2008174077A

JP2008174077A - 車両周辺監視装置、そのカメラ位置算出方法

Info

Publication number: JP2008174077A
Application number: JP2007008942A
Authority: JP
Inventors: Yukio Aso; 幸夫麻生
Original assignee: Xanavi Informatics Corp
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2007-01-18
Filing date: 2007-01-18
Publication date: 2008-07-31

Abstract

【課題】車載カメラによる車両周辺監視装置において、重量によるカメラ位置の変動に配慮する。
【課題手段】車両周辺監視装置は、車両のサスペンションの伸縮量を取得し、伸縮量に基づいて、車両に搭載されたカメラの撮像範囲（視点位置、撮影方向）を求める。
【選択図】図２

Description

本発明は、車両周辺を監視するための技術に関する。

車両に搭載したカメラにより車両周辺の画像を取得し、取得した画像を表示装置に表示することで、車両周辺の監視を可能とする装置がある（特許文献１等参照）。このような車両周辺監視装置は、撮像された画像に基づいて、注目する物体までの距離を求めたり、地上面に投影した画像を生成して表示したりする。これらの処理は、車両に対するカメラの取り付け位置を基準に行われ、カメラの取り付け位置は、予め装置に記憶されている。

特開２００６−２９８２１７号公報

しかし、荷物等の重量により車両が傾くことがあり、カメラの位置は必ずしも一定ではない。これでは、誤ったカメラ位置に基づいて各種の処理が行われてしまう。

本発明は、上記課題を解決すべくなされたものであり、車両の周辺監視装置において、車両の傾きによるカメラ位置の変動に配慮した技術を提供することを目的とする。

上記課題を解決すべく、本発明は、車両の傾きをサスペンションのストロークセンサにより検知し、カメラ位置を求める。

例えば、本発明の車両周辺監視装置は、車両のサスペンションの伸縮量を取得するサスペンション伸縮量取得手段と、前記サスペンションの伸縮量に基づいて、前記車両に搭載されたカメラの撮像範囲（視点位置、撮影方向）を求める手段とを備える。

以下に、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態が適用された車両周辺監視装置１の概略構成図である。図示するように、車両に搭載される車両周辺監視装置１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０、サスペンションストロークセンサ６０とを備えて構成される。

カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。図２（Ａ）は、車両３００の後方に取り付けられたカメラ２０を示す。カメラ２０は、やや下を向いており、車両の後方の地上面を撮像する。カメラ２０は、図２（Ｂ）に示すように、車両の傾きによりその位置が変位しうる。そのため、本実施形態では、後述するように、サスペンションの伸縮量に基づいて、カメラ位置を求めることが行われる。

なお、本実施形態では、車両の背部にカメラを設置する例を説明するが、これに限定されず、前方や側面にカメラが設置されていてもよい。また、複数のカメラが設定されていてもよい。

図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。

表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。

音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。

サスペンションストロークセンサ６０は、車両のサスペンションに配されており、サスペンションの伸縮量を出力する。

制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０など）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。

制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６と、車両状態取得部１７と、を備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。

主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。

カメラ制御部１２は、カメラ２０の動作を制御する。例えば、カメラ２０の撮像の開始・終了のタイミングを設定する。また、撮像した画像のカメラ画像処理部１３への送信を制御する。

カメラ画像処理部１３は、カメラ２０で撮像した画像を、画像データとして取得する。そして、取得した画像を、表示のための画像（地上投影画像）に変換するなどする。このとき、後述するように、カメラ２０の撮像範囲を特定するために、サスペンションの伸縮量に基づいて、カメラ２０の視点位置、撮像方向を求める。

図３は、地上投影画像の生成方法を説明するための図である。カメラ画像処理部１３は、サスペンションの伸縮量に基づいて、カメラ２０の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と撮像方向（視線方向）Ｋを求める。そして、カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。なお、撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラ２０の視点Ｐから撮像画像５１０までの距離は、予め定められている。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。

図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。

表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。

音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。

車両状態取得部１７は、車両３００の前後左右の４箇所に配置されたサスペンションストロークセンサ６０から、サスペンションの伸縮量を取得する。

［動作の説明］次に、本実施形態の車両周辺監視装置１の特徴的な動作について説明する。

図４は、カメラ２０で撮像した画像を用いて表示装置４０に車両周辺（後方）の画像を表示する処理のフロー図である。

このフローは、ユーザから入力装置３０を介して、車両周辺（後方）の画像を表示するように要求された場合に定期的に行われる。

カメラ画像処理部１３は、車両状態取得部１７を介して、車両の前後左右の４つのサスペンションの伸縮量を取得する（Ｓ１１）。そして、図５に示すようなカメラ位置補正データ１１０を用いて、カメラ２０の視点位置及び撮像方向を求める。

図５に示すように、カメラ位置補正データ１１０には、４つのサスペンションの伸縮量１１１に対応させて、カメラ撮像範囲規定情報（カメラ２０の視点位置、撮像方向）１１２が格納されている。

ここで視点位置と撮像方向について説明する。図３に示したように、カメラ１０の撮像範囲は、三次元空間におけるカメラ２０の視点Ｐの位置と撮像方向Ｋとで規定できる。また、撮像方向Ｋは、視点Ｐと地上面５２０上の点５２０ｋを結ぶベクトルで表される。したがって、カメラ位置補正データ１１０のカメラ撮像範囲規定情報１１２には、車両内の所定の位置を原点とした三次元座標における、カメラ２０の視点位置の三次元座標と、地上面５２０上の撮像方向にある点５２０ｋの三次元座標とが格納されている。

なお、カメラ位置補正データ１１０は、実験的に求められたものである。

こうして、カメラ画像処理部１３は、カメラ位置補正データ１１０を参照して、車両状態取得部１７から取得したサスペンション伸縮量に対応するカメラ撮像範囲規定情報１１２を取得する。

次に、カメラ画像処理部１３は、カメラ２０から、撮像して得られた画像（「カメラ画像」という）を取得する（図４のＳ１３）。

そして、カメラ画像処理部１３は、取得した各カメラ画像と、Ｓ１２で取得した視点位置及び撮像方向とに基づいて、図３で示した方法により、地上投影画像を生成する（Ｓ１４）。

次に、主制御部１１は、表示処理部１５に、車両周辺の画像を表示するように指示する。これを受けて、表示処理部１５は、図５に示すように、表示装置４０の表示画面４００に車両周辺を示す画像を表示する（Ｓ１５）。

図５に示すように、表示処理部１５は、表示画面４００のほぼ中央に、車両を示すアイコン（「車両アイコン」という）４０１を表示する。また、カメラ設置位置に対応するように、車両アイコン４０１に対して後方に、Ｓ１４で生成した地上投影画像２１０を表示する。

このとき、表示処理部１５は、カメラ２０の視点位置や撮影方向を表示してもよい。また、予め定められた基準となる視点位置及び撮影方向からのずれ量を算出して表示してもよい。

以上、図４のフローについて説明した。

なお、図４に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。例えば、カメラ画像の取得処理はＳ１１やＳ１２の処理より先に行うこともできる。

以上、本発明の一実施形態について説明した。

本実施形態によれば、荷物の重量により車両に傾きがある場合でも、カメラ位置の変位に配慮して、撮像画像の処理を行うことができる。

本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。

また、通信ネットワークにより、外部の機器に、撮像画像とともに、カメラの位置、向きを送信して、外部の機器において、上記した方法で撮像画像を加工して表示するようにしてもよい。

図１は、本発明の一実施形態が適用された車両周辺監視装置の概略構成図である。図２は、カメラの搭載位置を示す図である。図２（Ａ）は、平常時、図２（Ｂ）は、重量による傾き発生時である。図３は、撮像画像を地上面に投影する様子を示す図である。図４は、表示処理のフロー図である。図５は、カメラ位置データ１１０の構成を示す図である。図６は、画面表示例を示す図である。

符号の説明

１…車両周辺監視装置、
１０…制御装置、１１…主制御部、１２…カメラ制御部、１３…カメラ画像処理部、１４…入力内容解析部、１５…表示処理部、１６…音声処理部、１７…車両状態取得部
２０…カメラ、
３０…入力装置、
４０…表示装置、
５０…音声出力装置
６０…サスペンションストロークセンサ

Claims

車両周辺監視装置であって、
車両のサスペンションの伸縮量を取得するサスペンション伸縮量取得手段と、
前記サスペンションの伸縮量に基づいて、前記車両に搭載されたカメラの撮像範囲を求める手段と
を備えることを特徴とする車両周辺監視装置。
車両周辺監視装置であって、
車両のサスペンションの伸縮量を取得するサスペンション伸縮量取得手段と、
前記サスペンションの伸縮量に基づいて、前記車両に搭載されたカメラの位置を求める手段と
を備えることを特徴とする車両周辺監視装置。
車両周辺監視装置であって、
車両に設けられた複数のサスペンションの伸縮量を取得する伸縮量取得手段と、
前記複数のサスペンションの伸縮量に基づいて、前記車両に搭載されたカメラの位置及び撮影方向を求めるカメラ状態算出手段と、
前記カメラの撮像画像を取得する撮像画像取得手段と、
前記カメラ状態算出手段で取得した位置及び撮影方向に基づいて、前記カメラの撮像画像を加工する画像加工手段と、
前記画像加工手段で加工した画像を表示する表示手段と
を備えることを特徴とする車両周辺監視装置。
車両周辺監視装置のカメラ位置算出方法であって、
車両のサスペンションの伸縮量を取得し、
前記サスペンションの伸縮量に基づいて、前記車両に搭載されたカメラの位置を求めることを特徴とする車両周辺監視装置のカメラ位置算出方法。